제목 : 자동 정보 수집 도구 구현

[KoreanHackerTeam]

전문적인 침투 테스터로서 자동화 된 정보 수집 도구가 필수적입니다.

初衷​

큰 표적의 침투로 인해 수백 개의 루트 도메인을 수집해야합니다. 복잡한 정보 수집 작업에서 반복적이고 단조로운 운영은 우리의 인내심을 크게 소비 할 것입니다. 이것을 수동으로하는 것은 매우 비현실적입니다.
그래서 나는 주말에 많은 스캐너에 대한 연구를 수행하기 위해 이틀을 보냈습니다. 대부분의 환경 구성은 번거롭고 시스템이 너무 부피가 크기 때문에 사용하기에 매우 불편합니다.
시스템 리소스 소비, 하드웨어 요구 사항, 수동 프로그램 개입 및 이후 코드 유지 보수 비용의 무게를 측정 한 후 마침내 Python + Shell을 사용하여 프로토 타입 버전을 구현했습니다. 우리는 incloud github 클라우드 스캐너의 아이디어를 참조하고 일부 기본 도구의 통합을 거의 완료하지 못했으며 일부 세부 사항은 잘 처리되지 않았습니다.
이제 1 년 이상의 연마 후에는 기본적으로 모든 정보 수집 단계를 다룰 수 있습니다.

7{.}s{.}c{.}a{.}n [资产收集]​

오픈 소스가 아닙니다
그것에 대한 나의 정의는“ 轻量、简洁、可扩展、可自定义、基于实战优化后的参数设置”，입니다. 아래는 프로그램 실행 프로세스의 마인드 맵입니다.

Nuclei+Xray [漏扫集成]​

Nuclei + Xray를 사용한 후속 웹 취약점의 활성 탐지

nuclei​

간단한 YAML 기반 DSL을 기반으로 한 빠르고 사용자 정의 가능한 취약성 스캐너.

GitHub - projectdiscovery/nuclei: Nuclei is a fast, customizable vulnerability scanner powered by the global security community and built on a simple YAML-based DSL, enabling collaboration to tackle trending vulnerabilities on the internet. It helps

Nuclei is a fast, customizable vulnerability scanner powered by the global security community and built on a simple YAML-based DSL, enabling collaboration to tackle trending vulnerabilities on the ...

github.com

1nuclei -t/root/nuclei -templates/-severity critical, High, medium -l all_active_webs.txt -b0 -c 50 -rl 150 -nc | ANEW -Q ALL_NUCLEI_OUTPUT.TXT

xray​

자동 스캔을위한 멀티 스레드 호출 XRAY+RAD

GitHub - sv3nbeast/X-AutoXray: AutoScan 有多个目标时，多线程调用xray+rad进行自动扫描

AutoScan 有多个目标时，多线程调用xray+rad进行自动扫描. Contribute to sv3nbeast/X-AutoXray development by creating an account on GitHub.

github.com

1python3 x-autoxray.py all/all_active_webs.txt all/all_xray_result/

Search_Server [资产整合]​

오픈 소스가 아닙니다
나중에, 나는 웹 자산이 너무 많고 매우 지저분 해 보이고 직관적이지 않다는 것을 알았습니다.
따라서 프로그램은 파이썬 플라스크를 기반으로 구현되어 웹 페이지 형태로 httpx + gowitness의 탐지 결과를 통합하고 임의의 단일 열 분류, 임의의 단일 열 검색, 글로벌 검색 ( @ME1ONS에서 구현 한이 기능 덕분), 행 카운팅 및 스크리닝 유사성 정렬을 지원합니다.

CobWeb [资产可视化]​

오픈 소스 : https://github.com/r00tse7en/cobweb
나중에 사용하면 대상이 수집 한 하위 도메인 이름과 구문 분석 IP 사이의 관계가 복잡하다는 것이 발견되었으며, 육안으로 분석하는 것은 시간이 많이 걸리고 힘들다는 것을 발견했습니다.
거미줄 스파이더 웹은 관련 데이터를 시각화하여 대상 자산을 촉진하고 신속하게 찾습니다.
테스트 페이지 : https://www.se7ensec.cn/cobweb/

网络显示关系可拖动​

可手动屏蔽选单独立高亮显示​

感谢​

GitHub - shmilylty/OneForAll: OneForAll是一款功能强大的子域收集工具

OneForAll是一款功能强大的子域收集工具. Contribute to shmilylty/OneForAll development by creating an account on GitHub.

github.com

GitHub - projectdiscovery/subfinder: Fast passive subdomain enumeration tool.

Fast passive subdomain enumeration tool. Contribute to projectdiscovery/subfinder development by creating an account on GitHub.

github.com

GitHub - boy-hack/ksubdomain: Subdomain enumeration tool, asynchronous dns packets, use pcap to scan 1600,000 subdomains in 1 second

Subdomain enumeration tool, asynchronous dns packets, use pcap to scan 1600,000 subdomains in 1 second - boy-hack/ksubdomain

github.com

GitHub - lijiejie/subDomainsBrute: A fast sub domain brute tool for pentesters

A fast sub domain brute tool for pentesters. Contribute to lijiejie/subDomainsBrute development by creating an account on GitHub.

github.com

GitHub - Cgboal/SonarSearch: A rapid API for the Project Sonar dataset

A rapid API for the Project Sonar dataset. Contribute to Cgboal/SonarSearch development by creating an account on GitHub.

github.com

GitHub - projectdiscovery/dnsx: dnsx is a fast and multi-purpose DNS toolkit allow to run multiple DNS queries of your choice with a list of user-supplied resolvers.

dnsx is a fast and multi-purpose DNS toolkit allow to run multiple DNS queries of your choice with a list of user-supplied resolvers. - projectdiscovery/dnsx

github.com

GitHub - zu1k/nali: An offline tool for querying IP geographic information and CDN provider. 一个查询IP地理信息和CDN服务提供商的离线终端工具.

An offline tool for querying IP geographic information and CDN provider. 一个查询IP地理信息和CDN服务提供商的离线终端工具. - zu1k/nali

github.com

GitHub - projectdiscovery/naabu: A fast port scanner written in go with a focus on reliability and simplicity. Designed to be used in combination with other tools for attack surface discovery in bug bounties and pentests

A fast port scanner written in go with a focus on reliability and simplicity. Designed to be used in combination with other tools for attack surface discovery in bug bounties and pentests - project...

github.com

GitHub - projectdiscovery/httpx: httpx is a fast and multi-purpose HTTP toolkit that allows running multiple probes using the retryablehttp library.

httpx is a fast and multi-purpose HTTP toolkit that allows running multiple probes using the retryablehttp library. - projectdiscovery/httpx

github.com

GitHub - P1kAju/httpx: httpx is a fast and multi-purpose HTTP toolkit allows to run multiple probers using retryablehttp library, it is designed to maintain the result reliability with increased threads.

httpx is a fast and multi-purpose HTTP toolkit allows to run multiple probers using retryablehttp library, it is designed to maintain the result reliability with increased threads. - P1kAju/httpx

github.com

GitHub - adamgordonbell/csvquote

Contribute to adamgordonbell/csvquote development by creating an account on GitHub.

github.com

GitHub - projectdiscovery/nuclei: Nuclei is a fast, customizable vulnerability scanner powered by the global security community and built on a simple YAML-based DSL, enabling collaboration to tackle trending vulnerabilities on the internet. It helps

Nuclei is a fast, customizable vulnerability scanner powered by the global security community and built on a simple YAML-based DSL, enabling collaboration to tackle trending vulnerabilities on the ...

github.com

GitHub - soimort/translate-shell: :speech_balloon: Command-line translator using Google Translate, Bing Translator, Yandex.Translate, etc.

:speech_balloon: Command-line translator using Google Translate, Bing Translator, Yandex.Translate, etc. - soimort/translate-shell

github.com

GitHub - sensepost/gowitness: 🔍 gowitness - a golang, web screenshot utility using Chrome Headless

🔍 gowitness - a golang, web screenshot utility using Chrome Headless - sensepost/gowitness

github.com

GitHub - lcvvvv/kscan: Kscan是一款纯go开发的全方位扫描器，具备端口扫描、协议检测、指纹识别，暴力破解等功能。支持协议1200+，协议指纹10000+，应用指纹20000+，暴力破解协议10余种。

Kscan是一款纯go开发的全方位扫描器，具备端口扫描、协议检测、指纹识别，暴力破解等功能。支持协议1200+，协议指纹10000+，应用指纹20000+，暴力破解协议10余种。 - lcvvvv/kscan

github.com

GitHub - tomnomnom/anew: A tool for adding new lines to files, skipping duplicates

A tool for adding new lines to files, skipping duplicates - tomnomnom/anew

github.com

GitHub - lc/gau: Fetch known URLs from AlienVault's Open Threat Exchange, the Wayback Machine, and Common Crawl.

Fetch known URLs from AlienVault's Open Threat Exchange, the Wayback Machine, and Common Crawl. - lc/gau

github.com

GitHub - six2dez/ipcdn: Check which CDN providers an IP list belongs to

Check which CDN providers an IP list belongs to. Contribute to six2dez/ipcdn development by creating an account on GitHub.

github.com

GitHub - ThreatUnknown/jsubfinder: jsubfinder searches webpages for javascript & analyzes them for hidden subdomains and secrets (wip).

jsubfinder searches webpages for javascript & analyzes them for hidden subdomains and secrets (wip). - ThreatUnknown/jsubfinder

github.com

GitHub - AlephNullSK/dnsgen: DNSGen is a powerful and flexible DNS name permutation tool designed for security researchers and penetration testers. It generates intelligent domain name variations to assist in subdomain discovery and security assessme

DNSGen is a powerful and flexible DNS name permutation tool designed for security researchers and penetration testers. It generates intelligent domain name variations to assist in subdomain discove...

github.com

GitHub - sv3nbeast/X-AutoXray: AutoScan 有多个目标时，多线程调用xray+rad进行自动扫描

AutoScan 有多个目标时，多线程调用xray+rad进行自动扫描. Contribute to sv3nbeast/X-AutoXray development by creating an account on GitHub.

github.com