TorCrawl: Анонимный краулер и экстрактор веб-страниц через сеть TOR

TorCrawl — это скрипт на Python, предназначенный для анонимного обхода и извлечения содержимого веб-страниц, включая скрытые .onion-ресурсы, через сеть TOR. Инструмент сочетает простоту использования с функциями приватности, обеспечивая сбор данных без раскрытия реального IP-адреса.

🔎Возможности
▶️Анонимный доступ к .onion и обычным сайтам через прокси SOCKS5 сети TOR
▶️Режим экстракции (получение HTML-кода страницы (вывод в терминал или сохранение в файл))
▶️Режим краулинга (сбор всех ссылок с целевой страницы с возможностью обхода на заданную глубину (-d))
▶️Экспорт результатов в форматах TXT, JSON, XML и SQLite
▶️Поиск по ключевым словам (интеграция YARA для фильтрации страниц)
▶️Ротация User-Agent и прокси для повышения анонимности и обхода блокировок

⬇️Установка

pipx install torcrawl

Проверка

torcrawl -h

⏺️Простое извлечение HTML-кода страницы

torcrawl -u http://example.com

⏺️Краулинг .onion-сайта через TOR

torcrawl -u http://facebookcorewwwi.onion -c -d 1

⏺️Экстракция с поиском в тексте (-у t) после извлечения

torcrawl -w -u https://example.com -e -y t

⏺️Сохранение страницы в файл с логом

torcrawl -u https://example.com -o page.html -l

➕Преимущества
- Простота использования (минимальный порог входа (одна команда для базовых операций))
- Полная поддержка сети TOR для работы как с обычными, так и с .onion-ресурсами
- Возможность комбинировать краулинг, экстракцию, поиск и экспорт в различных форматах
- Поддержка pipe и входных файлов для интеграции в скрипты

#torcrawl #tor #onion #tool #pentest

🔗 Все наши каналы 🔁 Все наши чаты 🪧 Для связи с менеджером