WaterCrawl

Снова наткнулся на мощный инструмент для веб-скрейпинга и извлечения данных на GitHub — WaterCrawl.

Он построен на базе Python + Scrapy, эффективно парсит веб-страницы и извлекает нужные данные, при этом поддерживает многоязычный контент и мониторинг прогресса в реальном времени.

Ключевые возможности:

🔸Продвинутый веб-краулер с настраиваемой глубиной обхода, скоростью и целевыми элементами
🔸Встроенный мощный поисковый движок с тремя уровнями глубины: базовый, расширенный и предельный
🔸Поддержка многоязычного парсинга, включая поиск по странам
🔸Асинхронная архитектура, с возможностью реального времени мониторинга через SSE
🔸Полноценный REST API с поддержкой OpenAPI-документации
🔸Глубокая интеграция с AI- и автоматизационными платформами, такими как Dify и N8N

Также доступна быстрая установка через Docker, плюс поддержка SDK на Python, Node.js, Go, PHP и других языках.

📁 Language: #TypeScript (55.4%), #Python (29.2%)

⭐️ Stars: 449

➡️ Cсылка на GitHub

📱 @git_developer

File Find

Встроенные поисковые функции файловых менеджеров в Windows и macOS слишком примитивны — чтобы найти нужный файл, нередко приходится долго пролистывать список вручную.

Недавно на GitHub появилась мощная альтернатива — File Find — инструмент для более быстрого и точного поиска файлов.

Он поддерживает нечеткий поиск, регулярные выражения, поиск по содержимому файлов и точную фильтрацию по таким атрибутам, как размер или дата создания.

Ключевые возможности:

🔸Поддержка различных режимов поиска: нечеткий поиск, шаблоны (wildcards), регулярные выражения
🔸Поиск по содержимому: находит текст внутри файлов
🔸Фильтрация по атрибутам: размер, дата создания, дата изменения
🔸Поиск дубликатов: помогает находить и удалять повторяющиеся файлы
🔸Экспорт результатов: сохранение в текстовый файл или собственный формат

Установочные пакеты для macOS, Windows и Linux доступны на странице релиза в GitHub.

📁 Language: #Python (100.0%)

⭐️ Stars: 170

➡️ Cсылка на GitHub

📱 @git_developer