WaterCrawl

Снова наткнулся на мощный инструмент для веб-скрейпинга и извлечения данных на GitHub — WaterCrawl.

Он построен на базе Python + Scrapy, эффективно парсит веб-страницы и извлекает нужные данные, при этом поддерживает многоязычный контент и мониторинг прогресса в реальном времени.

Ключевые возможности:

🔸Продвинутый веб-краулер с настраиваемой глубиной обхода, скоростью и целевыми элементами
🔸Встроенный мощный поисковый движок с тремя уровнями глубины: базовый, расширенный и предельный
🔸Поддержка многоязычного парсинга, включая поиск по странам
🔸Асинхронная архитектура, с возможностью реального времени мониторинга через SSE
🔸Полноценный REST API с поддержкой OpenAPI-документации
🔸Глубокая интеграция с AI- и автоматизационными платформами, такими как Dify и N8N

Также доступна быстрая установка через Docker, плюс поддержка SDK на Python, Node.js, Go, PHP и других языках.

📁 Language: #TypeScript (55.4%), #Python (29.2%)

⭐️ Stars: 449

➡️ Cсылка на GitHub

📱 @git_developer

workoutcool

Открытая фитнес-платформа на GitHub — позволяет каждому иметь персонального фитнес-тренера.

Достаточно выбрать доступное оборудование и целевые группы мышц — платформа автоматически создаст персонализированный план тренировок и позволит отслеживать прогресс.

Дополнительно:
– Поддерживается большая база упражнений с подробными описаниями и видеодемонстрациями
– Возможна массовая загрузка данных об упражнениях через CSV
– Проект поддерживает несколько вариантов развёртывания, включая быструю установку через Docker

📁 Language: #TypeScript (93.9%)

⭐️ Stars: 2.7k

➡️ Cсылка на GitHub

📱 @git_developer

Cloudflare API

При написании веб-скрейперов (краулеров) самая утомительная часть — это работа с авторизацией. Каждый раз приходится эмулировать сложный процесс входа, Cookie постоянно истекают и требуют обновления, а ротация нескольких аккаунтов — вообще отдельная боль.

К счастью, на GitHub я нашёл расширение для Chrome под названием Sync your cookie, которое решает все проблемы с управлением Cookie для краулеров.

С помощью облачной синхронизации через Cloudflare, можно легко делиться актуальным состоянием авторизации из браузера с вашим скриптом, а также удобно управлять Cookie от разных аккаунтов.

Основные возможности:

🔸Одним кликом синхронизирует Cookie из браузера в облако — скрипт использует их напрямую
🔸Поддержка управления Cookie от нескольких аккаунтов, удобно для ротации
🔸Данные Cookie кодируются в protobuf, что обеспечивает безопасную и надёжную передачу
🔸Визуальная панель управления — удобно просматривать и копировать Cookie
🔸Автоматическое слияние и отправка правил, минимизирует ручную настройку
🔸Поддержка синхронизации Cookie между dev- и prod-средами

После установки расширения достаточно настроить Cloudflare API — и можно использовать.

Если ты пишешь краулер, которому нужен доступ к авторизованным страницам — стоит попробовать этот подход.

📁 Language: #TypeScript (75.7%), #JavaScript (22.8%)

⭐️ Stars: 253

➡️ Cсылка на GitHub

📱 @git_developer

OpenCut

Сейчас всё больше функций в таких приложениях, как CapCut, становятся платными и требуют подписки для разблокировки.

В ответ на это в open-source сообществе GitHub появился OpenCut — бесплатный кроссплатформенный видеоредактор с открытым исходным кодом, созданный как альтернатива CapCut.

Проект находится на ранней стадии, но уже поддерживает:

— редактирование на таймлайне
— работу с несколькими дорожками
— предпросмотр в реальном времени

Все видео обрабатываются локально, без водяных знаков и без необходимости подписки.

🔸Интерфейс интуитивный и похож на CapCut.
🔸Поддерживаются Web, десктоп и мобильные платформы.
🔸Web-версию можно развернуть через Docker.
🔸При желании можно записаться в waitlist, чтобы следить за развитием проекта.

📁 Language: #TypeScript (99.1%)

⭐️ Stars: 5.5k

➡️ Cсылка на GitHub

📱 @git_developer