⚡️ CyberScraper 2077 — когда обычного парсера уже недостаточно

Продвинутый веб-скрапер с поддержкой ИИ, который объединяет парсинг сайтов с возможностями OpenAI, Gemini и Ollama. Вместо простого сбора HTML помогает анализировать контент и превращать полученную информацию в нормальные структурированные данные.

Что умеет:
🖍 работать на Windows и Linux, есть запуск через Docker;
🖍 предоставлять удобный интерфейс для настройки сбора данных;
🖍 подключать ИИ для анализа и структурирования найденной информации;
🖍 экспортировать результат сразу в JSON, CSV, HTML, SQL и Excel;
🖍 использовать stealth-режим при работе с сайтами;
🖍 работать с CAPTCHA и другими препятствиями, которые могут встретиться при автоматизированном сборе данных.

💻 Чтобы ловко обходить капчи, защиту и глубже понимать контент, который вы собираетесь парсить.

🖥 Установка и запуск

Потребуется Python 3.10+.

git clone https://github.com/itsOwen/CyberScraper-2077.git
cd CyberScraper-2077

virtualenv venv
source venv/bin/activate

pip install -r requirements.txt
playwright install

Добавляем API-ключи:

export OPENAI_API_KEY="ваш-ключ"
export GOOGLE_API_KEY="ваш-ключ"

▶️ Запускаем CyberScraper:

streamlit run main.py

После запуска открываем:

http://localhost:8501

Также проект поддерживает Ollama с локальными моделями и запуск через Docker.

По сути, задаёте, что именно хотите получить с сайта, запускаете сбор — а на выходе получаете уже подготовленные данные вместо необходимости вручную разбирать гору страниц.

💻 Отличная находка для тех, кто работает с Python, автоматизацией, сбором больших объёмов информации и AI-агентами.

♎️ GitHub/Инструкция

😳 Лайф | 📲 Зеркало Max

#python #github #soft

🔥 Скачиваем всё из интернета — видео, музыку, изображения и т.д с популярных площадок в одном месте.

Anything — удобный сервис, который избавляет от необходимости искать отдельные загрузчики для каждого сайта.

Работает максимально просто: копируем ссылку на нужный контент, вставляем в сервис и получаем файл для скачивания.

Можно загружать:
🔣 Видео с YouTube и других платформ;
🔣 Фото и ролики из Нельзяграм и X;
🔣 Музыку и аудиофайлы;
🔣 Контент с множества других сайтов.

⚔️ БЕСПЛАТНО!

Поддерживаются разные форматы, а разобраться с интерфейсом можно буквально за несколько секунд.

Никаких сложных настроек — просто ссылка и готовый файл.

🔗 Сохраняем и пробуем ТУТ

#soft

⚡️ В сети начали массово сливать IT-курсы и книги известных онлайн школ

Вот отсортированная база с тонной материала (постепенно пополняется):

(363 видео, 87 книги) — Python
(117 видео, 53 книги) — ВАЙБКОД
(174 видео, 91 книги) — DevOps
(415 видео, 68 книги) — Frontend
(137 видео, 93 книги) — DS/ML
(143 видео, 33 книги) — ИБ/Хакинг
(352 видео, 89 книги) — С/С++/C
(343 видео, 87 книги) — Java/QA
(176 видео, 32 книги) — Git/Linux
(167 видео, 53 книги) — PHP/1С
(227 видео, 83 книги) — SQL/БД
(114 видео, 77 книги) — Сисадмин
(107 видео, 43 книги) — BA/SA
(181 видео, 32 книги) — Go/Rust
(167 видео, 43 книги) — Kotlin/Swift
(112 видео, 24 книги) — Flutter
(113 видео, 82 книги) — GameDev
(183 видео, 37 книги) — Дизайн
(136 видео, 33 книги) — PM/HR

Скачивать ничего не нужно — все выложили в Telegram