✈️ Парсим Telegram на уровне профи

tgSpyder — мощный OSINT-инструмент , который превращает Telegram в полноценную базу данных для анализа. Реальный рабочий инструмент для ресёрча, инфобеза и расследований.

Что умеет:
✅ Выгружает сообщения, медиа (аудио, видео, файлы), реакции.
✅ Собирает данные об участниках: ID, логины, публичную информацию.
✅ Позволяет анализировать историю каналов и чатов.
✅ Ищет пользователей по username и ID.
✅ Формирует структурированный датасет (CSV) для дальнейшего анализа.
✅ Работает через официальный Telegram API.

По сути — ты получаешь:
📊 Датасет для аналитики.
🧠 Материал для OSINT-исследований.
📈 Возможность изучать динамику каналов.
🔗 Анализ связей и активности.

Установка:

git clone https://github.com/Darksight-Analytics/tgspyder.git
cd tgspyder
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
pip install -e .

▶️ Запуск:

tgspyder --help

♎️ GitHub/Инструкция

#python #soft #github

🔥 Полезные библиотеки Python

MetadataParser — Python-библиотека, которая вытащит всё о сайте по одной ссылке!

👀 описание страницы;
👀 ключевые слова;
👀 местоположение;
👀 изображения;
👀 авторов и другое полезное добро.

Устанавливается в один клик:

pip install metadata_parser

♎️ GitHub/Инструкция с примерами кода

#python #soft #code #github

💻 user-scanner — инструмент OSINT-разведки по email и нику

Если тебе нужно понять, где светится человек, с чего начать цифровой профиль и как быстро собрать первичную картину — вот инструмент.

Сканер проверяет:
🖱 зарегистрирован ли конкретный email на популярных платформах.
🖱 занят ли конкретный username в соцсетях, dev-сервисах, creator-площадках.
🖱 существует ли уникальный ник в экосистеме GitHub/Reddit/Twitter/Instagram* и д.р.

* Принадлежит корпорации Meta, которая признана в РФ экстремистской.

Что умеет
✅Email & Username OSINT в одном инструменте.
✅Режимы: email-scan, username-scan, username-only.
✅Категории платформ (dev/social/creator и т.д.) + выбор конкретного модуля.
✅Массовое сканирование из файла.
✅Перестановки username (wildcard-вариации).
✅Вывод: консоль / JSON / CSV.
✅Поддержка прокси с ротацией + предвалидация.
✅Автообновление через PyPI.

🚀 Быстрый старт

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install user-scanner

▶️ Базовое использование

# Проверка одного email, получаешь карту регистрации email по платформам.

user-scanner -e john_doe@gmail.com

# Проверка одного username. Получаешь список сайтов, где ник уже занят.

user-scanner -u john_doe

# Поиск только по GitHub:

user-scanner -u john_doe -m github

🔗 Работа через прокси

user-scanner -u john_doe -P proxies.txt --validate-proxies

Почему это полезно в OSINT
🟢 Построение цифрового профиля
🟢 Проверка бренда
🟢 Информационная безопасность
🟢 Расследования

Это базовая техника цифровой разведки.

⚠️ Информация предоставлена исключительно с целью ознакомления. И побуждает обратить внимание на проблемы в безопасности.

♎️ GitHub/Инструкция

#python #soft #github

🔊 telegram-automated-db-backup — полезный Python скрипт для ежедневного дампа MySQL и отправки архива в Telegram(в любой чат, группу или избранное)

Идеально, если:
✅держишь сервер/проект на MySQL/MariaDB,
✅хочешь “бэкап каждый день и чтобы он сам приезжал в мессенджер”,
✅не хочешь настраивать облака/хранилища на старте.

🚛 Установка:

sudo apt install python3 python3-pip zip mysql-client
pip3 install pyrogram tgcrypto

Настройка
➡️В Telegram забираем chat_id, username, api_id и api_hash.
➡️Доступ к БД: заполням креды MySQL и параметры архивирования: mysql_username/mysql_password,
базы (world_db, char_db, auth_db) как пример.
➡️Настройки ZIP: zip_password, zip_name.

▶️ Запуск:

python3 bak.py

Можно автоматизировать запуск по расписанию используя cron:

crontab -e
0 0 * * * cd ~/root/path/project/; python3 bak.py

А также создавать дамп любой таблицы по отдельности, а не целым архивом используя готовый скрипт bak-per-table.py

♎️ GitHub/Инструкция

#python #soft #github

🙂 Клонировать любой голос за пару секунд? Легко.

Voicebox — локальная нейросеть для клонирования речи. По сути, бесплатная альтернатива ElevenLabs, только без подписок и ограничений.

🔊 Настоящий “голосовой фотошоп”:
загружаешь короткий фрагмент аудио — получаешь полноценный клон голоса.

Что умеет:
➡️ Создаёт копию голоса по небольшому аудиофайлу.
➡️ Озвучивает любой текст выбранным голосом.
➡️ Позволяет собирать диалоги и подкасты из нескольких голосов.
➡️ Записывает и расшифровывает аудио.
➡️ Работает полностью локально — все файлы и проекты остаются у тебя на ПК.

Можно озвучивать видео, презентации, ролики для соцсетей, мемы или даже создавать фейковые интервью.

♎️ GitHub/Инструкция

#python #soft #github

💻 Scrapling — парсим весь интернет в один клик

Не просто ещё одна Python-библиотека для парсинга страниц. Это — адаптивная экосистема, которая не ломается от первого же апдейта сайта и умеет самостоятельно находить ваши данные, даже если структура DOM поменялась.

🚫 Забудьте про бесконечный ребейз селекторов, бессмысленные переписывания парсеров и костыли на продакшене.

Scrapling — это:
✔️ Python-фреймворк от одного запроса до масштабного краулера.
✔️ Адаптивный парсер, который «понимает» изменения DOM.
✔️ Мощный набор инструментов для обхода анти-бота и динамического контента.
✔️ Библиотека, которую можно запустить в пару строк кода и она работает.

⚙️ Простая установка:

pip install scrapling

😰 Минимальный пример на Python

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch("https://example.com", headless=True)
titles = page.css(".post-title", adaptive=True).getall()
print(titles)

🪄 Адаптивные селекторы

Scrapling может обучить ваш парсер тому, как выглядят нужные элементы, и повторно находить их, даже если сайт их перемещает или перестраивает.

🕸 Обход анти-ботов и динамики

Умеет обходить защиту сайтов (например, Cloudflare Turnstile) из коробки, а также загружать страницы через полноценный браузер (Playwright).

⚡️ Spider-фреймворк с паузами/возобновлением

Может работать как полноценный краулер с:
* параллельными сессиями
* автоматической ротацией прокси
* возможностью паузы и продолжения
* статистикой в реальном времени — и всё это без тонны кода.

♎️ GitHub/Инструкция

#python #soft #github

💻 Antidetect Tools — полный арсенал для анонимного серфинга.

Если ты хоть раз сталкивался с антибот-системами или жёсткими проверками сайтов, то знаешь: обычных прокси или квн* будет маловато.

Здесь нужны настоящие инструменты антидетекта, которые маскируют твои действия под человека.

В этом репозитории собраны лучшие ресурсы:

🖥 Anti-detect браузеры — меняй отпечатки как перчатки.
📚 Библиотеки для антидетекта — интеграция прямо в код.
👊 Humanizing — эмуляция реального поведения.
🔐 Капча-решатели — обходи самые надоедливые проверки.
📲 SMS-сервисы для подтверждений.
🌍 Прокси для смены IP.
⚡️ Практические советы по антидетекту.

🔗 Репозиторий

Must-have подборка для ресёрча, тестирования и повышения приватности.

Сохраняй, чтобы не потерять 💾

#soft #github #pentest

📦 PDF-Extract-Kit — инструмент, который превращает хаотичные PDF в аккуратные структурированные данные.

🧾 Вытаскивает таблицы в нормальный табличный формат.
🔢 Отдельно извлекает цифры, поля, блоки.
📝 Парсит текст с сохранением структуры.
📊 Работает даже с «кривыми» сканами и сложной вёрсткой.
🧠 Понимает layout документа, а не просто OCR-ит его.

По сути — превращает PDF в чистые JSON / структурированные данные для дальнейшей обработки.

Где пригодится:

🟢Студенты
Быстро вытаскивают таблицы, цитаты и списки литературы из научных статей.
🟢Офис/фриланс
Счета, договоры, акты, анкеты — вместо ручного копирования получаешь структурированные данные.
🟢Аналитика
Можно автоматически забирать цифры из отчётов и загружать в свои системы.

💬 Прогнал через модель и получил чистую структуру.

⬇️ Сохраняем и пробуем

#python #soft #github

⚡️ Fara-7B — компактную агентная модель от Microsoft, которая не просто «болтает», а управляет браузером как человек.

Это не чат-бот.
Это Computer Use Agent.

🖱 Что умеет:

➡️ Видит веб-страницу визуально.
➡️ Скроллит.
➡️ Кликает по координатам.
➡️ Вводит текст.
➡️ Выполняет многошаговые задачи.

Без accessibility tree, без костылей, без отдельного парсинга DOM — модель работает через визуальное восприятие интерфейса!


💻 Можно автоматизировать:

💬 Поиск и резюмирование информации.
💬 Заполнение форм.
💬 Покупки и сравнение цен.
💬 Бронирование билетов и ресторанов.
💬 Поиск вакансий и недвижимости.

По сути — это автономный браузерный ассистент.

🟢Установка:

git clone https://github.com/microsoft/fara.git
cd fara

🟢Создаёшь окружение:

python3 -m venv .venv
source .venv/bin/activate
pip install -e .[vllm]
playwright install

🟢Запускаешь модель:

vllm serve "microsoft/Fara-7B" --port 5000 --dtype auto

🟢И тестируешь:

fara-cli --task "whats the weather in new york now"

Можно подключить к Magentic-UI и управлять через графический интерфейс.

⚠️ На Windows лучше использовать WSL2.
⚠️ Если не хватает памяти — добавь --tensor-parallel-size 2.

♎️ GitHub/Инструкция

#python #soft #github