✈️ Парсим Telegram на уровне профи

tgSpyder — мощный OSINT-инструмент , который превращает Telegram в полноценную базу данных для анализа. Реальный рабочий инструмент для ресёрча, инфобеза и расследований.

Что умеет:
✅ Выгружает сообщения, медиа (аудио, видео, файлы), реакции.
✅ Собирает данные об участниках: ID, логины, публичную информацию.
✅ Позволяет анализировать историю каналов и чатов.
✅ Ищет пользователей по username и ID.
✅ Формирует структурированный датасет (CSV) для дальнейшего анализа.
✅ Работает через официальный Telegram API.

По сути — ты получаешь:
📊 Датасет для аналитики.
🧠 Материал для OSINT-исследований.
📈 Возможность изучать динамику каналов.
🔗 Анализ связей и активности.

Установка:

git clone https://github.com/Darksight-Analytics/tgspyder.git
cd tgspyder
python3 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
pip install -e .

▶️ Запуск:

tgspyder --help

♎️ GitHub/Инструкция

#python #soft #github

🔥 Полезные библиотеки Python

MetadataParser — Python-библиотека, которая вытащит всё о сайте по одной ссылке!

👀 описание страницы;
👀 ключевые слова;
👀 местоположение;
👀 изображения;
👀 авторов и другое полезное добро.

Устанавливается в один клик:

pip install metadata_parser

♎️ GitHub/Инструкция с примерами кода

#python #soft #code #github

🔍 Области видимости переменных в Python на русском

🟢Имена и области видимости
🟢Область видимости и пространство имён Python
🟢Использование правила LEGB
🟢Вложенные функции
🟢Оператор nonglobal
🟢Использование вложенных областей в качестве замыканий
🟢Область видимости списковых включений
🟢Область видимости переменных исключения
🟢Область видимости атрибутов класса и экземпляра
🟢Использование встроенных функций
🟢И многое другое

📂Сохраняй, пригодится!

#doc #python

⚙️ Настройка среды разработки: VSCode, Docker для Python-проектов. Debug внутри контейнера

Подробно рассмотрим процесс установки и настройки всех необходимых инструментов для эффективной разработки Python-приложений с использованием FastAPI, Docker и Docker Compose.

Вы узнаете, как создать изолированную среду для вашего проекта, настроить отладку и обеспечить бесперебойную работу вашего приложения.

#doc #article #python #docker

💻 user-scanner — инструмент OSINT-разведки по email и нику

Если тебе нужно понять, где светится человек, с чего начать цифровой профиль и как быстро собрать первичную картину — вот инструмент.

Сканер проверяет:
🖱 зарегистрирован ли конкретный email на популярных платформах.
🖱 занят ли конкретный username в соцсетях, dev-сервисах, creator-площадках.
🖱 существует ли уникальный ник в экосистеме GitHub/Reddit/Twitter/Instagram* и д.р.

* Принадлежит корпорации Meta, которая признана в РФ экстремистской.

Что умеет
✅Email & Username OSINT в одном инструменте.
✅Режимы: email-scan, username-scan, username-only.
✅Категории платформ (dev/social/creator и т.д.) + выбор конкретного модуля.
✅Массовое сканирование из файла.
✅Перестановки username (wildcard-вариации).
✅Вывод: консоль / JSON / CSV.
✅Поддержка прокси с ротацией + предвалидация.
✅Автообновление через PyPI.

🚀 Быстрый старт

python -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
pip install user-scanner

▶️ Базовое использование

# Проверка одного email, получаешь карту регистрации email по платформам.

user-scanner -e john_doe@gmail.com

# Проверка одного username. Получаешь список сайтов, где ник уже занят.

user-scanner -u john_doe

# Поиск только по GitHub:

user-scanner -u john_doe -m github

🔗 Работа через прокси

user-scanner -u john_doe -P proxies.txt --validate-proxies

Почему это полезно в OSINT
🟢 Построение цифрового профиля
🟢 Проверка бренда
🟢 Информационная безопасность
🟢 Расследования

Это базовая техника цифровой разведки.

⚠️ Информация предоставлена исключительно с целью ознакомления. И побуждает обратить внимание на проблемы в безопасности.

♎️ GitHub/Инструкция

#python #soft #github

🔊 telegram-automated-db-backup — полезный Python скрипт для ежедневного дампа MySQL и отправки архива в Telegram(в любой чат, группу или избранное)

Идеально, если:
✅держишь сервер/проект на MySQL/MariaDB,
✅хочешь “бэкап каждый день и чтобы он сам приезжал в мессенджер”,
✅не хочешь настраивать облака/хранилища на старте.

🚛 Установка:

sudo apt install python3 python3-pip zip mysql-client
pip3 install pyrogram tgcrypto

Настройка
➡️В Telegram забираем chat_id, username, api_id и api_hash.
➡️Доступ к БД: заполням креды MySQL и параметры архивирования: mysql_username/mysql_password,
базы (world_db, char_db, auth_db) как пример.
➡️Настройки ZIP: zip_password, zip_name.

▶️ Запуск:

python3 bak.py

Можно автоматизировать запуск по расписанию используя cron:

crontab -e
0 0 * * * cd ~/root/path/project/; python3 bak.py

А также создавать дамп любой таблицы по отдельности, а не целым архивом используя готовый скрипт bak-per-table.py

♎️ GitHub/Инструкция

#python #soft #github

🙂 Клонировать любой голос за пару секунд? Легко.

Voicebox — локальная нейросеть для клонирования речи. По сути, бесплатная альтернатива ElevenLabs, только без подписок и ограничений.

🔊 Настоящий “голосовой фотошоп”:
загружаешь короткий фрагмент аудио — получаешь полноценный клон голоса.

Что умеет:
➡️ Создаёт копию голоса по небольшому аудиофайлу.
➡️ Озвучивает любой текст выбранным голосом.
➡️ Позволяет собирать диалоги и подкасты из нескольких голосов.
➡️ Записывает и расшифровывает аудио.
➡️ Работает полностью локально — все файлы и проекты остаются у тебя на ПК.

Можно озвучивать видео, презентации, ролики для соцсетей, мемы или даже создавать фейковые интервью.

♎️ GitHub/Инструкция

#python #soft #github

🔥 Полезные библиотеки Python

👊 Управляем браузером по хлопку!

Two Claps Open — гениально простой инструмент, который открывает Chrome браузер или активирует голосового помощника и открывает любую ссылку, когда ты хлопаешь в ладоши дважды.

💬 Как это работает:
➡️слушает микрофон через pyaudio;
➡️реагирует на два резких хлопка подряд;
➡️открывает браузер или активирует голосового помощника.

🤯 Возможности ограничены только фантазией:

🟢Запуск любимой музыки или YouTube по хлопку.
🟢Открытие рабочего дашборда, когда садишься за ПК.
🟢Подключение к системе "умного дома" — открыл дверь/свет, хлопнув в ладоши.

💻 Установка:

$ git clone https://github.com/Yutarop/two_claps_open
$ cd two_claps_open

$ pip install -r requirements-core.txt
or 
$ pip install -r requirements-agent.txt

📦 Запуск:

$ python two_claps_open.py
or
$ python agent_on_clap.py

👨‍💻 Годнота для автоматизации, фана и вирусных демонстраций.

Если ты любишь писать скрипты, которые реально удивляют — попробуй и покажи друзьям.

⚙️ Инструкция/GitHub

👇 Готовый проект в архиве

🔥 Код открыт для редактирования!

#python #soft #code

💻 Scrapling — парсим весь интернет в один клик

Не просто ещё одна Python-библиотека для парсинга страниц. Это — адаптивная экосистема, которая не ломается от первого же апдейта сайта и умеет самостоятельно находить ваши данные, даже если структура DOM поменялась.

🚫 Забудьте про бесконечный ребейз селекторов, бессмысленные переписывания парсеров и костыли на продакшене.

Scrapling — это:
✔️ Python-фреймворк от одного запроса до масштабного краулера.
✔️ Адаптивный парсер, который «понимает» изменения DOM.
✔️ Мощный набор инструментов для обхода анти-бота и динамического контента.
✔️ Библиотека, которую можно запустить в пару строк кода и она работает.

⚙️ Простая установка:

pip install scrapling

😰 Минимальный пример на Python

from scrapling.fetchers import StealthyFetcher

page = StealthyFetcher.fetch("https://example.com", headless=True)
titles = page.css(".post-title", adaptive=True).getall()
print(titles)

🪄 Адаптивные селекторы

Scrapling может обучить ваш парсер тому, как выглядят нужные элементы, и повторно находить их, даже если сайт их перемещает или перестраивает.

🕸 Обход анти-ботов и динамики

Умеет обходить защиту сайтов (например, Cloudflare Turnstile) из коробки, а также загружать страницы через полноценный браузер (Playwright).

⚡️ Spider-фреймворк с паузами/возобновлением

Может работать как полноценный краулер с:
* параллельными сессиями
* автоматической ротацией прокси
* возможностью паузы и продолжения
* статистикой в реальном времени — и всё это без тонны кода.

♎️ GitHub/Инструкция

#python #soft #github

📦 PDF-Extract-Kit — инструмент, который превращает хаотичные PDF в аккуратные структурированные данные.

🧾 Вытаскивает таблицы в нормальный табличный формат.
🔢 Отдельно извлекает цифры, поля, блоки.
📝 Парсит текст с сохранением структуры.
📊 Работает даже с «кривыми» сканами и сложной вёрсткой.
🧠 Понимает layout документа, а не просто OCR-ит его.

По сути — превращает PDF в чистые JSON / структурированные данные для дальнейшей обработки.

Где пригодится:

🟢Студенты
Быстро вытаскивают таблицы, цитаты и списки литературы из научных статей.
🟢Офис/фриланс
Счета, договоры, акты, анкеты — вместо ручного копирования получаешь структурированные данные.
🟢Аналитика
Можно автоматически забирать цифры из отчётов и загружать в свои системы.

💬 Прогнал через модель и получил чистую структуру.

⬇️ Сохраняем и пробуем

#python #soft #github

✈️ Автоматизируем почтовую рассылку с Python

💬 Отправка писем.
💬 Вложения (PDF, сертификаты, отчёты).
💬 Для массовой рассылки.
💬 Отправка по расписанию.

😰 Один скрипт — и ты превращаешься в машину массовой отправки.

Особенно полезно, если:
🟢рассылаешь коммерческие предложения;
🟢отправляешь отчёты клиентам;
🟢делаешь уведомления;
🟢запускаешь email-маркетинг;
🟢автоматизируешь внутренние процессы.

1. Создай recipients.txt:

a@site.com
b@site.com
c@site.com

2. Запусти скрипт — он будет ждать времени и отправлять.

Готовый код 👇

#python #soft #code

✈️ Автоматизируем почтовую рассылку с Python

#python #soft #code

⚡️ Fara-7B — компактную агентная модель от Microsoft, которая не просто «болтает», а управляет браузером как человек.

Это не чат-бот.
Это Computer Use Agent.

🖱 Что умеет:

➡️ Видит веб-страницу визуально.
➡️ Скроллит.
➡️ Кликает по координатам.
➡️ Вводит текст.
➡️ Выполняет многошаговые задачи.

Без accessibility tree, без костылей, без отдельного парсинга DOM — модель работает через визуальное восприятие интерфейса!


💻 Можно автоматизировать:

💬 Поиск и резюмирование информации.
💬 Заполнение форм.
💬 Покупки и сравнение цен.
💬 Бронирование билетов и ресторанов.
💬 Поиск вакансий и недвижимости.

По сути — это автономный браузерный ассистент.

🟢Установка:

git clone https://github.com/microsoft/fara.git
cd fara

🟢Создаёшь окружение:

python3 -m venv .venv
source .venv/bin/activate
pip install -e .[vllm]
playwright install

🟢Запускаешь модель:

vllm serve "microsoft/Fara-7B" --port 5000 --dtype auto

🟢И тестируешь:

fara-cli --task "whats the weather in new york now"

Можно подключить к Magentic-UI и управлять через графический интерфейс.

⚠️ На Windows лучше использовать WSL2.
⚠️ Если не хватает памяти — добавь --tensor-parallel-size 2.

♎️ GitHub/Инструкция

#python #soft #github

👊 Появился почти идеальный суммаризатор для русского языка

Чувак обучил модель специально под русский язык, коротко пересказывать длинные тексты без потери смысла.

Алгоритм выжимает из документа самую суть и превращает десятки страниц в несколько абзацев — без воды и искажений.

📄 статьи
📚 большие тексты
📦 отчёты
🧾 документы

Модель спокойно прогоняет всё это через себя и выдаёт аккуратное резюме.

😰 Пример использования:

# Установим библиотеку трансформеров
!pip install transformers

# Импортируем библиотеки
from transformers import AutoModelForSeq2SeqLM, T5TokenizerFast

# Зададим название выбронной модели из хаба
MODEL_NAME = 'UrukHan/t5-russian-summarization'
MAX_INPUT = 256

# Загрузка модели и токенизатора
tokenizer = T5TokenizerFast.from_pretrained(MODEL_NAME)
model = AutoModelForSeq2SeqLM.from_pretrained(MODEL_NAME)

# Входные данные (можно массив фраз или текст)
input_sequences = ['Тут твой текст']   # или можно использовать одиночные фразы:  input_sequences = 'сегодня хороший день'

task_prefix = "Spell correct: "                 # Токенизирование данных
if type(input_sequences) != list: input_sequences = [input_sequences]
encoded = tokenizer(
  [task_prefix + sequence for sequence in input_sequences],
  padding="longest",
  max_length=MAX_INPUT,
  truncation=True,
  return_tensors="pt",
)

predicts = model.generate(encoded)    # # Прогнозирование

tokenizer.batch_decode(predicts, skip_special_tokens=True)  # Декодируем данные

⬇️ Модель на huggingface и примеры использования

#нейросеть #python #soft