🔥 Полезная библиотека Python

✅ Autoflake

📌 Autoflake — инструмент, который автоматически удаляет неиспользуемые импорты и переменные из кода, не ломая при этом рабочий процесс. Вы забудете про гору сухого кода после правок: просто запускаете — и файлы чистые, понятные и поддерживаемые.

📌 Особенности библиотеки:

🟠 Удаляет неиспользуемые импорты и переменные — работает быстрее flake8 + ручное удаление.
🟠 Интегрируется в CI/CD или pre-commit — держите репозитории без мусора, не задумываясь.
🟠 Поддерживает массовую автоматизацию: сразу для всех файлов проекта.

⚙️ Установка:

pip install autoflake

🔢 Документация

#библиотеки

🖥 Python_Scripts

✅ Folder Change Notifier via ntfy.sh

📌 Этот скрипт следит за локальной папкой в реальном времени и отправляет push-уведомления на ваш телефон или браузер через ntfy.sh, когда там что-то меняется — создаётся, удаляется или меняется файл. Просто, мощно и полностью автономно.

📱 Python 3.8+
💾 Модули: watchdog, requests, argparse, logging
Использует ntfy.sh для уведомлений — никаких регистраций, просто отправляет сообщение HTTP запросом.

📌 Особенности скрипта:

🟠Реагирует на события — создание, удаление, переименование или изменение файлов в папке
🟠Отправляет уведомление через ntfy.sh — всплывает на вашем устройстве мгновенно
🟠Поддерживает фильтрацию по расширениям, рекурсивный обход и кастомные настройки через CLI

👨‍💻 Пример использования (CLI):

python folder_monitor.py --path /путь/к/папке --topic mytopic --recursive

🧑‍💻 Код скрипта (folder_monitor.py):

import time, argparse, logging, os, requests
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler

logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(message)s")

class FileChangeHandler(FileSystemEventHandler):
    def __init__(self, topic, include_extensions=None):
        self.topic = topic
        self.include_ext = include_extensions

    def notify(self, msg):
        requests.post(f"https://ntfy.sh/{self.topic}", data=msg)

    def dispatch(self, event):
        if self.include_ext:
            if os.path.splitext(event.src_path)[1].lower() not in self.include_ext:
                return
        super().dispatch(event)

    def on_any_event(self, event):
        msg = f"{event.event_type.upper()}: {event.src_path}"
        logging.info(msg)
        self.notify(msg)

def main():
    parser = argparse.ArgumentParser("Folder Monitor with ntfy.sh notifications")
    parser.add_argument("--path", required=True, help="Folder path to monitor")
    parser.add_argument("--topic", required=True, help="ntfy.sh topic")
    parser.add_argument("--extensions", help="Filter extensions, comma-separated (e.g. .txt,.pdf)")
    parser.add_argument("--recursive", action="store_true", help="Watch subdirectories")
    args = parser.parse_args()

    exts = [e.lower() for e in args.extensions.split(",")] if args.extensions else None
    handler = FileChangeHandler(args.topic, include_extensions=exts)
    observer = Observer()
    observer.schedule(handler, args.path, recursive=args.recursive)
    observer.start()
    logging.info(f"Monitoring: {args.path} (recursive={args.recursive})")

    try:
        while True:
            time.sleep(1)
    except KeyboardInterrupt:
        observer.stop()
    observer.join()

if __name__ == "__main__":
    main()

⚙️ Установка зависимостей:

pip install watchdog requests

#скрипты

🖥 Python_Scripts

💬 Auto File Organizer — скрипт на Python, который автоматически сортирует файлы в папке по расширениям, перемещая их в соответствующие подпапки.

📱 Python 3.7+
💾 Модули: os, shutil

📌 Auto File Organizer — простой помощник для автоматической сортировки файлов в одной папке. Например, все .jpg и .png идут в папку "Images", .pdf в "Documents", .mp3 — в "Music" и так далее. Удобно для упорядочивания загрузок или проектов.

👨‍💻 Код:

import os
import shutil

def organize_folder(path):
    extensions = {
        "Images": [".jpg", ".jpeg", ".png", ".gif"],
        "Documents": [".pdf", ".docx", ".txt"],
        "Music": [".mp3", ".wav", ".flac"],
        "Videos": [".mp4", ".avi", ".mkv"],
    }
    for filename in os.listdir(path):
        filepath = os.path.join(path, filename)
        if os.path.isfile(filepath):
            for folder, exts in extensions.items():
                if any(filename.lower().endswith(ext) for ext in exts):
                    target_folder = os.path.join(path, folder)
                    os.makedirs(target_folder, exist_ok=True)
                    shutil.move(filepath, os.path.join(target_folder, filename))
                    print(f"Переместил {filename} -> {folder}")
                    break

if __name__ == "__main__":
    organize_folder("C:/Users/user/Downloads")

📌 Что делает:

🟠 Сканирует папку
🟠 Определяет расширение файла
🟠 Перемещает файл в подпапку по типу (создаёт папку, если нужно)

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ pzp

📌 pzp — лёгкий элемент-пикер в стиле fzf, написанный на чистом Python, для использования прямо в консоли. Работает без внешних зависимостей и позволяет интерактивно выбирать элементы из списка прямо в вашем скрипте.

📌 Особенности библиотеки:

🟠 Абсолютно на Python — не требуется установка fzf или прочих сторонних инструментов, всё само по себе.
🟠 Интерфейс по умолчанию — полноэкранный режим; при необходимости доступен вывод под курсором (fullscreen=False) и ограничение высоты окна (height=...).
🟠 Несколько layout-режимов

⚙️ Установка:

pip install pzp

🔢 Документация

#библиотеки

🖥 Python_Scripts

🗓 Скрипт планировщик задач

📱 Python: 3.11+🐍
💾 Модули: aiogram
🖥 База данных: postgresql

🚀 Скрипт — это Telegram-бот на Python, позволяющий создавать задачи с напоминаниями и прикреплёнными видео, храня все данные в PostgreSQL.

💭 Он отправляет уведомления пользователю в заданное время и помогает планировать день прямо в Telegram.

#telegram

🖥 Python_Scripts

💬 DaProfiler — Python-скрипт для самостоятельного OSINT-аудита: собирает информацию о себе, чтобы помочь удалить следы.

📱 Python 3.8+
💾 Модули: уточнённые через requirements.txt в репозитории GitHub; включает инструменты для HTTP-запросов и парсинга (например, requests, BeautifulSoup), а также автоматизацию браузера через Selenium (используется geckodriver + Firefox).

📌 DaProfiler — инструмент OSINT, позволяющий обнаружить и собрать доступную информацию о человеке: адреса, социальные сети, email, номера телефонов и прочее. Полезен тем, кто хочет оценить, какие данные доступны о вас, и при необходимости отправить запросы на удаление (например, по RGPD).

👨‍💻 Код и установка:

git clone https://github.com/TheRealDalunacrobate/DaProfiler.git
cd DaProfiler
pip install -r requirements.txt

Для работы требуется установленный Firefox и geckodriver.

Структура запуска (пример, обсуждается в документации проекта):

python profiler.py -n ИМЯ -ln ФАМИЛИЯ -l True -O output.txt

где:

-n, --name — имя цели
-ln, --lastname — фамилия цели
-l, --logging — включить логгирование в терминале
-O, --output — вывести результаты в output.txt

#скрипты

🖥 Python_Scripts

💬 Toutatis — скрипт на Python, который извлекает e-mail, номера телефонов и другую публичную информацию из аккаунтов Instagram по заданному имени пользователя.

📱 Python 3.7+
💾 Модули: instagram-scraper, requests и beautifulsoup4 (точный список — в requirements.txt репозитория).

📌 Toutatis — инструмент OSINT, который позволяет быстро получить контактную информацию (email, телефон и т. д.) из Instagram-аккаунтов. Работает по username, сканируя как посты, так и биографию и публичные метаданные. Особенно полезен при автоматизации сбора публичных данных в OSINT-исследованиях.

👨‍💻 Код и установка:

# с GitHub
git clone https://github.com/megadose/toutatis.git
cd toutatis/
python3 setup.py install

# или через PyPI
pip install toutatis

Пример запуска:

toutatis -u <username> -s <InstagramSessionID>

📎 GitHub репозиторий скрипта

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ Jam.py

📌 Jam.py — малоизвестный, но удобный low-code/no-code фреймворк на Python для быстрого создания веб-приложений CRUD. Позволяет автоматически генерировать формы, отчёты и интерфейс на основе существующих таблиц базы данных, без фронтенд-навыков или JS-разработки.

📌 Особенности библиотеки:

🟠 Полностью веб-интерфейсный low-code: создай приложение напрямую из БД, не трогая JavaScript.
🟠 Встроенный WSGI-сервер и графический конструктор интерфейсов (Application Builder) — строи формы, таблицы и отчёты просто перетаскиванием.
🟠 Быстрая генерация CRUD-приложений: просто импортируй существующие таблицы — и сразу получаешь рабочий интерфейс для них.
🟠 Универсальность: поддерживает различные СУБД, легален и открыт (BSD 3-clause).

⚙️ Установка:

pip install jam.py

🔢 Документация

#библиотеки

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ holehe

📌 holehe — это OSINT-библиотека и утилита для проверки email-адресов. Она показывает, зарегистрирован ли указанный email на популярных сервисах (Google, Twitter, Instagram, Netflix и др.).

📌 Особенности библиотеки:

🟠Асинхронная проверка email-адреса на десятках популярных сайтов.
🟠Показывает, зарегистрирован ли email, и иногда дополнительные данные (например, ошибки логина/регистрации).
🟠Можно использовать как CLI-инструмент и как Python-библиотеку.
🟠Полезен для OSINT-исследований, пентестов и проверки утечек.
🟠Поддерживает регулярные обновления списков сервисов.
🟠Легко интегрируется в автоматизированные пайплайны.

⚙️ Установка:

pip install holehe

🔢 Документация

#библиотеки

🖥 Python_Scripts

💬 F!Nd@NyFiL3 — скрипт на Python, который ищет скрытые файлы и документы через Google, парся результаты поиска, чтобы найти то, что стандартные методы не ловят.

📱 Python 3.8+
💾 Модули (из README и исходников GitHub): используются requests, beautifulsoup4 для парсинга Google-поиска и обхода результатов. Полный стек — в репозитории проекта.

📌 F!Nd@NyFiL3 — утилита OSINT-направленности: скрипт работает как "цифровая гончая", выполняет поисковые запросы в Google с нестандартными параметрами, чтобы обнаружить документы (.pdf, .doc, .xls и др.) и другие файлы, спрятанные на публичных ресурсах. Обходит ограничения обычных запросов, помогает найти "скрытое" содержимое.

👨‍💻 Код и установка:

git clone https://github.com/snooptsz/findanyfile.git
cd findanyfile
pip install requests beautifulsoup4

Запуск (пример, можно адаптировать под свой вопрос):

python findanyfile.py --query "site:example.com filetype:pdf confidential"

Где --query может включать любые Google-условия: тип файла, ключевые слова, site-ограничения и т.п.

#скрипты

🖥 Python_Scripts

🔥 Полезная библиотека Python

✅ EC-KitY

📌 EC-KitY — малоизвестная, но весьма мощная Python-библиотека для эволюционных вычислений. Поддерживает генетические алгоритмы, генетическое программирование, коэволюцию и многокритериальную оптимизацию. Легко интегрируется с экосистемой машинного обучения, включая scikit-learn.

📌 Особенности библиотеки:

🟠 Полная поддержка эволюционных парадигм — от классических генетических алгоритмов и программирования до продвинутых методов многокритериальной оптимизации и коэволюции.
🟠 Интеграция с ML-библиотеками — совместимость со scikit-learn позволяет использовать эволюционные методы в рамках привычных пайплайнов обучения.
🟠 Современная архитектура и простота настройки — проектировался с учетом современных практик разработки ПО: модульность, расширяемость и чистый API.

⚙️ Установка:

pip install ec-kity

🔢 Документация

#библиотеки

🖥 Python_Scripts

🔥 Beachpatrol

📱 Python 3.8+
💾💾 Модули: установлены через npm, но для автоматизации используются скрипты на Python + Playwright — подробности в репозитории.

📌 Beachpatrol — CLI-утилита, превращающая ваш браузер в автоматизируемый интерфейс: запускает Chromium или Firefox, управляя ими через Playwright-скрипты. Можно автоматизировать повседневные задачи — заполнение форм, скачивание файлов, навигацию по сайтам — всё без покидания привычного браузера.

📌 Особенности скрипта:

🟠 Запускает браузер (Chromium/Firefox) с возможностью управления по API Playwright — выполняет любые действия, как если бы вы делали их вручную, но автоматически.
🟠 Работает с профилями и инкогнито режимом (--profile, --incognito) — удобно для тестирования и изолированного использования.
🟠 Поддерживает запуск готовых сценариев: помещаете .js или .py скрипты в commands, и обрабатываете их через beachmsg <script-name>.
🟠 Можно интегрировать с GUI-расширением — сразу запускать сценарии из браузера одним кликом, с подсветкой текущих команд и hotkeys.

⚙️ Установка:

git clone https://github.com/sebastiancarlos/beachpatrol
cd beachpatrol
npm install
make

Запускается командой beachpatrol, работает как обычный браузер — можно добавить --profile <name> или --incognito.

🔢 Документация

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ Gekko

📌 Gekko — специализированная Python-библиотека для решения сложных задач оптимизации, включая смешанно-интегральные и дифференциальные алгебраические уравнения. Работает с нелинейными программами, динамическим моделированием, оптимальным управлением, ML-регрессией и многим другим. Поддерживает широкий набор задач: линейное и квадратичное программирование, QCQP, NLP, MIP, MILP. Интегрируется с мощными решателями: IPOPT, APOPT, SNOPT и др. и доступна на всех популярных платформах, включая Raspberry Pi.

📌 Особенности библиотеки:

🟠 Масштабируемость и мощность — решает большие нелинейные и смешанно-интегральные задачи оптимизации.
🟠 Многофункциональность — поддерживает динамическое моделирование, машинное обучение, управление моделями, согласование данных (data reconciliation) и режим реального времени.
🟠 Кроссплатформенность — работает на Linux, Windows, macOS и ARM (например, Raspberry Pi), поддерживает Python 2.7 и 3+. Запросы решаются на публичном сервере по умолчанию, но есть возможность использовать локальный режим без интернета.

⚙️ Установка:

pip install gekko

🔢 Документация

#библиотеки

🖥 Python_Scripts

⭐️ telegram-automated-db-backup — скрипт на Python для ежедневного бэкапа MySQL и отправки архива в Telegram-чат.

📱 Python 3.8+
💾 Модули: pyrogram, tgcrypto (опционально), а также системные утилиты mysqldump, zip, mysql-client, как указано в README.md репозитория.

📌 telegram-automated-db-backup — автоматизация бэкапа баз данных: делает дамп MySQL, упаковывает его в ZIP и отправляет на ваш Telegram-аккаунт или группу. Не нужно покупать облако — всё происходит автоматически через Telegram.

👨‍💻 Код и установка:

git clone https://github.com/azerothcore/telegram-automated-db-backup
cd telegram-automated-db-backup
pip install pyrogram tgcrypto
# Установите zip и mysql-client через apt

В файле bak.py сконфигурируйте:

🟠Доступ к базе: mysql_localhost, mysql_username, mysql_password, названия баз world_db, char_db, auth_db
🟠Настройки ZIP: zip_password, zip_name
🟠Telegram: chat_id, username, api_id, api_hash

Затем запускайте:

python3 bak.py

Можно использовать cron для ежедневного запуска. Также есть скрипт bak-per-table.py, который создаёт дамп из каждой таблицы отдельно.

Подробнее в репозитории скрипта.

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python.

✅ Scalpl

📌 Scalpl — компактная и удобная обёртка вокруг вложённых словарей (dict) в Python. Делает доступ к элементам и обновление вложенных структур простым и понятным, без громоздких проверок наличия ключей или условий. Отличный вариант, если нужно быстро и элегантно работать с JSON или вложенными dict, когда Glom — тяжеловат.

📌 Особенности библиотеки:

🟠 Лёгкая — простой импорт и работа, без лишнего кода
🟠 Эффективная для простых кейсов — если не требуется трансформация данных, а нужно только получить или установить значение — Scalpl быстрее и понятнее, чем Glom

⚙️ Установка:

pip install scalpl

🔢 Документация

#библиотеки

🖥 Python_Scripts

💬 find-duplicates-csv

📱 Python 3.8+
💾 Модули: pandas, rapidfuzz — используется для сравнения строк с учётом возможных опечаток и близости.

📌 find-duplicates-csv — удобный скрипт, который помогает очистить CSV-файлы от почти-идентичных строк. Он находит строки, которые отличаются лишь незначительно (например, из-за опечаток), и оставляет только уникальные — идеально для подготовки качественных данных перед анализом.

🧑‍💻 Код скрипта:

import pandas as pd
from rapidfuzz import process, fuzz
import argparse

def dedupe_csv(input_file: str, output_file: str, col: str, threshold: float = 90.0):
    df = pd.read_csv(input_file)
    txts = df[col].astype(str).tolist()

    # Построение матрицы схожести
    sim_matrix = process.cdist(
        txts, txts,
        scorer=fuzz.token_set_ratio,
        score_cutoff=threshold
    )

    # Выявляем индексы уникальных строк
    unique_idxs = set()
    for i in range(len(txts)):
        # если нет других строк похожих на i (кроме самой i), считаем уникальной
        if not any(j != i and sim_matrix[i, j] >= threshold for j in range(len(txts))):
            unique_idxs.add(i)

    df_unique = df.iloc[sorted(unique_idxs)]
    df_unique.to_csv(output_file, index=False)
    print(f"Сохранено уникальных строк: {len(df_unique)} из {len(df)}")

if __name__ == "__main__":
    parser = argparse.ArgumentParser(
        description="Удаление почти дублирующихся строк в CSV по текстовой колонке."
    )
    parser.add_argument("input", help="путь к входному CSV")
    parser.add_argument("output", help="путь к выходному CSV без дубликатов")
    parser.add_argument("--column", "-c", required=True, help="имя текстовой колонки для сравнения")
    parser.add_argument("--threshold", "-t", type=float, default=90.0, help="порог сходства (0-100)")
    args = parser.parse_args()

    dedupe_csv(args.input, args.output, args.column, args.threshold)

#скрипты

🖥 Python_Scripts

🔥 pypyr — легковесный скрипт-оркестратор для управления пайплайнами из YAML-файлов, без громоздкого кода.

📱 Python 3.7+
💾 Модули: pypyr — устанавливается через pip, зависимости автоматически подтягиваются. Это low-code инструмент: сам код JSON/YAML описывает логику, без обёрток и boilerplate.

📌 pypyr — скрипт-движок, который запускает цепочки задач описанных в YAML: запуск команд, копирование файлов, HTTP-запросы, переменные окружения, логика условий. Идеален как замена bash-скриптам, где нужно больше контроля, но без написания кучи Python-обвязки.

👨‍💻 Код и конфигурация (пример pipeline.yaml + запуск):

# pipeline.yaml
steps:
  - name: say hello
    python: print("Hello from pypyr")
  - name: list files
    shell: ls -la

Запускается так:

pip install pypyr
pypyr pipeline.yaml

#скрипты

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ obscure_stats

📌 obscure_stats — библиотека с редкими статистическими функциями, которых нет в scipy, statsmodels или numpy. Полезна, когда нужно работать с нестандартными метриками — например, альтернативные формулы асимметрии и эксцесса, устойчивые к выбросам или малому числу выборок.

📌 Особенности библиотеки:

🟠 Уникальные статистические меры — методы отличающиеся от популярных реализаций в SciPy, для особых случаев анализа.
🟠 Малораспространённая и развивающаяся — использована в reddit-сообществе как недооценённый инструмент аналитиков.

⚙️ Установка:

pip install obscure_stats

🔢 Документация

#библиотеки

🖥 Python_Scripts

💬 trimtrailingwhitespaces (ttws) — скрипт на Python, который рекурсивно удаляет лишние пробелы и табы в конце строк во всех текстовых файлах в указанной папке.

🐍 Python ≥ 3.0
💾 Модули: используется python-magic (libmagic) для проверки, является ли файл текстовым; fallback — по расширению файлов при отсутствии libmagic. Все зависимости устанавливаются через pip.

📌 trimtrailingwhitespaces (ttws) — программа для очистки текстовых файлов от лишних пробелов в конце строк + удаления пустых строк в конце файла. Пропускает бинарники и файлы в папках контроля версий (.git/.svn и т.д.). Может переключаться на список расширений, если libmagic не доступен (особенно в Windows).

👨‍💻 Установка и использование:

pip install -U ttws

Затем:

ttws [OPTIONS] <directory> [<directory> ...]

Опции:

-h, --help — справка
-v, --version — версия
-s, --strip — дополнительно удалить лишние пробелы/табуляции из HTML-описаний в комментариях (например, Modelica)
--eol=[CRLF|LF|CR] — задать тип переводов строки (по-умолчанию — системный)
-c, --clean — агрессивная очистка аннотаций в Modelica файлах (только под VC и с осторожностью)
-b, --blanks — подавление множественных пустых строк в *.mo файлах (не использовать с другими опциями)

Пример:

ttws path/to/project

👩‍💻 Ссылка на репозиторий: simulatino/trimtrailingwhitespaces на GitHub — там лежит исходный код, README, setup и README с описанием возможностей.

#скрипты

🐍 Python_Scripts

🔥 Полезные библиотеки Python

✅ cupy

📌 cupy — это высокопроизводительная библиотека для численных вычислений, совместимая с API NumPy, но оптимизированная для работы на GPU (CUDA и AMD ROCm). Она позволяет ускорить операции над массивами в десятки раз без изменения привычного синтаксиса NumPy, идеально подходит для ML, научных вычислений и обработки больших данных.

📌 Особенности библиотеки:

🟠Поддерживает многомерные массивы, линейную алгебру, FFT и статистику, как в NumPy;
🟠GPU‑ускорение: подходит для ускорения ML‑подготовки и вычислений;
🟠Совместимость: безболезненная замена import numpy as np → import cupy as cp;
🟠Поддержка CUDA и AMD ROCm, активно развивается (версия 13.3.0, август 2024);
🟠Используется в проектах NVIDIA RAPIDS, Chainer и др..

⚙️ Установка:

pip install cupy

📌 Почему стоит выбрать cupy:

🟠Используется привычный API NumPy, но ускоряется за счёт GPU;
🟠Отличный выбор для подготовки данных, вычислений и ML‑задач;
🟠Значительное ускорение для операций над большими массивами.

🔢 Документация

#библиотеки

🖥 Python_Scripts