🅰️ Как кастомизировать автоматизацию под себя

Ansible — это мощный инструмент автоматизации, и если стандартных модулей недостаточно, можно легко писать свои модули на Python.

🗂 Структура: /library/modify_list.py

🔢 Код взят из доки:

from ansible.module_utils.basic import AnsibleModule

def run_module():
    module_args = dict(
        some_list=dict(type='list', required=True)
    )

    result = dict(output=[])

    module = AnsibleModule(
        argument_spec=module_args,
        supports_check_mode=True
    )

    if module.check_mode:
        module.exit_json(**result)

    if len(module.params['some_list']) <= 1:
        module.fail_json(msg='some_list needs more than 1 item', **result)

    for item in module.params['some_list']:
        result['output'].append({"value": item, "extra": "n/a"})

    module.exit_json(**result)

def main():
    run_module()

if __name__ == '__main__':
    main()

☝️ Этот модуль принимает список, проверяет его длину и возвращает обработанный результат. Это базовый пример, который можно расширять под любые задачи.

#библиотеки

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ astor

📌 Это библиотека для преобразования AST (абстрактного синтаксического дерева) обратно в исходный Python-код, а также для анализа и модификации кода.

📌 Особенности библиотеки:

🟠Преобразует AST → Python-код (unparsing)
🟠Удобна для автогенерации и модификации кода
🟠Поддерживает сохранение форматирования и комментариев (частично)

⚙️ Установка:

pip install astor

🔢 Документация

#библиотеки

🖥 Python_Scripts

🌃 Быстрое и надёжное массовое переименование файлов в Python

🤝 Делюсь готовым решением для автоматического замены части имени файлов в указанной директории.

🟠Скрипт включает проверку пути, обработку ошибок и защиту от конфликтов имён.

import os

def bulk_rename(folder_path, old_name_part, new_name_part):
   
    if not os.path.isdir(folder_path):
        raise NotADirectoryError(f"Путь «{folder_path}» не найден")

    for filename in os.listdir(folder_path):
        if old_name_part in filename:
            new_filename = filename.replace(old_name_part, new_name_part)
            old_full = os.path.join(folder_path, filename)
            new_full = os.path.join(folder_path, new_filename)

            # Пропускаем, если имена совпадают
            if old_full == new_full:
                print(f"Пропущено (имена совпадают): {filename}")
                continue

            try:
                os.rename(old_full, new_full)
                print(f"Переименовано: {filename} → {new_filename}")
            except OSError as e:
                print(f"Ошибка при переименовании {filename}: {e}")

if __name__ == "__main__":
    folder = '/path/to/your/folder'
    bulk_rename(folder, 'old_part', 'new_part')

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ dill

📌 dill — расширение pickle, позволяющее сериализовать почти всё в Python: lambda, локальные функции, замыкания, генераторы и даже состояние интерпретатора.

📌 Особенности библиотеки:

🟠Работает там, где pickle падает
🟠Подходит для multiprocessing с функциями без глобального контекста
🟠Можно сохранить/восстановить сессию (dill.dump_session())

⚙️ Установка:

pip install dill

🔢 Документация

#библиотеки

🖥 Python_Scripts

🗓 Скрипт планировщик задач

📱 Python: 3.11+🐍
💾 Модули: aiogram
🖥 База данных: postgresql

🚀 Скрипт — это Telegram-бот на Python, позволяющий создавать задачи с напоминаниями и прикреплёнными видео, храня все данные в PostgreSQL.

💭 Он отправляет уведомления пользователю в заданное время и помогает планировать день прямо в Telegram.

#telegram

🖥 Python_Scripts

💰 Скрипт обозреватель в сети TON

📱 Python 3.11+
💾 Модули: aiogram, aiohttp
🖥 База данных: sqlalchemy

🚀 Это Telegram-бот, который позволяет отслеживать информацию о кошельках, блоках и транзакциях в сети TON.

#telegram

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ h2o

📌 h2o — это производительный ML-фреймворк, поддерживающий автоматическое машинное обучение (AutoML), работу с большими данными и моделями на кластере или GPU.

📌 Особенности библиотеки:

🟠Встроенный AutoML: подбор моделей, стэкинг, тюнинг
🟠Поддержка GBM, Random Forest, GLM, XGBoost, Deep Learning
🟠Интерфейс через Python, R, Web UI или REST API
🟠Умеет работать распределённо (кластер), обрабатывать сотни ГБ/ТБ данных

⚙️ Установка:

pip install h2o

🔢 Документация

#библиотеки

🖥 Python_Scripts

😎 Распознание лиц на фото

📱 Python 3.6+
💾 Модули: opencv-python, numpy

📌 Скрипт в реальном времени захватывает видео с камеры, распознаёт лица и обводит их прямоугольниками.

🧑‍💻 Код:

import cv2

cap = cv2.VideoCapture(0)

face_cascade = cv2.CascadeClassifier(
    cv2.data.haarcascades + "haarcascade_frontalface_default.xml")
body_cascade = cv2.CascadeClassifier(
    cv2.data.haarcascades + "haarcascade_fullbody.xml")

while True:
    _, frame = cap.read()

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    faces = face_cascade.detectMultiScale(gray, 1.3, 5)

    for (x, y, width, height) in faces:
       cv2.rectangle(frame, (x, y), (x + width, y + height), (255, 0, 0), 3)

    cv2.imshow("Camera", frame)

    if cv2.waitKey(1) == ord('q'):
        break

cap.release()
cv2.destroyAllWindows()

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ optuna

📌 optuna — это современная и мощная библиотека для автоматического подбора гиперпараметров с помощью умных (байесовских и не только) стратегий.

📌 Особенности библиотеки:

🟠Поддерживает scikit-learn, PyTorch, XGBoost, LightGBM, и любые кастомные модели
🟠Быстрый поиск за счёт pruning (обрезания неудачных вариантов на ранней стадии)
🟠Простое API: пишешь целевую функцию и указываешь диапазоны параметров
🟠Поддержка распределённой оптимизации и визуализации

⚙️ Установка:

pip install optuna

🔢 Документация

#библиотеки

🖥 Python_Scripts

📱 Скрипт конструктор Telegram ботов

📱 Python 3.11+🐍
💾 Модули: django
🖥 База данных: postgresql

📌 Это веб-приложение на Django с PostgreSQL, позволяющее пользователям создавать Telegram-ботов без кода — через простой интерфейс. Подходит для автосообщений, меню, кнопок и других функций. Работает на Python 3.11+.

#telegram

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ dtreeviz

📌 dtreeviz — это библиотека для красивой и подробной визуализации деревьев решений, намного информативнее стандартных графиков

📌 Особенности библиотеки:

🟠Показывает, как данные проходят через узлы
🟠Поддерживает sklearn, xgboost, lightgbm
🟠Интерактивные графики с подписями, распределениями и split‑значениями

⚙️ Установка:

pip install dtreeviz

🔢 Документация

#библиотеки

🖥 Python_Scripts

🖥 Автоматизация резервного копирования базы данных в AWS S3

📱 Python 3.6+
💾 Модули: boto3, botocore, subprocess, datetime

📌Скрипт делает бэкап MySQL-базы и загружает его на Amazon S3. Использует mysqldump и boto3 для автоматизации процесса.

⌨️ Код:

import subprocess
import boto3
import datetime
from botocore.exceptions import NoCredentialsError
# Configuration
DB_HOST = 'localhost'
DB_USER = 'your_db_user'
DB_PASSWORD = 'your_db_password'
DB_NAME = 'your_db_name'
S3_BUCKET_NAME = 'your-s3-bucket-name'
S3_REGION = 'us-west-2'
def backup_database():
    timestamp = datetime.datetime.now().strftime('%Y%m%d%H%M%S')
    backup_file = f"{DB_NAME}_backup_{timestamp}.sql"
    dump_command = f"mysqldump -h {DB_HOST} -u {DB_USER} -p{DB_PASSWORD} {DB_NAME} > {backup_file}"
    process = subprocess.Popen(dump_command, shell=True)
    process.wait()
    if process.returncode == 0:
        print(f"Database backup successful: {backup_file}")
        upload_to_s3(backup_file)
    else:
        print("Database backup failed.")
def upload_to_s3(file_name):
    s3 = boto3.client('s3', region_name=S3_REGION)
    try:
        s3.upload_file(file_name, S3_BUCKET_NAME, file_name)
        print(f"Backup file uploaded to S3: s3://{S3_BUCKET_NAME}/{file_name}")
    except FileNotFoundError:
        print("The backup file was not found.")
    except NoCredentialsError:
        print("AWS credentials not available.")
if __name__ == "__main__":
    backup_database()

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ ormar

📌 ormar — это асинхронный ORM (Object-Relational Mapper) для Python, созданный специально для работы с FastAPI, основан на SQLAlchemy и pydantic.

📌 Особенности библиотеки:

Асинхронный (async/await) — идеально для современных API
Модели основаны на pydantic — автоматическая валидация
Простой синтаксис, похож на Django ORM

⚙️ Установка:

pip install ormar

🔢 Документация

#библиотеки

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ piccolo

📌 piccolo — это современный асинхронный ORM и минималистичный веб-фреймворк для Python. Поддерживает миграции, асинхронные запросы и CLI-инструменты.

📌 Особенности библиотеки:

🟠Асинхронный, быстрый и лёгкий
🟠Встроенная система миграций
🟠Поддержка FastAPI
🟠Удобный CLI (piccolo команды)

⚙️ Установка:

pip install piccolo

🔢 Документация

#библиотеки

🖥 Python_Scripts

👨‍💻 Автоматическая проверка срока действия SSL-сертификатов

📱 Python 3.6+
💾 Модули: ssl, socket, datetime

📌 Проверяет, через сколько дней истекает SSL-сертификат у указанного сайта и выводит предупреждение.

⌨️ Код:

import ssl
import socket
from datetime import datetime
def check_ssl_expiry(hostname):
    context = ssl.create_default_context()
    with socket.create_connection((hostname, 443)) as conn:
        with context.wrap_socket(conn, server_hostname=hostname) as sock:
            cert = sock.getpeercert()
            expiry_date = datetime.strptime(cert['notAfter'], '%b %d %H:%M:%S %Y %Z')
            days_to_expiry = (expiry_date - datetime.now()).days
            print(f"SSL Certificate for {hostname} expires in {days_to_expiry} days.")
if __name__ == "__main__":
    check_ssl_expiry("example.com")

🖥 Python_Scripts

🔥 Выполнение команд на серверах через SSH

📱 Python 3.6+
💾 Модули: paramiko

📌 Автоматически подключается к удалённому серверу по протоколу SSH, выполняет заданную команду (например, ls -l, df -h, uptime или любую другую) и выводит результат в терминал. Такой скрипт удобен для администрирования серверов, мониторинга состояния системы или массового выполнения команд на нескольких хостах.

🧑‍💻 Код:

import paramiko  

ssh = paramiko.SSHClient()  
ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())  
ssh.connect("your_server_ip", username="user", password="pass")  

stdin, stdout, stderr = ssh.exec_command("ls -l")  
print(stdout.read().decode())  

ssh.close()

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ peewee

📌 peewee — это лёгкий ORM для Python, с лаконичным синтаксисом, поддержкой SQLite, PostgreSQL и MySQL. Отлично подходит для небольших и средних проектов.

📌 Особенности библиотеки:

🟠Очень простой и понятный синтаксис
🟠Поддержка миграций (pwiz, playhouse.migrate)
🟠Поддерживает связи (ForeignKey, ManyToMany)
🟠Есть расширения (playhouse) для кэша, сигналов, миграций и др.

⚙️ Установка:

pip install peewee

🔢 Документация

#библиотеки

🖥 Python_Scripts

😱 Пайплайн для обучения и оценки ML-модели

📱 Python 3.7+
💾 Модули: pandas, matplotlib, seaborn, ydata-profiling

📌 Скрипт обучает модели Random Forest и Logistic Regression на входных данных, затем оценивает их точность, полноту, precision и F1-метрику. Возвращает результаты в виде словаря.

🧑‍💻 Код:

from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score
from sklearn.ensemble import RandomForestClassifier
from sklearn.linear_model import LogisticRegression

def train_evaluate_models(X, y):
    # Split the data
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    # Initialize models
    models = {
        'Random Forest': RandomForestClassifier(),
        'Logistic Regression': LogisticRegression()
    }

    results = {}

    # Train and evaluate each model
    for name, model in models.items():
        model.fit(X_train, y_train)
        y_pred = model.predict(X_test)

        results[name] = {
            'accuracy': accuracy_score(y_test, y_pred),
            'precision': precision_score(y_test, y_pred, average='weighted'),
            'recall': recall_score(y_test, y_pred, average='weighted'),
            'f1': f1_score(y_test, y_pred, average='weighted')
        }

    return results

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ wapiti

📌 wapiti — это инструмент и Python-библиотека для автоматического сканирования веб-приложений на уязвимости (XSS, SQLi, LFI, CSRF и др.).

📌 Особенности библиотеки:

🟠Обнаруживает десятки уязвимостей
🟠Работает через spidering или с предоставленным URL-списком
🟠Поддержка cookie, прокси, POST-запросов
🟠Можно использовать как CLI, так и через Python-код

⚙️ Установка:

pip install wapiti3

🔢 Документация

#библиотеки

🖥 Python_Scripts

🔒 Поддоменные атаки и разведка через DNS‑скрипт на основе fierce

📱 Python 3.10+
💾 Модули: dnspython, argparse, socket

📌 Собирает список поддоменов через словарь (brute‑force) и записи NS, затем пытается выполнить zone‑transfer (AXFR) для извлечения всех DNS‑записей, включая sub‑домены и IP; далее — сканирует соседние IP‑адреса в пределах Class C (--traverse) и весь /24 диапазон (--wide), выполняет обратные DNS-запросы, чтобы обнаружить непоследовательные и скрытые хосты — супер полезно для разведки misconfigured сетей и выявления скрытой инфраструктуры.

git clone https://github.com/mschwager/fierce.git
cd fierce
pip install dnspython==1.16.0

👨‍💻 Код:

from fierce import Fierce

f = Fierce(domain="example.com", traverse=10, wide=True, subdomains=["www","mail","api"])
f.run()
print("\n".join(f.all_hosts))

🖥 Python_Scripts

🔥 Полезные библиотеки Python

✅ fierce

📌 fierce — это инструмент и Python‑библиотека для DNS‑разведки, помогает находить не‑последовательные IP‑блоки и хосты (subdomain discovery, DNS brute, zone transfer и др.).

📌 Особенности библиотеки:

🟠 Предназначен для pre‑scanner фаз (как подбор адресов перед nmap, nessus).
🟠 Работает через прямой DNS‑брютфорс, попытки zone‑transfer.
🟠 Можно сканить соседние IP‑сети (--traverse, --wide), фильтровать домены (--search).
🟠 Поддерживает опции HTTP‑подключения (--connect) к найденным хостам.
🟠 CLI-инструмент, но встроен в экосистему Python (установлен через pip).

⚙️ Установка:

pip install fierce

🔢 Документация

#библиотеки

🖥 Python_Scripts