EC-KitY🟠 Полная поддержка эволюционных парадигм — от классических генетических алгоритмов и программирования до продвинутых методов многокритериальной оптимизации и коэволюции.🟠 Интеграция с ML-библиотеками — совместимость со scikit-learn позволяет использовать эволюционные методы в рамках привычных пайплайнов обучения.🟠 Современная архитектура и простота настройки — проектировался с учетом современных практик разработки ПО: модульность, расширяемость и чистый API.
pip install ec-kity
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤6🔥4👍3
💾
npm, но для автоматизации используются скрипты на Python + Playwright — подробности в репозитории.🟠 Запускает браузер (Chromium/Firefox) с возможностью управления по API Playwright — выполняет любые действия, как если бы вы делали их вручную, но автоматически.🟠 Работает с профилями и инкогнито режимом (--profile, --incognito) — удобно для тестирования и изолированного использования.🟠 Поддерживает запуск готовых сценариев: помещаете .js или .py скрипты в commands, и обрабатываете их через beachmsg <script-name>.🟠 Можно интегрировать с GUI-расширением — сразу запускать сценарии из браузера одним кликом, с подсветкой текущих команд и hotkeys.
git clone https://github.com/sebastiancarlos/beachpatrol
cd beachpatrol
npm install
make
Запускается командой
beachpatrol, работает как обычный браузер — можно добавить --profile <name> или --incognito.#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤4👍1
Gekko🟠 Масштабируемость и мощность — решает большие нелинейные и смешанно-интегральные задачи оптимизации.🟠 Многофункциональность — поддерживает динамическое моделирование, машинное обучение, управление моделями, согласование данных (data reconciliation) и режим реального времени.🟠 Кроссплатформенность — работает на Linux, Windows, macOS и ARM (например, Raspberry Pi), поддерживает Python 2.7 и 3+. Запросы решаются на публичном сервере по умолчанию, но есть возможность использовать локальный режим без интернета.
pip install gekko
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7👍3❤1🥰1
pyrogram, tgcrypto (опционально), а также системные утилиты mysqldump, zip, mysql-client, как указано в README.md репозитория. git clone https://github.com/azerothcore/telegram-automated-db-backup
cd telegram-automated-db-backup
pip install pyrogram tgcrypto
# Установите zip и mysql-client через apt
В файле
bak.py сконфигурируйте:🟠 Доступ к базе: mysql_localhost, mysql_username, mysql_password, названия баз world_db, char_db, auth_db🟠 Настройки ZIP: zip_password, zip_name🟠 Telegram: chat_id, username, api_id, api_hash
Затем запускайте:
python3 bak.py
Можно использовать cron для ежедневного запуска. Также есть скрипт
bak-per-table.py, который создаёт дамп из каждой таблицы отдельно. Подробнее в репозитории скрипта.
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5🔥4👍2😁2
Scalpl🟠 Лёгкая — простой импорт и работа, без лишнего кода🟠 Эффективная для простых кейсов — если не требуется трансформация данных, а нужно только получить или установить значение — Scalpl быстрее и понятнее, чем Glom
pip install scalpl
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2🥰1
pandas, rapidfuzz — используется для сравнения строк с учётом возможных опечаток и близости.import pandas as pd
from rapidfuzz import process, fuzz
import argparse
def dedupe_csv(input_file: str, output_file: str, col: str, threshold: float = 90.0):
df = pd.read_csv(input_file)
txts = df[col].astype(str).tolist()
# Построение матрицы схожести
sim_matrix = process.cdist(
txts, txts,
scorer=fuzz.token_set_ratio,
score_cutoff=threshold
)
# Выявляем индексы уникальных строк
unique_idxs = set()
for i in range(len(txts)):
# если нет других строк похожих на i (кроме самой i), считаем уникальной
if not any(j != i and sim_matrix[i, j] >= threshold for j in range(len(txts))):
unique_idxs.add(i)
df_unique = df.iloc[sorted(unique_idxs)]
df_unique.to_csv(output_file, index=False)
print(f"Сохранено уникальных строк: {len(df_unique)} из {len(df)}")
if __name__ == "__main__":
parser = argparse.ArgumentParser(
description="Удаление почти дублирующихся строк в CSV по текстовой колонке."
)
parser.add_argument("input", help="путь к входному CSV")
parser.add_argument("output", help="путь к выходному CSV без дубликатов")
parser.add_argument("--column", "-c", required=True, help="имя текстовой колонки для сравнения")
parser.add_argument("--threshold", "-t", type=float, default=90.0, help="порог сходства (0-100)")
args = parser.parse_args()
dedupe_csv(args.input, args.output, args.column, args.threshold)
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🔥3
🔥 Полезные библиотеки Python
✅
📌 mPyPl — малоизвестная, но очень интересная функциональная библиотека на Python, представляющая собой «monadic pipeline» для комплексной обработки данных. Позволяет создавать пайплайны из потоков данных (например, генераторов словарей), обогащать их новыми полями и трансформировать с помощью чистых обёрток. Отличный вариант, если надо красиво и лаконично описывать цепочки обработки данных — как в UNIX, но в виде кода на Python.
📌 Особенности библиотеки:
⚙️ Установка:
🔢 Документация
#библиотеки
🖥 Python_Scripts
✅
mPyPl📌 mPyPl — малоизвестная, но очень интересная функциональная библиотека на Python, представляющая собой «monadic pipeline» для комплексной обработки данных. Позволяет создавать пайплайны из потоков данных (например, генераторов словарей), обогащать их новыми полями и трансформировать с помощью чистых обёрток. Отличный вариант, если надо красиво и лаконично описывать цепочки обработки данных — как в UNIX, но в виде кода на Python.
📌 Особенности библиотеки:
🟠 Ленивая функциональная обработка — работает потоками генераторов, преобразования применяются по ходу, без загрузки всего в память.
🟠 Монадообразный синтаксис — похож на |> из функциональных языков типа F#, удобно читать и расширять.
🟠 Подходит для синхронной обработки сложных данных — идеально, когда нужно последовательно добавлять поля, фильтровать, преобразовывать в пайплайне.
⚙️ Установка:
pip install mPyPl
🔢 Документация
#библиотеки
🖥 Python_Scripts
🔥4👍3
pypyr — устанавливается через pip, зависимости автоматически подтягиваются. Это low-code инструмент: сам код JSON/YAML описывает логику, без обёрток и boilerplate.pipeline.yaml + запуск):# pipeline.yaml
steps:
- name: say hello
python: print("Hello from pypyr")
- name: list files
shell: ls -la
Запускается так:
pip install pypyr
pypyr pipeline.yaml
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3
obscure_stats🟠 Уникальные статистические меры — методы отличающиеся от популярных реализаций в SciPy, для особых случаев анализа.🟠 Малораспространённая и развивающаяся — использована в reddit-сообществе как недооценённый инструмент аналитиков.
pip install obscure_stats
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3
python-magic (libmagic) для проверки, является ли файл текстовым; fallback — по расширению файлов при отсутствии libmagic. Все зависимости устанавливаются через pip. 👨💻 Установка и использование:
pip install -U ttws
Затем:
ttws [OPTIONS] <directory> [<directory> ...]
Опции:
-h, --help — справка
-v, --version — версия
-s, --strip — дополнительно удалить лишние пробелы/табуляции из HTML-описаний в комментариях (например, Modelica)
--eol=[CRLF|LF|CR] — задать тип переводов строки (по-умолчанию — системный)
-c, --clean — агрессивная очистка аннотаций в Modelica файлах (только под VC и с осторожностью)
-b, --blanks — подавление множественных пустых строк в *.mo файлах (не использовать с другими опциями)
Пример:
ttws path/to/project
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - simulatino/trimtrailingwhitespaces: Python script that detects textfiles and then removes trailing white spaces and more.
Python script that detects textfiles and then removes trailing white spaces and more. - simulatino/trimtrailingwhitespaces
❤7👍3🔥3
cupy🟠 Поддерживает многомерные массивы, линейную алгебру, FFT и статистику, как в NumPy;🟠 GPU‑ускорение: подходит для ускорения ML‑подготовки и вычислений;🟠 Совместимость: безболезненная замена import numpy as np → import cupy as cp;🟠 Поддержка CUDA и AMD ROCm, активно развивается (версия 13.3.0, август 2024);🟠 Используется в проектах NVIDIA RAPIDS, Chainer и др..
pip install cupy
🟠 Используется привычный API NumPy, но ускоряется за счёт GPU;🟠 Отличный выбор для подготовки данных, вычислений и ML‑задач;🟠 Значительное ускорение для операций над большими массивами.
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍3🔥3
os, shutilimport os
import shutil
def organize_folder(path):
extensions = {
"Images": [".jpg", ".jpeg", ".png", ".gif"],
"Documents": [".pdf", ".docx", ".txt"],
"Music": [".mp3", ".wav", ".flac"],
"Videos": [".mp4", ".avi", ".mkv"],
}
for filename in os.listdir(path):
filepath = os.path.join(path, filename)
if os.path.isfile(filepath):
for folder, exts in extensions.items():
if any(filename.lower().endswith(ext) for ext in exts):
target_folder = os.path.join(path, folder)
os.makedirs(target_folder, exist_ok=True)
shutil.move(filepath, os.path.join(target_folder, filename))
print(f"Переместил {filename} -> {folder}")
break
if __name__ == "__main__":
organize_folder("C:/Users/user/Downloads")
🟠 Сканирует папку🟠 Определяет расширение файла🟠 Перемещает файл в подпапку по типу (создаёт папку, если нужно)
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍2🔥2😁1
rpyc🟠 Симметричность: клиент и сервер могут выступать обе роли, вызывать функции и обмениваться объектами.🟠 Прозрачность: удалённые функции, классы и объекты выглядят как локальные.🟠 Поддержка синхронных и асинхронных вызовов (AsyncResult как промисы).🟠 Исключения передаются по сети как в локальном коде — удобно для отладки.🟠 Удобна для распределённых Python-приложений, отладочных оболочек, удалённого управления, микросервисов, интерактивных shell-сессий.
pip install rpyc
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍4🥰2
watchdog, argparse, time (стандартная библиотека)- Мониторит создание, изменение, удаление и перемещение файлов
- Позволяет указать директорию и включить вложенные папки (--recursive)
- Поддерживает фильтрацию по расширению файлов (например, только .py)
- Основан на библиотеке watchdog, которая использует platform-specific механизмы (inotify, Windows API)
python dir_watcher.py --path ./my_folder --recursive --ext .txt,.log
import time, argparse
from watchdog.observers import Observer
from watchdog.events import FileSystemEventHandler
class Handler(FileSystemEventHandler):
def __init__(self, exts):
self.exts = tuple(exts)
def dispatch(self, event):
if event.is_directory: return
if self.exts and not event.src_path.endswith(self.exts): return
super().dispatch(event)
def on_created(self, event):
print(f"🟢 Created: {event.src_path}")
def on_modified(self, event):
print(f"🟡 Modified: {event.src_path}")
def on_deleted(self, event):
print(f"🔴 Deleted: {event.src_path}")
def on_moved(self, event):
print(f"🔁 Moved: {event.src_path} → {event.dest_path}")
def main():
parser = argparse.ArgumentParser(description="Directory Watcher")
parser.add_argument("--path", required=True, help="Папка для мониторинга")
parser.add_argument("--recursive", action="store_true", help="Сканировать вложенные папки")
parser.add_argument("--ext", default="", help="Фильтр по расширениям (через запятую)")
args = parser.parse_args()
exts = [e.strip() for e in args.ext.split(",") if e.strip()]
handler = Handler(exts)
observer = Observer()
observer.schedule(handler, args.path, recursive=args.recursive)
observer.start()
print(f"🚀 Monitoring '{args.path}' (recursive={args.recursive}, exts={exts})")
try:
while True:
time.sleep(1)
except KeyboardInterrupt:
observer.stop()
observer.join()
if __name__ == "__main__":
main()
pip install watchdog
- Автоматический запуск сборки/тестов при изменении файлов
- Синхронизация или обработка новых логов/данных
- Автоматизация задач DevOps, CI/CD, генерации статических сайтов и т.п.
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🔥2
🔥 Полезные библиотеки Python
✅
📌 Pretty Pie Log — лёгкая и функциональная библиотека для логирования в Python, с цветными и структурированными логами, поддержкой JSON и безопасной работой в многопоточном коде. Отличный способ сделать логи визуально понятнее и более информативными.
📌 Особенности библиотеки:
⚙️ Установка:
🔢 Документация
#библиотеки
🖥 Python_Scripts
✅
Pretty Pie Log📌 Pretty Pie Log — лёгкая и функциональная библиотека для логирования в Python, с цветными и структурированными логами, поддержкой JSON и безопасной работой в многопоточном коде. Отличный способ сделать логи визуально понятнее и более информативными.
📌 Особенности библиотеки:
🟠 Цветная и структурированная выдача — логи цветные, легко читаются; также поддерживается формат JSON для дальнейшей обработки.
🟠 Потокобезопасность — корректно работает в многопоточных приложениях без потерь или искажений.
🟠 Удобные декораторы — позволяет автоматически логгировать вход и выход функций (включая стек-трейсы), без лишнего кода.
⚙️ Установка:
pip install pretty-pie-log
🔢 Документация
#библиотеки
🖥 Python_Scripts
❤3👍2
requests, time, argparse, datetime, osДелает запросы на указанные URL через заданный интервал
Логирует скорость ответа и HTTP-статусы
При неоднократных ошибках отправляет уведомление (например, в Telegram)
Подходит для круглосуточного мониторинга API, сайтов и веб-сервисов
python uptime_monitor.py --urls https://example.com,https://api.example.com \
--interval 60 --retries 3 --notify-telegram
import requests, time, argparse, datetime, os
def alert_telegram(bot_token, chat_id, msg):
url = f"https://api.telegram.org/bot{bot_token}/sendMessage"
requests.post(url, data={"chat_id": chat_id, "text": msg})
def monitor(urls, interval, retries, bot_token=None, chat_id=None):
status = {u: True for u in urls}
while True:
for u in urls:
try:
r = requests.get(u, timeout=10)
ok = r.status_code == 200
resp = f"{r.status_code}, {r.elapsed.total_seconds():.2f}s"
except Exception as e:
ok = False
resp = f"Error: {e}"
now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S")
print(f"[{now}] {u} → {resp}")
if not ok and status[u]:
status[u] = False
msg = f"⚠️ {u} is DOWN at {now}"
if bot_token and chat_id:
alert_telegram(bot_token, chat_id, msg)
if ok and not status[u]:
status[u] = True
msg = f"✅ {u} is UP again at {now}"
if bot_token and chat_id:
alert_telegram(bot_token, chat_id, msg)
time.sleep(interval)
if __name__ == "__main__":
p = argparse.ArgumentParser()
p.add_argument("--urls", required=True, help="Comma-separated URLs")
p.add_argument("--interval", type=int, default=60)
p.add_argument("--retries", type=int, default=3)
p.add_argument("--bot-token", default=os.getenv("TELEGRAM_TOKEN"))
p.add_argument("--chat-id", default=os.getenv("TELEGRAM_CHAT_ID"))
args = p.parse_args()
urls = [u.strip() for u in args.urls.split(',')]
monitor(urls, args.interval, args.retries, args.bot_token, args.chat_id)
pip install requests
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤4👍3🔥3
PyGOD🟠 Все виды аномалий — поддерживает разнообразные методы, как графовые, так и основанные на ML и глубоких подходах.🟠 Модульная архитектура — детекторы разбиты на компоненты, которые легко настраивать и комбинировать по потребностям.🟠 Масштабируемость — поддерживает обучение на батчах и выборки для работы с большими графами.🟠 Надёжность и открытую разработку — библиотека под BSD 2-Clause, with CI, unit-тесты и покрытие.
pip install pygod
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥3
psutil, subprocess, argparse, time🟠 Проверяет состояние заданной службы (через psutil.win_service_get)🟠 Если служба не работает — делает попытку перезапуска через sc start🟠 Логирует результат: статус до/после🟠 Можно указать таймаут между проверками и автоматический перезапуск — минималистично и эффективно (stackoverflow.com, gist.github.com)
python service_watchdog.py --service "Spooler" --interval 30
import psutil, subprocess, time, argparse
def check_service(name):
try:
svc = psutil.win_service_get(name).as_dict()
return svc.get('status') == 'running'
except Exception as e:
print(f"Ошибка при проверке службы {name}: {e}")
return False
def restart_service(name):
print(f"Попытка перезапуска службы: {name}")
subprocess.run(['sc', 'start', name], shell=True)
def main(service, interval):
while True:
running = check_service(service)
print(f"[{time.strftime('%Y-%m-%d %H:%M:%S')}] {service} is {'running' if running else 'NOT running'}")
if not running:
restart_service(service)
time.sleep(5)
print(f"Снова проверяю...")
time.sleep(interval)
else:
time.sleep(interval)
if __name__ == "__main__":
parser = argparse.ArgumentParser("Windows Service Watchdog")
parser.add_argument("--service", required=True, help="Name of the Windows service")
parser.add_argument("--interval", type=int, default=60, help="Check interval in seconds")
args = parser.parse_args()
main(args.service, args.interval)
pip install psutil
— psutil нужен для проверки статуса службы. Команда sc используется для запуска, есть в Windows по умолчанию.
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤5🔥3
pyperclip для работы с буфером обмена. Подробнее в репозитории. GitHub
GitHub
mclip.py):import sys
import pyperclip
snippets = {
"agree": "I agree to the terms and conditions.",
"busy": "I'm currently busy. I'll get back to you soon.",
"upsell": "Have you considered upgrading to our premium plan?"
}
if len(sys.argv) != 2 or sys.argv[1] not in snippets:
print("Usage: python mclip.py <keyphrase>")
print("Available keyphrases:", ", ".join(snippets.keys()))
sys.exit(1)
pyperclip.copy(snippets[sys.argv[1]])
print(f"Copied snippet for '{sys.argv[1]}' to clipboard.")
🟠 Вы задаёте ключевое слово, скрипт копирует соответствующий текст в буфер — быстро и без лишних движений.🟠 Отлично подходит для шаблонных ответов, быстрых вставок или автоматизации рутины.
Ссылка на репозиторий: GitHub.
#скрипты
🖥 Python_Scripts
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍2
LivePython🟠 Анимация выполнения — пошагово показывает, какая строка выполняется, и как меняются данные.🟠 Отлично подходит для обучения и объяснений — визуализация кода помогает быстрее понять логику, особенно новичкам.🟠 Лёгкая и простая в использовании — минимализм и эффективность, без сложной настройки.
pip install livepython
#библиотеки
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤8👍4
ast — никакие внешние зависимости не требуются. (GitHub репозиторий)index.py):import sys
import ast
def analyze_python_file(path):
with open(path, 'r') as f:
source = f.read()
tree = ast.parse(source)
analyzer = {
"lines": source.count('\n'),
"functions": [node.name for node in ast.walk(tree) if isinstance(node, ast.FunctionDef)],
"classes": [node.name for node in ast.walk(tree) if isinstance(node, ast.ClassDef)],
"imports": [node.names[0].name for node in ast.walk(tree) if isinstance(node, ast.Import)],
}
return analyzer
if __name__ == "__main__":
if len(sys.argv) != 2:
print("Usage: python index.py <path_to_python_file>")
sys.exit(1)
path = sys.argv[1]
result = analyze_python_file(path)
print(f"Analysis of {path}:")
print(f"Lines: {result['lines']}")
print(f"Functions: {result['functions']}")
print(f"Classes: {result['classes']}")
print(f"Imports: {result['imports']}")
(Оригинальный код использует
ast и выводит в лог файл структуру файла с подробными данными.)Ссылка на репозиторий: GitHub
#скрипты
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍3🔥2