💡 Все, что нужно знать о Сron jobs в Linux

Cron Jobs — мощный инструмент, который помогает автоматизировать повторяющиеся задачи и процессы, высвобождая время и ресурсы для достижения более важных целей. Этот планировщик заданий позволяет создавать, редактировать и удалять задачи, выполняемые автоматически в назначенное время, с определенной периодичностью или по заданному расписанию.

@linuxacademiya
@python_be1

🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX.

CogVideoX Factory (https://github.com/a-r-r-o-w/cogvideox-factory) - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (https://t.me/ai_machinelearning_big_data/5301)(CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.

Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".

Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:

🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;

🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;

🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.

CogVideoX Factory предлагает сценарии обучения:

🟠LoRA для "text-to-video": cкрипт <code>train_text_to_video_lora.sh</code>;

🟠LoRA для "IMG-to-video": cкрипт <code>train_image_to_video_lora.sh</code>;

🟠SFT всей модели для "text-to-video": скрипт <code>train_text_to_video_sft.sh</code>.

⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт <code>prepare_dataset.py</code> играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.

CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#dataset-preparation), настройке параметров обучения (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#training), запуску инференса (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#quickstart), информацию о требованиях к памяти (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#memory-requirements) для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.

📌Лицензирование : Apache 2.0 License.

🖥Github (https://github.com/a-r-r-o-w/cogvideox-factory)

@ai_machinelearning_big_data

#AI #ML #LoRA #T2V #IMG2V #Finetune
@python_be1

Что выведет код ?
@python_be1

👩‍💻 Поиск аккаунтов в социальных сетях по юзернейму с библиотекой Sherlock!
💡 Sherlock (https://github.com/sherlock-project/sherlock) - алгоритм, написанный на Python проверяющий наличие учётной записи в социальных сетях по заданному никнейму пользователя

Алгоритм быстро проверяет множество сайтов, что позволяет, не теряя много времени, найти аккаунты под определенной учетной.

Инструмент производит поиск по более чем 300 сайтов (https://github.com/sherlock-project/sherlock/blob/master/sites.md) социальных сетей и проверяет, зарегистрирован ли там пользователь с указанным ником.

Установка: git clone https://github.com/sherlock-project/sherlock.git

🔗 Читать статью: *клик* (https://morioh.com/a/00b8776c0a81/find-social-media-accounts-by-username-using-python)
🔗 Github (https://github.com/sherlock-project/sherlock)

@pythonl
@python_be1

👩‍💻 Machina (https://github.com/PsyChip/machina) — система видеонаблюдения с использованием OpenCV, YOLO и LLAVA для обработки видео в реальном времени.

🌟 Система захватывает поток RTSP, выполняет детекцию объектов с помощью YOLO и тегирует их через LLAVA.

Проект находится в процессе активной разработке, и его целью является создание полноценной системы безопасности, использующей современные модели компьютерного зрения и обнаружения объектов.

▪️Github (https://github.com/PsyChip/machina)

@pythonl
@python_be1

Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.

— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.

Сохраняйте себе, чтобы не потерять.
@python_be1

Instagram Tracker — OSINT инструмент для мониторинга изменений аккаунта Instagram.

Написанный на Python, скрипт позволяет отслеживать изменения аккаунта по имени пользователя отображая результаты в терминале. Вся информация также сохраняется в текстовом файле с указанием даты и времени.

https://github.com/ibnaleem/instatracker
@python_be1
https://github.com/ibnaleem/instatracker

👩‍💻 Создание (https://www.youtube.com/watch?v=ITOZkzjtjUA) полнофункциональных веб-приложений с использованием Python и Reflex! (2024)

💡 Создание полнофункциональных веб-приложений традиционно требовало владения несколькими языками и фреймворками, включая HTML, CSS, JavaScript и языки бэкенда, такие как Python. Однако ситуация меняется с появлением таких инструментов, как Reflex, которые позволяют создавать интерактивные веб-приложения, используя только Python

🌟 В этом курсе вы узнаете, как можно создавать функциональные, масштабируемые веб-приложения с помощью Reflex, не прибегая к использованию HTML, CSS или даже JavaScript!

🕞 Продолжительность: 6:58:32

🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=ITOZkzjtjUA)

#курс #python #reflex

@pythonl (https://t.me/pythonl)
@python_be1

🖥 yandex-music-download

Скрипт на Python для скачивания треков с Яндекс Музыки.

Возможности
Возможность загрузки:
- Всех треков исполнителя
- Всех треков из альбома
- Всех треков из плейлиста
- Отдельного трека
- Загрузка всех метаданных трека/альбома:
- Номер трека
- Номер диска
- Название трека
- Исполнитель
- Дополнительные исполнители
- Год выпуска альбома
- Обложка альбома
- Название альбома
- Текст песни (при использовании флага —add-lyrics)
- Поддержка паттерна для пути сохранения музыки

Установка
Для запуска скрипта требуется Python 3.9+

<pre language="bash">
pip install git+https://github.com/llistochek/yandex-music-downloader
yandex-music-downloader —help</pre>

Код доступен на GitHub: https://github.com/kaimi-io/yandex-music-download.

@pythonl
@python_be1

🖥 Разбор 70 задач Leetcode
Этот ролик охватывает следующие темы:

▫️Временную и пространственную сложность алгоритмов.
▫️Все основные структуры данных.
▫️Советы по подготовке к интервью.

Решения представлены на языке программирования Python 🐍.

Сохраните этот материал для подготовки к собеседованиям 👇

Полное 5.5-часовое видео: https://youtu.be/lvO88XxNAzs?si=EX7_LAu3y8g7WETG

@python_job_interview
@python_be1

🤗 Большое обновление для локальных LLM!

Теперь вы можете легко использовать любую модель GGUF на
huggingface напрямую с ollama.

Просто укажите на репозиторий Hugging Face и запустите ее!

<code>Вот как запустить </code>
1. Найдите на хабе нужный GGUF, например Llama 3.2 3B.
2. <code>ollama run hf(.)co/hugging-quants/Llama-3.2-3B-Instruct-Q4_K_M-GGUF</code> remove ()
3. Работатайет со своей моделью локально, используя возможности llama.cpp

Документация: https://huggingface.co/docs/hub/ollama
@python_be1

Что выведет код ?
@python_be1

👩‍💻 Преобразование текста в числовые значения является сложной задачей из-за различий в языковых представлениях.

Numerizer упрощает этот процесс, преобразуя различные текстовые форматы и варианты написания в числа. 💡

Установка:
$ pip install numerizer

»> from numerizer import numerize
»> numerize('forty two')
'42'
»> numerize('forty-two')
'42'
»> numerize('four hundred and sixty two')
'462'
»> numerize('one fifty')
'150'
»> numerize('twelve hundred')
'1200'
»> numerize('twenty one thousand four hundred and seventy three')
'21473'
»> numerize('one million two hundred and fifty thousand and seven')
'1250007'
»> numerize('one billion and one')
'1000000001'
»> numerize('nine and three quarters')
'9.75'
»> numerize('platform nine and three quarters')
'platform 9.75'
@python_be1

Вышел PyTorch 2.5 🔥

Выпуск #PyTorch 2.5, в котором представлена новая серверная часть <code>cuDNN для SDPA,</code> компиляция torch.compile и ускорения производительности серверной части <code>TorchInductor CPP </code>

Все обновления можно найти здесь: https://pytorch.org/blog/pytorch2-5/
@python_be1

Машинное обучение. Дайджест интересных новостей
@python_be1
https://habr.com/ru/articles/851584/