⚡Легкий способ получать свежие обновления и следить за трендами в разработке на вашем языке. Находите свой стек и подписывайтесь:

Машинное обучение: https://t.me/+PNoyfIWe7cU0NmYy
Python: t.me/pythonl
2310 вопросов с python собеседований t.me/python_job_interview
ИИ/технологии t.me/vistehno
Базы данных: t.me/sqlhub
Data Science: t.me/data_analysis_ml
C#: t.me/csharp_ci
Go: t.me/Golang_google
Хакинг: t.me/linuxkalii
Java: t.me/javatg
Javascript: t.me/javascriptv
React: t.me/react_tg
C++/ t.me/cpluspluc
Devops: t.me/devOPSitsec
Linux: t.me/+A8jY79rcyKJlYWY6
Docker: t.me/+0WdB4uvOwCY0Mjdi
Rust: t.me/rust_code
PHP: t.me/phpshka
Android: t.me/android_its
Big Data: t.me/bigdatai
Тестирование:https://t.me/+F9jPLmMFqq1kNTMy
Аналитика данных: https://t.me/+mAXY9ppJwitkMDBi
Kubernets: t.me/+vE7jzitan5QzZjVi
1900 разобранных вопросов с собеседований мл t.me/machinelearning_interview
Frontend https://t.me/+U3U3HoZzEglkNDdi
Мобильная разработка: t.me/mobdevelop

😆ИТ-Мемы: t.me/memes_prog

🇬🇧Английский: t.me/english_forprogrammers

📕Ит-книги бесплатно: https://t.me/addlist/BkskQciUW_FhNjEy

ИИ: t.me/vistehno

Книги по искусственному интеллекту https://t.me/+2rl907ptiWliYmYy

💼 Папка с вакансиями: t.me/addlist/_zyy_jQ_QUsyM2Vi
Папка Go разработчика: t.me/addlist/MUtJEeJSxeY2YTFi
Папка Python разработчика: t.me/addlist/eEPya-HF6mkxMGIy
Папка ML: https://t.me/addlist/2Ls-snqEeytkMDgy
Папка Java разработчика: https://t.me/addlist/ZM3J6oFNAnRlNWU6
Папка С# https://t.me/addlist/u15AMycxRMowZmRi
Папка frontend https://t.me/addlist/mzMMG3RPZhY2M2Iy
Бесплатный Chatgpt бот: t.me/Chatgpturbobot
🔥 1935 ГБ ОПЕНСОРС курсов: https://t.me/+1cPKgIcza4Y5NGFi
@Pythonnewsone
http://t.me/ai_machinelearning_big_data

🖥 MinerU (https://github.com/opendatalab/MinerU) — это инструмент, который преобразует PDF-файлы в машиночитаемые форматы (например, markdown, JSON), что позволяет легко извлекать их в любой формат

❓ Основные характеристики:

🌟 Удаляет такие элементы, как верхние и нижние колонтитулы, сноски и номера страниц, сохраняя при этом семантическую непрерывность

🌟 Выводит текст из многоколоночных документов в удобном для восприятия виде

🌟 Сохраняет исходную структуру документа, включая заголовки, абзацы и списки

🌟 Извлекает изображения, подписи к изображениям, таблицы и подписи к таблицам

🌟 Автоматически распознает формулы в документе и преобразует их в LaTeX

🌟 Автоматически распознает таблицы в документе и преобразует их в LaTeX

🌟 Автоматически обнаруживает и включает функцию OCR для поврежденных PDF-файлов

🌟 Поддерживает как CPU, так и GPU среды

🌟 Поддерживает платформы Windows, Linux и Mac

🔐 Лицензия: AGPL-3.0

▪️Github (https://github.com/opendatalab/MinerU)

@pythonl
@Pythonnewsone

Что выведет код ?
@Pythonnewsone

Что выведет код ?
@Pythonnewsone

Крутая методика позволяющая стать профессиональным программистом Python. Короткий путь.

https://www.youtube.com/watch?v=P5K2mVAb3gk&t=11s
@Pythonnewsone
https://youtu.be/P5K2mVAb3gk

‍👩‍💻 Выпущена новая версия Python 3.13

Год разработки завершился публикацией новой версии выпуска Python 3.13.

В новой ветке поддержка будет осуществляться полтора года, затем еще три с половиной года для нее будут создаваться обновления, устраняющие уязвимости.

Альфа-тестирование ветки Python 3.14 (https://www.python.org/download/pre-releases/) начнется в ближайшие часы. Она будет находиться на стадии альфа-выпусков семь месяцев, в течение которых будут добавляться новые возможности и исправляться ошибки. По новому графику разработки, работа над новой веткой начинается за пять месяцев до релиза предыдущей ветки и достигает стадии альфа-тестирования к моменту очередного релиза. Затем в течение трех месяцев будет проходить тестирование бета-версий, где добавление новых возможностей будет запрещено, и вся энергия будет направлена на исправление ошибок. За два месяца до релиза ветка перейдет в стадию кандидата в релизы, где будет проведена окончательная стабилизация.

<code>❤️ Лайк за новую версию </code>
🔗 (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)Скачать (https://www.python.org/downloads/release/python-3130/)
🔗 Список обновлений (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)
@pythonl (https://t.me/pythonl)
@Pythonnewsone

👩‍💻 Langfun (https://github.com/google/langfun) — это библиотека с открытым исходным кодом, разработанная Google.

В ней используется объектно-ориентированное программирование (ООП) для взаимодействия с LLM моделями, что упрощает создание и управление запросами через объекты и типы

🌟 Langfun поддерживает популярные LLM, такие как GPT, Claude и Llama, и легкоинтегрируется в Python-проекты.

Простота использования и мощный функционал делают библиотеку полезным инструментом для разработки ИИ-агентов и работы с большими языковыми моделями

🔐 Лицензия: Apache-2.0

▪️Github (https://github.com/google/langfun)
@pythonl (http://t.me/pythonl)
@Pythonnewsone

🖥 Визуализация частот слов с помощью Python

@python_job_interview
@Pythonnewsone

👩‍💻 Пет-проект (https://www.youtube.com/watch?v=gBfkX9H3szQ) на Python за 50 минут. Курс по FastAPI для начинающих (2024)

💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI

🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!

🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)

#курс #python #docker #fastapi

freecourses (https://t.me/+rKBQEMccAA01MTcy)
@Pythonnewsone

🔥 НОВИНКА: Вышла модель преобразования текста/изображения в видео с открытым исходным кодом - лицензия MIT - конкуренты Gen-3, Pika & Kling 🔥

> Pyramid Flow: эффективный для обучения метод авторегрессивной генерации видео.
> Обучается на наборах данных с открытым исходным кодом
> Генерирует высококачественные 10-секундные видеоролики
> Разрешение видео: 768p
> Частота кадров: 24 кадр/с
> Поддерживает генерацию изображений в видео

> Доступна на HF 🤗

https://huggingface.co/rain1011/pyramid-flow-sd3

@data_analysis_ml
@Pythonnewsone

Что выведет код ?
@Pythonnewsone

🔥 Опубликован язык программирования Julia 1.11

Опубликован релиз языка программирования Julia 1.11, сочетающего такие качества как высокая производительность, поддержка динамической типизации и встроенные средства для параллельного программирования. Синтаксис Julia близок к MATLAB с заимствованием некоторых элементов из Ruby и Lisp. Метод манипуляции строками напоминает Perl. Код проекта распространяется под лицензией MIT.

Ключевые особенности языка:

- Высокая производительность: одной из ключевых целей проекта является достижение производительности близкой к программам на языке Си. Компилятор Julia основан на наработках проекта LLVM и генерирует эффективный нативный машинный код для многих целевых платформ;
- Поддержка различных парадигм программирования, включая элементы объектно-ориентированного и функционального программирования. Стандартная библиотека предоставляет в том числе функции для асинхронного ввода/вывода, управления процессами, ведения логов, профилирования и управления пакетами;
- Динамическая типизация: язык не требует явного определения типов для переменных по аналогии со скриптовыми языками программирования. Поддерживается интерактивный режим работы;
- Опциональная возможность явного указания типов;
- Синтаксис, превосходно подходящий для численных вычислений, научных расчётов, систем машинного обучения и визуализации данных. Поддержка многих числовых типов данных и средств для распараллеливания вычислений.
- Возможность прямого вызова функций из библиотек на языке Си без дополнительных прослоек.

https://julialang.org/blog/2024/10/julia-1.11-highlights/
@Pythonnewsone
https://julialang.org/blog/2024/10/julia-1.11-highlights/

💡 Все, что нужно знать о Сron jobs в Linux

Cron Jobs — мощный инструмент, который помогает автоматизировать повторяющиеся задачи и процессы, высвобождая время и ресурсы для достижения более важных целей. Этот планировщик заданий позволяет создавать, редактировать и удалять задачи, выполняемые автоматически в назначенное время, с определенной периодичностью или по заданному расписанию.

@linuxacademiya
@Pythonnewsone

🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX.

CogVideoX Factory (https://github.com/a-r-r-o-w/cogvideox-factory) - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (https://t.me/ai_machinelearning_big_data/5301)(CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.

Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".

Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:

🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;

🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;

🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.

CogVideoX Factory предлагает сценарии обучения:

🟠LoRA для "text-to-video": cкрипт <code>train_text_to_video_lora.sh</code>;

🟠LoRA для "IMG-to-video": cкрипт <code>train_image_to_video_lora.sh</code>;

🟠SFT всей модели для "text-to-video": скрипт <code>train_text_to_video_sft.sh</code>.

⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт <code>prepare_dataset.py</code> играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.

CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#dataset-preparation), настройке параметров обучения (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#training), запуску инференса (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#quickstart), информацию о требованиях к памяти (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#memory-requirements) для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.

📌Лицензирование : Apache 2.0 License.

🖥Github (https://github.com/a-r-r-o-w/cogvideox-factory)

@ai_machinelearning_big_data

#AI #ML #LoRA #T2V #IMG2V #Finetune
@Pythonnewsone

Что выведет код ?
@Pythonnewsone