👩💻 Пет-проект (https://www.youtube.com/watch?v=gBfkX9H3szQ) на Python за 50 минут. Курс по FastAPI для начинающих (2024)
💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI
🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!
🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)
#курс #python #docker #fastapi
@python_job_interview
@python_be1
💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI
🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!
🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)
#курс #python #docker #fastapi
@python_job_interview
@python_be1
👍1
Математика в запросах SQL
В SQL-запросах есть возможность использовать результаты математических вычислений, причем мы можем как выводить результаты математических вычислений в SELECT, так и использовать математические выражения в условиях отбора строк WHERE. В этом видеоуроке автор подробно разбирает данную функцию.
Смотреть это видео на youtube: youtu.be/4BnxMB-VtVY
@python_be1
https://youtu.be/4BnxMB-VtVY
В SQL-запросах есть возможность использовать результаты математических вычислений, причем мы можем как выводить результаты математических вычислений в SELECT, так и использовать математические выражения в условиях отбора строк WHERE. В этом видеоуроке автор подробно разбирает данную функцию.
Смотреть это видео на youtube: youtu.be/4BnxMB-VtVY
@python_be1
https://youtu.be/4BnxMB-VtVY
YouTube
Урок 14. SQL. Математика в запросах.
В запросах SQL мы можем использовать результаты математических вычислений
причем мы можем выводить результаты математических вычислений, так и использовать математические выражения
в уловиях отбора строк WHERE
тестовая среда https://apex.oracle.com/pls/apex/…
причем мы можем выводить результаты математических вычислений, так и использовать математические выражения
в уловиях отбора строк WHERE
тестовая среда https://apex.oracle.com/pls/apex/…
👍1
🖥 MinerU (https://github.com/opendatalab/MinerU) — это инструмент, который преобразует PDF-файлы в машиночитаемые форматы (например, markdown, JSON), что позволяет легко извлекать их в любой формат
❓ Основные характеристики:
🌟 Удаляет такие элементы, как верхние и нижние колонтитулы, сноски и номера страниц, сохраняя при этом семантическую непрерывность
🌟 Выводит текст из многоколоночных документов в удобном для восприятия виде
🌟 Сохраняет исходную структуру документа, включая заголовки, абзацы и списки
🌟 Извлекает изображения, подписи к изображениям, таблицы и подписи к таблицам
🌟 Автоматически распознает формулы в документе и преобразует их в LaTeX
🌟 Автоматически распознает таблицы в документе и преобразует их в LaTeX
🌟 Автоматически обнаруживает и включает функцию OCR для поврежденных PDF-файлов
🌟 Поддерживает как CPU, так и GPU среды
🌟 Поддерживает платформы Windows, Linux и Mac
🔐 Лицензия: AGPL-3.0
▪️Github (https://github.com/opendatalab/MinerU)
@pythonl
@python_be1
❓ Основные характеристики:
🌟 Удаляет такие элементы, как верхние и нижние колонтитулы, сноски и номера страниц, сохраняя при этом семантическую непрерывность
🌟 Выводит текст из многоколоночных документов в удобном для восприятия виде
🌟 Сохраняет исходную структуру документа, включая заголовки, абзацы и списки
🌟 Извлекает изображения, подписи к изображениям, таблицы и подписи к таблицам
🌟 Автоматически распознает формулы в документе и преобразует их в LaTeX
🌟 Автоматически распознает таблицы в документе и преобразует их в LaTeX
🌟 Автоматически обнаруживает и включает функцию OCR для поврежденных PDF-файлов
🌟 Поддерживает как CPU, так и GPU среды
🌟 Поддерживает платформы Windows, Linux и Mac
🔐 Лицензия: AGPL-3.0
▪️Github (https://github.com/opendatalab/MinerU)
@pythonl
@python_be1
👍1
Крутая методика позволяющая стать профессиональным программистом Python. Короткий путь.
https://www.youtube.com/watch?v=P5K2mVAb3gk&t=11s
@python_be1
https://youtu.be/P5K2mVAb3gk
https://www.youtube.com/watch?v=P5K2mVAb3gk&t=11s
@python_be1
https://youtu.be/P5K2mVAb3gk
YouTube
Крутая методика позволяющая стать профессиональным программистом Python. Короткий путь.
В этом видео рассказано, что значит базовый уровень в программировании питон, так как многие путают, базовый уровень владения языком программирования от знакомства с языком программирования.
Планы обучение программированию Питон по индивидуальной программе.…
Планы обучение программированию Питон по индивидуальной программе.…
👍1
👩💻 Выпущена новая версия Python 3.13
Год разработки завершился публикацией новой версии выпуска Python 3.13.
В новой ветке поддержка будет осуществляться полтора года, затем еще три с половиной года для нее будут создаваться обновления, устраняющие уязвимости.
Альфа-тестирование ветки Python 3.14 (https://www.python.org/download/pre-releases/) начнется в ближайшие часы. Она будет находиться на стадии альфа-выпусков семь месяцев, в течение которых будут добавляться новые возможности и исправляться ошибки. По новому графику разработки, работа над новой веткой начинается за пять месяцев до релиза предыдущей ветки и достигает стадии альфа-тестирования к моменту очередного релиза. Затем в течение трех месяцев будет проходить тестирование бета-версий, где добавление новых возможностей будет запрещено, и вся энергия будет направлена на исправление ошибок. За два месяца до релиза ветка перейдет в стадию кандидата в релизы, где будет проведена окончательная стабилизация.
<code>❤️ Лайк за новую версию </code>
🔗 (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)Скачать (https://www.python.org/downloads/release/python-3130/)
🔗 Список обновлений (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)
@pythonl (https://t.me/pythonl)
@python_be1
Год разработки завершился публикацией новой версии выпуска Python 3.13.
В новой ветке поддержка будет осуществляться полтора года, затем еще три с половиной года для нее будут создаваться обновления, устраняющие уязвимости.
Альфа-тестирование ветки Python 3.14 (https://www.python.org/download/pre-releases/) начнется в ближайшие часы. Она будет находиться на стадии альфа-выпусков семь месяцев, в течение которых будут добавляться новые возможности и исправляться ошибки. По новому графику разработки, работа над новой веткой начинается за пять месяцев до релиза предыдущей ветки и достигает стадии альфа-тестирования к моменту очередного релиза. Затем в течение трех месяцев будет проходить тестирование бета-версий, где добавление новых возможностей будет запрещено, и вся энергия будет направлена на исправление ошибок. За два месяца до релиза ветка перейдет в стадию кандидата в релизы, где будет проведена окончательная стабилизация.
<code>❤️ Лайк за новую версию </code>
🔗 (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)Скачать (https://www.python.org/downloads/release/python-3130/)
🔗 Список обновлений (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)
@pythonl (https://t.me/pythonl)
@python_be1
👍1
👩💻 Пет-проект (https://www.youtube.com/watch?v=gBfkX9H3szQ) на Python за 50 минут. Курс по FastAPI для начинающих (2024)
💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI
🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!
🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)
#курс #python #docker #fastapi
freecourses (https://t.me/+rKBQEMccAA01MTcy)
@python_be1
💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI
🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!
🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)
#курс #python #docker #fastapi
freecourses (https://t.me/+rKBQEMccAA01MTcy)
@python_be1
👍1
🔥 Опубликован язык программирования Julia 1.11
Опубликован релиз языка программирования Julia 1.11, сочетающего такие качества как высокая производительность, поддержка динамической типизации и встроенные средства для параллельного программирования. Синтаксис Julia близок к MATLAB с заимствованием некоторых элементов из Ruby и Lisp. Метод манипуляции строками напоминает Perl. Код проекта распространяется под лицензией MIT.
Ключевые особенности языка:
- Высокая производительность: одной из ключевых целей проекта является достижение производительности близкой к программам на языке Си. Компилятор Julia основан на наработках проекта LLVM и генерирует эффективный нативный машинный код для многих целевых платформ;
- Поддержка различных парадигм программирования, включая элементы объектно-ориентированного и функционального программирования. Стандартная библиотека предоставляет в том числе функции для асинхронного ввода/вывода, управления процессами, ведения логов, профилирования и управления пакетами;
- Динамическая типизация: язык не требует явного определения типов для переменных по аналогии со скриптовыми языками программирования. Поддерживается интерактивный режим работы;
- Опциональная возможность явного указания типов;
- Синтаксис, превосходно подходящий для численных вычислений, научных расчётов, систем машинного обучения и визуализации данных. Поддержка многих числовых типов данных и средств для распараллеливания вычислений.
- Возможность прямого вызова функций из библиотек на языке Си без дополнительных прослоек.
https://julialang.org/blog/2024/10/julia-1.11-highlights/
@python_be1
https://julialang.org/blog/2024/10/julia-1.11-highlights/
Опубликован релиз языка программирования Julia 1.11, сочетающего такие качества как высокая производительность, поддержка динамической типизации и встроенные средства для параллельного программирования. Синтаксис Julia близок к MATLAB с заимствованием некоторых элементов из Ruby и Lisp. Метод манипуляции строками напоминает Perl. Код проекта распространяется под лицензией MIT.
Ключевые особенности языка:
- Высокая производительность: одной из ключевых целей проекта является достижение производительности близкой к программам на языке Си. Компилятор Julia основан на наработках проекта LLVM и генерирует эффективный нативный машинный код для многих целевых платформ;
- Поддержка различных парадигм программирования, включая элементы объектно-ориентированного и функционального программирования. Стандартная библиотека предоставляет в том числе функции для асинхронного ввода/вывода, управления процессами, ведения логов, профилирования и управления пакетами;
- Динамическая типизация: язык не требует явного определения типов для переменных по аналогии со скриптовыми языками программирования. Поддерживается интерактивный режим работы;
- Опциональная возможность явного указания типов;
- Синтаксис, превосходно подходящий для численных вычислений, научных расчётов, систем машинного обучения и визуализации данных. Поддержка многих числовых типов данных и средств для распараллеливания вычислений.
- Возможность прямого вызова функций из библиотек на языке Си без дополнительных прослоек.
https://julialang.org/blog/2024/10/julia-1.11-highlights/
@python_be1
https://julialang.org/blog/2024/10/julia-1.11-highlights/
julialang.org
Julia 1.11 Highlights
Highlights of the Julia 1.11 release.
👍1
💡 Все, что нужно знать о Сron jobs в Linux
Cron Jobs — мощный инструмент, который помогает автоматизировать повторяющиеся задачи и процессы, высвобождая время и ресурсы для достижения более важных целей. Этот планировщик заданий позволяет создавать, редактировать и удалять задачи, выполняемые автоматически в назначенное время, с определенной периодичностью или по заданному расписанию.
@linuxacademiya
@python_be1
Cron Jobs — мощный инструмент, который помогает автоматизировать повторяющиеся задачи и процессы, высвобождая время и ресурсы для достижения более важных целей. Этот планировщик заданий позволяет создавать, редактировать и удалять задачи, выполняемые автоматически в назначенное время, с определенной периодичностью или по заданному расписанию.
@linuxacademiya
@python_be1
👍1
🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX.
CogVideoX Factory (https://github.com/a-r-r-o-w/cogvideox-factory) - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (https://t.me/ai_machinelearning_big_data/5301)(CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.
Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".
Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:
🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;
🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;
🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.
CogVideoX Factory предлагает сценарии обучения:
🟠LoRA для "text-to-video": cкрипт <code>train_text_to_video_lora.sh</code>;
🟠LoRA для "IMG-to-video": cкрипт <code>train_image_to_video_lora.sh</code>;
🟠SFT всей модели для "text-to-video": скрипт <code>train_text_to_video_sft.sh</code>.
⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт <code>prepare_dataset.py</code> играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.
CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#dataset-preparation), настройке параметров обучения (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#training), запуску инференса (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#quickstart), информацию о требованиях к памяти (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#memory-requirements) для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.
📌Лицензирование : Apache 2.0 License.
🖥Github (https://github.com/a-r-r-o-w/cogvideox-factory)
@ai_machinelearning_big_data
#AI #ML #LoRA #T2V #IMG2V #Finetune
@python_be1
CogVideoX Factory (https://github.com/a-r-r-o-w/cogvideox-factory) - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (https://t.me/ai_machinelearning_big_data/5301)(CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.
Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".
Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:
🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;
🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;
🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.
CogVideoX Factory предлагает сценарии обучения:
🟠LoRA для "text-to-video": cкрипт <code>train_text_to_video_lora.sh</code>;
🟠LoRA для "IMG-to-video": cкрипт <code>train_image_to_video_lora.sh</code>;
🟠SFT всей модели для "text-to-video": скрипт <code>train_text_to_video_sft.sh</code>.
⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт <code>prepare_dataset.py</code> играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.
CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#dataset-preparation), настройке параметров обучения (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#training), запуску инференса (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#quickstart), информацию о требованиях к памяти (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#memory-requirements) для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.
📌Лицензирование : Apache 2.0 License.
🖥Github (https://github.com/a-r-r-o-w/cogvideox-factory)
@ai_machinelearning_big_data
#AI #ML #LoRA #T2V #IMG2V #Finetune
@python_be1
GitHub
GitHub - a-r-r-o-w/finetrainers: Memory-optimized training scripts for video models based on Diffusers
Memory-optimized training scripts for video models based on Diffusers - a-r-r-o-w/finetrainers
👍1