🖥 MinerU (https://github.com/opendatalab/MinerU) — это инструмент, который преобразует PDF-файлы в машиночитаемые форматы (например, markdown, JSON), что позволяет легко извлекать их в любой формат
❓ Основные характеристики:
🌟 Удаляет такие элементы, как верхние и нижние колонтитулы, сноски и номера страниц, сохраняя при этом семантическую непрерывность
🌟 Выводит текст из многоколоночных документов в удобном для восприятия виде
🌟 Сохраняет исходную структуру документа, включая заголовки, абзацы и списки
🌟 Извлекает изображения, подписи к изображениям, таблицы и подписи к таблицам
🌟 Автоматически распознает формулы в документе и преобразует их в LaTeX
🌟 Автоматически распознает таблицы в документе и преобразует их в LaTeX
🌟 Автоматически обнаруживает и включает функцию OCR для поврежденных PDF-файлов
🌟 Поддерживает как CPU, так и GPU среды
🌟 Поддерживает платформы Windows, Linux и Mac
🔐 Лицензия: AGPL-3.0
▪️Github (https://github.com/opendatalab/MinerU)
@pythonl
@python_be1
❓ Основные характеристики:
🌟 Удаляет такие элементы, как верхние и нижние колонтитулы, сноски и номера страниц, сохраняя при этом семантическую непрерывность
🌟 Выводит текст из многоколоночных документов в удобном для восприятия виде
🌟 Сохраняет исходную структуру документа, включая заголовки, абзацы и списки
🌟 Извлекает изображения, подписи к изображениям, таблицы и подписи к таблицам
🌟 Автоматически распознает формулы в документе и преобразует их в LaTeX
🌟 Автоматически распознает таблицы в документе и преобразует их в LaTeX
🌟 Автоматически обнаруживает и включает функцию OCR для поврежденных PDF-файлов
🌟 Поддерживает как CPU, так и GPU среды
🌟 Поддерживает платформы Windows, Linux и Mac
🔐 Лицензия: AGPL-3.0
▪️Github (https://github.com/opendatalab/MinerU)
@pythonl
@python_be1
👍1
Крутая методика позволяющая стать профессиональным программистом Python. Короткий путь.
https://www.youtube.com/watch?v=P5K2mVAb3gk&t=11s
@python_be1
https://youtu.be/P5K2mVAb3gk
https://www.youtube.com/watch?v=P5K2mVAb3gk&t=11s
@python_be1
https://youtu.be/P5K2mVAb3gk
YouTube
Крутая методика позволяющая стать профессиональным программистом Python. Короткий путь.
В этом видео рассказано, что значит базовый уровень в программировании питон, так как многие путают, базовый уровень владения языком программирования от знакомства с языком программирования.
Планы обучение программированию Питон по индивидуальной программе.…
Планы обучение программированию Питон по индивидуальной программе.…
👍1
👩💻 Выпущена новая версия Python 3.13
Год разработки завершился публикацией новой версии выпуска Python 3.13.
В новой ветке поддержка будет осуществляться полтора года, затем еще три с половиной года для нее будут создаваться обновления, устраняющие уязвимости.
Альфа-тестирование ветки Python 3.14 (https://www.python.org/download/pre-releases/) начнется в ближайшие часы. Она будет находиться на стадии альфа-выпусков семь месяцев, в течение которых будут добавляться новые возможности и исправляться ошибки. По новому графику разработки, работа над новой веткой начинается за пять месяцев до релиза предыдущей ветки и достигает стадии альфа-тестирования к моменту очередного релиза. Затем в течение трех месяцев будет проходить тестирование бета-версий, где добавление новых возможностей будет запрещено, и вся энергия будет направлена на исправление ошибок. За два месяца до релиза ветка перейдет в стадию кандидата в релизы, где будет проведена окончательная стабилизация.
<code>❤️ Лайк за новую версию </code>
🔗 (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)Скачать (https://www.python.org/downloads/release/python-3130/)
🔗 Список обновлений (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)
@pythonl (https://t.me/pythonl)
@python_be1
Год разработки завершился публикацией новой версии выпуска Python 3.13.
В новой ветке поддержка будет осуществляться полтора года, затем еще три с половиной года для нее будут создаваться обновления, устраняющие уязвимости.
Альфа-тестирование ветки Python 3.14 (https://www.python.org/download/pre-releases/) начнется в ближайшие часы. Она будет находиться на стадии альфа-выпусков семь месяцев, в течение которых будут добавляться новые возможности и исправляться ошибки. По новому графику разработки, работа над новой веткой начинается за пять месяцев до релиза предыдущей ветки и достигает стадии альфа-тестирования к моменту очередного релиза. Затем в течение трех месяцев будет проходить тестирование бета-версий, где добавление новых возможностей будет запрещено, и вся энергия будет направлена на исправление ошибок. За два месяца до релиза ветка перейдет в стадию кандидата в релизы, где будет проведена окончательная стабилизация.
<code>❤️ Лайк за новую версию </code>
🔗 (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)Скачать (https://www.python.org/downloads/release/python-3130/)
🔗 Список обновлений (https://uproger.com/vypushhena-novaya-versiya-python-3-13/)
@pythonl (https://t.me/pythonl)
@python_be1
👍1
👩💻 Пет-проект (https://www.youtube.com/watch?v=gBfkX9H3szQ) на Python за 50 минут. Курс по FastAPI для начинающих (2024)
💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI
🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!
🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)
#курс #python #docker #fastapi
freecourses (https://t.me/+rKBQEMccAA01MTcy)
@python_be1
💡 В видео рассматривается создание простого проекта на Python с использованием FastAPI. Обсуждаются основные концепции, такие как маршрутизация, обработка запросов и использование зависимости. Программа охватывает создание RESTful API, работу с параметрами, развертывание приложения через Docker а также интеграцию с базой данных. Также приведены советы по развертыванию приложения и тестированию. Это видео подходит для начинающих, желающих быстро освоить FastAPI
🕞 Продолжительность: 50:00
🇷🇺 Видео на русском языке!
🔗 Ссылка: *клик* (https://www.youtube.com/watch?v=gBfkX9H3szQ)
#курс #python #docker #fastapi
freecourses (https://t.me/+rKBQEMccAA01MTcy)
@python_be1
👍1
🔥 Опубликован язык программирования Julia 1.11
Опубликован релиз языка программирования Julia 1.11, сочетающего такие качества как высокая производительность, поддержка динамической типизации и встроенные средства для параллельного программирования. Синтаксис Julia близок к MATLAB с заимствованием некоторых элементов из Ruby и Lisp. Метод манипуляции строками напоминает Perl. Код проекта распространяется под лицензией MIT.
Ключевые особенности языка:
- Высокая производительность: одной из ключевых целей проекта является достижение производительности близкой к программам на языке Си. Компилятор Julia основан на наработках проекта LLVM и генерирует эффективный нативный машинный код для многих целевых платформ;
- Поддержка различных парадигм программирования, включая элементы объектно-ориентированного и функционального программирования. Стандартная библиотека предоставляет в том числе функции для асинхронного ввода/вывода, управления процессами, ведения логов, профилирования и управления пакетами;
- Динамическая типизация: язык не требует явного определения типов для переменных по аналогии со скриптовыми языками программирования. Поддерживается интерактивный режим работы;
- Опциональная возможность явного указания типов;
- Синтаксис, превосходно подходящий для численных вычислений, научных расчётов, систем машинного обучения и визуализации данных. Поддержка многих числовых типов данных и средств для распараллеливания вычислений.
- Возможность прямого вызова функций из библиотек на языке Си без дополнительных прослоек.
https://julialang.org/blog/2024/10/julia-1.11-highlights/
@python_be1
https://julialang.org/blog/2024/10/julia-1.11-highlights/
Опубликован релиз языка программирования Julia 1.11, сочетающего такие качества как высокая производительность, поддержка динамической типизации и встроенные средства для параллельного программирования. Синтаксис Julia близок к MATLAB с заимствованием некоторых элементов из Ruby и Lisp. Метод манипуляции строками напоминает Perl. Код проекта распространяется под лицензией MIT.
Ключевые особенности языка:
- Высокая производительность: одной из ключевых целей проекта является достижение производительности близкой к программам на языке Си. Компилятор Julia основан на наработках проекта LLVM и генерирует эффективный нативный машинный код для многих целевых платформ;
- Поддержка различных парадигм программирования, включая элементы объектно-ориентированного и функционального программирования. Стандартная библиотека предоставляет в том числе функции для асинхронного ввода/вывода, управления процессами, ведения логов, профилирования и управления пакетами;
- Динамическая типизация: язык не требует явного определения типов для переменных по аналогии со скриптовыми языками программирования. Поддерживается интерактивный режим работы;
- Опциональная возможность явного указания типов;
- Синтаксис, превосходно подходящий для численных вычислений, научных расчётов, систем машинного обучения и визуализации данных. Поддержка многих числовых типов данных и средств для распараллеливания вычислений.
- Возможность прямого вызова функций из библиотек на языке Си без дополнительных прослоек.
https://julialang.org/blog/2024/10/julia-1.11-highlights/
@python_be1
https://julialang.org/blog/2024/10/julia-1.11-highlights/
julialang.org
Julia 1.11 Highlights
Highlights of the Julia 1.11 release.
👍1
💡 Все, что нужно знать о Сron jobs в Linux
Cron Jobs — мощный инструмент, который помогает автоматизировать повторяющиеся задачи и процессы, высвобождая время и ресурсы для достижения более важных целей. Этот планировщик заданий позволяет создавать, редактировать и удалять задачи, выполняемые автоматически в назначенное время, с определенной периодичностью или по заданному расписанию.
@linuxacademiya
@python_be1
Cron Jobs — мощный инструмент, который помогает автоматизировать повторяющиеся задачи и процессы, высвобождая время и ресурсы для достижения более важных целей. Этот планировщик заданий позволяет создавать, редактировать и удалять задачи, выполняемые автоматически в назначенное время, с определенной периодичностью или по заданному расписанию.
@linuxacademiya
@python_be1
👍1
🌟 CogVideoX Factory: оптимизация файнтюна моделей генерации видео семейства CogVideoX.
CogVideoX Factory (https://github.com/a-r-r-o-w/cogvideox-factory) - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (https://t.me/ai_machinelearning_big_data/5301)(CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.
Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".
Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:
🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;
🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;
🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.
CogVideoX Factory предлагает сценарии обучения:
🟠LoRA для "text-to-video": cкрипт <code>train_text_to_video_lora.sh</code>;
🟠LoRA для "IMG-to-video": cкрипт <code>train_image_to_video_lora.sh</code>;
🟠SFT всей модели для "text-to-video": скрипт <code>train_text_to_video_sft.sh</code>.
⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт <code>prepare_dataset.py</code> играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.
CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#dataset-preparation), настройке параметров обучения (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#training), запуску инференса (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#quickstart), информацию о требованиях к памяти (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#memory-requirements) для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.
📌Лицензирование : Apache 2.0 License.
🖥Github (https://github.com/a-r-r-o-w/cogvideox-factory)
@ai_machinelearning_big_data
#AI #ML #LoRA #T2V #IMG2V #Finetune
@python_be1
CogVideoX Factory (https://github.com/a-r-r-o-w/cogvideox-factory) - репозиторий с набором скриптов для эффективного файнтюна моделей семейства CogVideoX (https://t.me/ai_machinelearning_big_data/5301)(CogVideoX-2B и CogVideoX-5B) с фокусом на оптимизацию VRAM. CogVideoX Factory позволяет выполнять обучение на GPU с 24 GB.
Проект предоставляет гибкость в выборе между LoRA и файнтюном всей модели для задач "text-to-video" и "IMG-to-video".
Чтобы сделать возможным файнтюн на ограниченных ресурсах, CogVideoX использует методы оптимизации:
🟢CPUOffloadOptimizer - перемещает обучаемые параметры и градиенты модели в CPU, освобождая память GPU для других операций;
🟢DeepSpeed Zero2 - распределяет параметры модели по нескольким GPU, что позволяет обучать большие модели, которые иначе не поместились бы в память одного GPU;
🟢LoRA - метод тонкой настройки, который изменяет только небольшое подмножество параметров модели, сохраняя при этом основную часть весов неизменной.
CogVideoX Factory предлагает сценарии обучения:
🟠LoRA для "text-to-video": cкрипт <code>train_text_to_video_lora.sh</code>;
🟠LoRA для "IMG-to-video": cкрипт <code>train_image_to_video_lora.sh</code>;
🟠SFT всей модели для "text-to-video": скрипт <code>train_text_to_video_sft.sh</code>.
⚠️ Предварительная подготовка данных - один из важнейших условий CogVideoX Factory. Скрипт <code>prepare_dataset.py</code> играет ключевую роль в этом процессе, преобразуя видео и аннотации в латенты и эмбединги. Использование предварительно вычисленных латентов и эмбедингов позволяет не загружать VAE и T5 во время обучения.
CogVideoX Factory предлагает подробную документацию, в которой объясняются шаги по подготовке датасетов (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#dataset-preparation), настройке параметров обучения (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#training), запуску инференса (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#quickstart), информацию о требованиях к памяти (https://github.com/a-r-r-o-w/cogvideox-factory?tab=readme-ov-file#memory-requirements) для каждой модели и конфигурации, помогая принять корректные решения о выборе стратегии обучения.
📌Лицензирование : Apache 2.0 License.
🖥Github (https://github.com/a-r-r-o-w/cogvideox-factory)
@ai_machinelearning_big_data
#AI #ML #LoRA #T2V #IMG2V #Finetune
@python_be1
GitHub
GitHub - a-r-r-o-w/finetrainers: Memory-optimized training scripts for video models based on Diffusers
Memory-optimized training scripts for video models based on Diffusers - a-r-r-o-w/finetrainers
👍1
👩💻 Поиск аккаунтов в социальных сетях по юзернейму с библиотекой Sherlock!
💡 Sherlock (https://github.com/sherlock-project/sherlock) - алгоритм, написанный на Python проверяющий наличие учётной записи в социальных сетях по заданному никнейму пользователя
Алгоритм быстро проверяет множество сайтов, что позволяет, не теряя много времени, найти аккаунты под определенной учетной.
Инструмент производит поиск по более чем 300 сайтов (https://github.com/sherlock-project/sherlock/blob/master/sites.md) социальных сетей и проверяет, зарегистрирован ли там пользователь с указанным ником.
Установка: git clone https://github.com/sherlock-project/sherlock.git
🔗 Читать статью: *клик* (https://morioh.com/a/00b8776c0a81/find-social-media-accounts-by-username-using-python)
🔗 Github (https://github.com/sherlock-project/sherlock)
@pythonl
@python_be1
💡 Sherlock (https://github.com/sherlock-project/sherlock) - алгоритм, написанный на Python проверяющий наличие учётной записи в социальных сетях по заданному никнейму пользователя
Алгоритм быстро проверяет множество сайтов, что позволяет, не теряя много времени, найти аккаунты под определенной учетной.
Инструмент производит поиск по более чем 300 сайтов (https://github.com/sherlock-project/sherlock/blob/master/sites.md) социальных сетей и проверяет, зарегистрирован ли там пользователь с указанным ником.
Установка: git clone https://github.com/sherlock-project/sherlock.git
🔗 Читать статью: *клик* (https://morioh.com/a/00b8776c0a81/find-social-media-accounts-by-username-using-python)
🔗 Github (https://github.com/sherlock-project/sherlock)
@pythonl
@python_be1
👍1
👩💻 Machina (https://github.com/PsyChip/machina) — система видеонаблюдения с использованием OpenCV, YOLO и LLAVA для обработки видео в реальном времени.
🌟 Система захватывает поток RTSP, выполняет детекцию объектов с помощью YOLO и тегирует их через LLAVA.
Проект находится в процессе активной разработке, и его целью является создание полноценной системы безопасности, использующей современные модели компьютерного зрения и обнаружения объектов.
▪️Github (https://github.com/PsyChip/machina)
@pythonl
@python_be1
🌟 Система захватывает поток RTSP, выполняет детекцию объектов с помощью YOLO и тегирует их через LLAVA.
Проект находится в процессе активной разработке, и его целью является создание полноценной системы безопасности, использующей современные модели компьютерного зрения и обнаружения объектов.
▪️Github (https://github.com/PsyChip/machina)
@pythonl
@python_be1
👍1
Master_SQL.pdf.pdf
754.9 KB
Большая шпаргалка по SQL — внутри ждёт всё, от основных команд до продвинутых фишек, вроде оконных функций.
— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.
Сохраняйте себе, чтобы не потерять.
@python_be1
— Основные команды SQL;
— SOL Joins;
— SQL Unions, Intersect, Except;
— Временные таблицы SQL, таблицы просмотра, CTE;
— Ранги SQL.
Сохраняйте себе, чтобы не потерять.
@python_be1
👍1
Instagram Tracker — OSINT инструмент для мониторинга изменений аккаунта Instagram.
Написанный на Python, скрипт позволяет отслеживать изменения аккаунта по имени пользователя отображая результаты в терминале. Вся информация также сохраняется в текстовом файле с указанием даты и времени.
https://github.com/ibnaleem/instatracker
@python_be1
https://github.com/ibnaleem/instatracker
Написанный на Python, скрипт позволяет отслеживать изменения аккаунта по имени пользователя отображая результаты в терминале. Вся информация также сохраняется в текстовом файле с указанием даты и времени.
https://github.com/ibnaleem/instatracker
@python_be1
https://github.com/ibnaleem/instatracker
👍1