😎💡Яндекс разработал и выложил в опенсорс библиотеку YaFSDP — собственное решение для ускорения обучения больших языковых моделей

YaFSDP — это собственная версия Яндекса для реализации подхода FSDP (от англ. Fully Sharded Data Parallel — параллелизм с полным разбиением данных. При этом YaFSDP лучше оптимизирует ресурсы графических процессоров на всех этапах обучения: pre-training (предварительное обучение), supervised fine-tuning (обучение с учителем), alignment (выравнивание модели). Благодаря этому библиотека стала использовать ровно столько памяти GPU, сколько нужно для обучения, а коммуникацию между графическими процессорами теперь ничто не замедляет.

На сегодняшний день это наиболее эффективный метод ускорения коммуникации между графическими процессорами (GPU), так как библиотека позволяет сократить до 25% время обучения языковых моделей (LLM) с открытым исходным кодом — результат зависит от архитектуры и числа параметров нейросети. При этом экономия ресурсов графических процессоров может достигать 20%.

YaFSDP оптимизирует загрузку вычислительных ресурсов графических процессоров (GPU). Библиотека лучше всего работает именно с большими моделями, поскольку их обучение требует и больших затрат вычислительных ресурсов.

Теперь YaFSDP могут применять сторонние компании, разработчики, исследователи и учёные как в России, так и в других странах, кто занимается обучением больших языковых моделей.

YaFSDP особенно пригодится тем, кто не может позволить себе использование мощных компьютерных систем и для тех, кто использует GPU в облаке. Например, это касается небольших стартапов и студенческих проектов.

Какую проблему решает YaFSDP?
Эта библиотека отлично подходит для решения проблемы "узкого горлышка", когда коммуникации между GPU существенно ограничивают скорость обучения модели независимо от скорости вычислений. Коммуникации между GPU при этом часто неэффективны, так как они используют не 100% мощностей. Следовательно, обучение LLM — это очень дорогой этап, а GPU везде сильно ограничены (особенно в РФ). Таким образом, YaFSDP позволяет значительно ускорить процесс обучения за счет оптимального использования ресурсов GPU.

Как итог, можно отметить ,что YaFSDP дает существенный выигрыш в производительности и потреблении памяти. Библиотека лучше всего подойдет для использования в текстовых генеративных моделях с архитектурой трансформера с несколькими слоями (многослойный перцептрон). Для претрейна (первого этапа обучения модели на ранее собранном большом наборе данных) модели в 70 миллиардов параметров, применение библиотеки позволит сэкономить ресурсы порядка 150 GPU.

⚡️💡Open-source cистема оркестрации контейнеров обработки данных для запуска AI-систем

dstack— это механизм оркестрации контейнеров с открытым исходным кодом, предназначенный для рабочих нагрузок ИИ в любом облаке или центре обработки данных.

Поддерживаемые этой технологией поставщики облачных услуг включают AWS, GCP, Azure, OCI, Lambda, TensorDock, Vast.ai, RunPod и CUDO.

Если на устройстве имеются стандартные учетные данные AWS, GCP, Azure или OCI, сервер dstack подхватит их автоматически.

🖥GitHub
🟡Документация

📊Огромный датасет изображений и их подписей

Pixel Prose - набор данных, который содержит более 16 миллионов разнообразных изображений, полученных из трех различных веб-баз данных (commonPool, CC12M, RedCaps), с подписями, созданными с помощью Google Gemini 1.0 Pro Vision.

Для загрузки датасета с помощью API можно использовать следующий Python-скрипт:
from datasets import load_dataset
# for downloading the whole data
ds = load_dataset("tomg-group-umd/pixelprose")

⚔️🔎ACID в Kafka vs ACID в Airflow при обработке Big data: преимущества и недостатки

При рассмотрении двух популярных инструментов для обработки данных, таких как Apache Kafka и Apache Airflow, важно понять, как они справляются с принципами ACID (Atomicity, Consistency, Isolation, Durability). Эти принципы критически важны для обеспечения надежности и предсказуемости обработки данных.

Преимущества Kafka ACID:
1. Долговечность (Durability): Kafka сохраняет данные в дисковой памяти, что обеспечивает их сохранность даже в случае сбоя системы.
2. Консистентность (Consistency): При правильной настройке Kafka обеспечивает, что все потребители получают одни и те же данные в одном и том же порядке.
3. Изолированность (Isolation): Сообщения в Kafka разделены по темам и разделам, что помогает изолировать обработку данных между разными потоками.

Недостатки Kafka ACID:
1. Атомарность (Atomicity): Kafka не всегда гарантирует атомарность на уровне сообщений. В некоторых случаях могут возникнуть дублирующиеся сообщения или пропуски, если не использовать дополнительные инструменты, такие как Kafka Transactions.
2. Сложность настройки: Для достижения ACID-свойств в Kafka требуется сложная настройка и управление, включая конфигурацию репликации и транзакций.

Преимущества Airflow ACID:
1. Атомарность (Atomicity): Airflow обеспечивает атомарность на уровне задач. Если задача завершилась с ошибкой, весь DAG (Directed Acyclic Graph) можно повторно запустить или восстановить с точки сбоя.
2. Консистентность (Consistency): Airflow поддерживает строгую последовательность выполнения задач, обеспечивая консистентное состояние данных.
3. Управление зависимостями: Airflow позволяет управлять зависимостями между задачами, что упрощает обеспечение изолированности и консистентности данных.

Недостатки Airflow ACID:
1. Производительность: В отличие от Kafka, Airflow не предназначен для обработки данных в реальном времени. Его основное назначение – управление долгосрочными и сложными рабочими процессами.
2. Долговечность (Durability): Хотя Airflow сохраняет состояние задач и DAG-ов, он полагается на внешние хранилища данных (например, базы данных) для долговременного хранения данных, что может потребовать дополнительных усилий для обеспечения долговечности.

Таким образом, Apache Kafka лучше подходит для обработки данных в реальном времени с высокой производительностью и долговечностью, но может потребовать сложной настройки для достижения атомарности и консистентности. Apache Airflow, в свою очередь, отлично справляется с управлением и оркестрацией сложных рабочих процессов, обеспечивая атомарность и консистентность на уровне задач, но не предназначен для потоковой обработки данных в реальном времени.

⚡️Гиперконвергентная облачная open-source БД

MatrixOne — это гиперконвергентная облачная распределенная БД со структурой, которая разделяет хранение, вычисления и транзакции, образуя единый движок данных HSTAP.
Этот механизм позволяет единой системе баз данных справляться с различными бизнес-нагрузками, такими как OLTP, OLAP и потоковые вычисления.

MatrixOne поддерживает развертывание и использование в публичных и частных облаках, обеспечивая совместимость с различными инфраструктурами.

🖥 GitHub
🟡 Документация

🌎ТОП июльских ивентов в Data Science
3 июля - DataStart - Онлайн - https://datastart.ru/
4 июля - Data Day - Москва, Россия - https://data-day.ru/
12-14 июля - Volga IT Camp - Самара, Россия - https://volga-it-camp.ru/
5-19 июля - EKF AI Challenge - Онлайн - https://codenrock.com/contests/ekf-ai-challenge#/
26-27 июля - PYCON RUSSIA - Москва, Россия - https://pycon.ru/

🎼Датасеты и проекты для задач генерации и анализа музыки

MAESTRO - (MIDI and Audio Edited for Synchronous Tracks and Organisation) содержит более 200 часов аннотированных записей международных конкурсов пианистов за последние десять лет.

NSynth - датасет состоит из 305 979 музыкальных нот и включает записи 1006 различных инструментов, таких как флейта, гитара, фортепиано и орган. Датасет аннотирован по типу инструмента (акустический, электронный или синтетический) и другим звуковым параметрам.

Lakh MIDI v0.1 - в датасете имеется 176,581 MIDI-файл, из которых 45,129 связаны с образцами из Million Song Dataset. Данный датасет разработан для упрощения поиска музыкальной информации на основе текста и аудио контента в большом масштабе.

Music21 - содержит музыкальные выступления из 21 категории и нацелен на решение исследовательских задач (например, поиска ответа на вопрос :»Какая группа использовала данные аккорды впервые?»)

💻Высокопроизводительная распределенная БД

YugabyteDB - это высокопроизводительная распределенная БД, которая поддерживает все возможности PostgreSQL.

YugabyteDB отлично подходит для облачных OLTP-приложений (т. е. работающих в реальном времени и критически важных для бизнеса), которым необходима абсолютная корректность данных и требуется масштабируемость или высокая устойчивость к сбоям.

🖥 GitHub
🟡 Документация

Создание локального кластера YugabyteDB с Docker:

docker run -d --name yugabyte -p7000:7000 -p9000:9000 -p15433:15433 -p5433:5433 -p9042:9042 \
 yugabytedb/yugabyte:2.21.1.0-b271 bin/yugabyted start \
 --background=false

⚡️💡💻Состоялся релиз СУБД MySQL 9.0.0

Недавно Oracle выпустила СУБД MySQL 9.0.0. Разработчики проекта подготовили и выложили в открытый доступ сборки MySQL Community Server 9.0.0 для основных дистрибутивов Linux, FreeBSD, macOS и Windows.

В 2023 году компания объявила об изменении модели формирования релизов СУБД MySQL. Разработчики начали выпускать два вида веток MySQL: Innovation (новые функции, частое обновление, три месяца поддержки) и LTS (с расширенным временем поддержки и сохранением неизменного поведения).

Как отмечают разработчики, проект MySQL 9.0 отнесён к ветке Innovation, к которым также будут отнесены следующие значительные релизы MySQL 9.1 и 9.2.

Дистрибутивы на базе Innovation-веток рекомендованы для тех пользователей, кто хочет раньше получать доступ к новой функциональности. Они публикуются каждые 3 месяца и поддерживаются только до публикации следующего значительного релиза (например, после появления ветки 9.1 будет прекращена поддержка ветки 9.0).

⚡️Инструмент для значительного усиления БД

WrenAI — open-source инструмент, который делает имеющуюся БД готовой к работе с RAG.

Он позволяет преобразовывать текст в SQL, изучать данные из БД без написания SQL, и делать многое другое

🖥 GitHub
🟡 Документация

💡Очередная небольшая подборка AI-инструментов для Big Data аналитики

KNIME Analytics Platform - является бесплатной платформой с открытым исходным кодом, что позволяет пользователям оставаться на передовой науки о данных, имеет в своем арсенале 300+ коннекторов к различным источникам данных и интегруется со всеми популярными библиотеками машинного обучения.

Polymer - искусственный интеллект для преобразования данных в оптимизированную, гибкую и мощную базу данных. Все, что нужно сделать пользователю, это загрузить свою электронную таблицу на платформу, чтобы мгновенно преобразовать ее в оптимизированную базу данных, которую затем можно изучить для получения информации.

IBM Cognos Analytics - это компонентный онлайн-сервис бизнес-аналитики (BI), обеспечивающий доступ к широкому диапазону функций для создания бизнес-отчётов, анализа данных, мониторинга событий и метрик с целью выработки эффективных бизнес-решений.

Akkio - инструмент бизнес-аналитики и прогнозирования, позволяющий пользователям анализировать свои данные и прогнозировать потенциальные результаты. Инструмент AI позволяет пользователям загружать свой набор данных и выбирать переменную, которую они хотят предсказать, что помогает Akkio построить нейронную сеть вокруг этой переменной. Как и многие другие инструменты, Akkio не требует предварительного опыта программирования.

Monkeylearn - использует функции анализа данных ИИ, чтобы помочь пользователям визуализировать и реорганизовать свои данные. Его также можно использовать для настройки классификаторов текста и экстракторов текста, которые помогают автоматически сортировать данные в соответствии с темой или намерением, а также извлекать характеристики продукта или пользовательские данные.

🔎Архитектура Lakehouse: преимущества и недостатки

Архитектура Lakehouse предназначена для обеспечения более гибкой и эффективной обработки данных, включая хранение, обработку и аналитическую обработку данных. Она представляет собой гибридный подход, объединяющий элементы традиционного хранилища данных (Data Warehouse) и озера данных (Data Lake).

Преимущества Lakehouse:

1. Унификация данных: архитектура Lakehouse позволяет хранить структурированные и неструктурированные данные в одном месте. Это упрощает доступ и анализ данных, устраняя необходимость в отдельных системах для каждого типа данных.
2. Экономическая эффективность: За счёт использования дешёвых решений для хранения данных, таких как облачные объекты хранения, архитектура Lakehouse может быть более экономически эффективной по сравнению с традиционными хранилищами данных.
3. Гибкость и масштабируемость: Lakehouse поддерживает масштабируемость, что позволяет легко увеличивать объём хранимых данных и мощность обработки по мере необходимости. Это особенно важно для компаний, работающих с большими объёмами данных и требующих высокой производительности.
4. Совместимость с современными аналитическими инструментами: Многие современные аналитические инструменты и платформы, такие как Apache Spark, Delta Lake и другие, интегрируются с архитектурой Lakehouse, обеспечивая высокую производительность и надёжность анализа данных.

Недостатки Lakehouse

1. Сложность внедрения: Внедрение архитектуры Lakehouse может потребовать значительных усилий и затрат на планирование, разработку и настройку системы. Это может включать обучение персонала и адаптацию существующих процессов и инструментов.
2. Управление качеством данных: Слияние данных из различных источников может привести к проблемам с качеством данных, особенно если отсутствуют строгие процессы очистки и валидации данных.
3. Безопасность и конфиденциальность: Объединение больших объёмов данных в одном месте увеличивает риски, связанные с безопасностью и конфиденциальностью данных. Необходимы дополнительные меры для защиты данных от несанкционированного доступа и утечек.
4. Потенциальная задержка в доступе к данным: В некоторых случаях архитектура Lakehouse может сталкиваться с задержками в доступе к данным, особенно при обработке больших объёмов неструктурированных данных.

Таким образом, архитектура Lakehouse предлагает множество преимуществ, таких как унификация данных, экономическая эффективность и гибкость, что делает её привлекательной для многих организаций. Однако её внедрение связано с определёнными вызовами, включая сложность интеграции, управление качеством данных и вопросы безопасности.

⚡️🔎Полностью синтетический датасет

На Hugging Face появился огромный датасет, состоящий полностью из синтетических данных.

LLM (в данном случае GPT-4o + VLLM) генерирует ответы, представляя себя каждый раз каким-нибудь персонажем: например, ученым-химиком или музыкантом.

Синтетические данные иногда могут сильно помочь (особенно, когда задача абстрактная и нет структурированной информации), но к ним до сих пор относятся с осторожностью. Они недостаточно реалистичны, разнообразны и в них потенциально кроются галлюцинации. До сих пор неясно, будем ли мы когда-нибудь свободно пользоваться "синтетикой", однако работа над этим активно идет.

💡Крупный датасет видеоданных с большой продолжительностью и структурированными аннотациями

MiraData от Tencent — готовый датасет суммарной продолжительностью видео в 16 тысяч часов, предназначенный для обучения моделей генерации текста в видео. Он включает в себя длинные видеоролики (в среднем 72,1 секунды) с высокой интенсивностью движения и подробными структурированными аннотациями (в среднем 318 слов на ролик).

Для оценки качества датасета была даже специально создана система бенчмарков MiraBench из 17 метрик, оценивающих временную согласованность, движения в кадре, качество видео, и другие параметры. Согласно их результатам, MiroData превосходит другие известные датасеты, доступные в открытых источниках , которые в основном состоят из коротких видеороликов с плавающим качеством и короткими описаниями.

😎Графовая БД, реализованная на фреймворке Apache Apache TinkerPop3

HugeGraph - open-source графовая БД, реализованная на фреймворке Apache TinkerPop3 и полностью совместимая с языком запросов Gremlin.

HugeGraph поддерживает импорт более 10 миллиардов вершин и ребер и может очень быстро обрабатывать запросы (на уровне мс).

Типичные сценарии применения HugeGraph — это исследование связей между объектами, анализ ассоциаций, поиск путей, извлечение признаков, кластеризация данных, обнаружение сообществ, построение графа.

Быстрый старт с Docker:

docker run -itd --name=graph -p 8080:8080 hugegraph/hugegraph
# docker exec -it graph bash

⚡️Крупнейшая коллекция датасетов из ~ 1 млн пар задач и решений для математических соревнований

NuminaMath - датасеты, состоящие из 1 млн пар задач и решений для различных математических задач.

🔎Цепочка рассуждений (CoT): 860 тысяч пар задач и решений, созданных с помощью CoT.

🛠 Инструментально-интегрированные рассуждения (TIR): 73 тысячи синтетических решений, полученных на основе GPT-4, с обратной связью по выполнению кода для разбивки сложных задач на более простые подзадачи, которые могут быть решены с помощью Python.

По словам исследователей, модели, обученные на NuminaMath, демонстрируют лучшие в своем классе показатели среди моделей с открытым весом и приближаются или превосходят собственные модели по показателям математических соревнований

😎💡Бенчмарк для комплексной оценки логического мышления LLM

ZebraLogic - бенчмарк, основанный на логических головоломках и представляет собой набор из 1000 программно сгенерированных заданий различной сложности - с сеткой от 2x2 до 6x6.

Каждая головоломка состоит из N домов (пронумерованных слева направо) и M характеристик для каждого дома. Задача заключается в том, чтобы на основе предоставленных подсказок определить уникальное распределение значений характеристик по домам.
Языковым моделям предоставляется один пример решения головоломки с подробным объяснением хода рассуждений и ответом в формате JSON. Затем модели должны решить новую задачу, предоставив как ход рассуждений, так и окончательное решение в заданном формате.

Метрики оценки:
1. Точность на уровне головоломки (процент полностью правильно решенных головоломок).
2. Точность на уровне ячеек (доля правильно заполненных ячеек в матрице решения).

🟡Страница проекта
🟡Датасет

Локальный запуск ZebraLogic в рамках фреймфорка ZeroEval:

# Install via conda

conda create -n zeroeval python=3.10
conda activate zeroeval

# pip install vllm -U # pip install -e vllm 

pip install vllm==0.5.1
pip install -r requirements.txt
# export HF_HOME=/path/to/your/custom/cache_dir/

# Run Meta-Llama-3-8B-Instruct via local, with greedy decoding on `zebra-grid`
bash zero_eval_local.sh -d zebra-grid -m meta-llama/Meta-Llama-3-8B-Instruct -p Meta-Llama-3-8B-Instruct -s 4

💡🤖ИИ для генерации различных звуков в беззвучных видео

FoleyCrafter - методика, разработанная для автоматического создания звуковых эффектов, синхронизированных с целевым видеорядом
Архитектура метода построена на основе предварительно обученной модели преобразования текста в аудио (Text2Audio).

Система состоит из двух ключевых компонентов:
Семантический адаптер - использует параллельные слои cross-attention для обусловливания генерации аудио на основе видеопризнаков. Выполняет семантическое соответствие генерируемых звуков визуальному контенту.
Временной контроллер - детектор временных меток анализирует и предсказывает интервалы звука и тишины в видео. Временной адаптер синхронизирует аудио с видео на основе выставленных детектором временных меток.

Оба компонента являются обучаемыми модулями, которые принимают видео в качестве входных данных для синтеза аудио. При этом модель Text2Audio остается фиксированной для сохранения ее способности к синтезу аудио постоянного качества.

Разработчики FoleyCrafter провели количественные и качественные эксперименты на наборах данных VGGSound и AVSync15 по метрикам семантического соответствия MKL, CLIP Score, FID и временной синхронизации Onset ACC, Onset AP.
По сравнению с существующими методами Text2Audio (SpecVQGAN, Diff-Foley и V2A-Mapper) FoleyCrafter показал лучшие результаты.

💡Датасеты, использовавшиеся при построении различных ML-базисов

Iphone dataset - набор датасетов, на основе которых были построены более 40 тысяч динамических и более 100 тысяч статических гауссианов, 20 базисов SE(3) с помощью Shape of Motion.

Время обучения на 1хGPU A100 с использованием оптимизатора Adam разрешением 960x720 составило чуть более 2-х часов при скорости рендеринга 40 кадров в секунду.

По результатам тестов в процессе обучения, Shape of Motion показал хорошие результаты по качеству и консистентности построения сцен.
Однако, метод все еще требует оптимизации для каждой конкретной сцены и не может обрабатывать значительные изменения ракурса камеры. Также установлена критическая зависимость от точных параметров камеры и пользовательского ввода для создания маски движущихся объектов.

🌎ТОП августовских ивентов в Data Science
1 августа - SaluteJazz 2.0 - Онлайн - https://softline.ru/events/salutejazz_2_0_masshtabnoe_obnovlenie_ai_platformy_dlya_kommunikatsiy_01_08_2024
1 августа - Погружение в Kubernetes - Онлайн - https://softline.ru/events/vorkshop_pogruzhenie_v_kubernetes_platforma_deckhouse_kak_servis_iz_oblaka_01_08_2024
15 августа - iSpring Tech Data Engineer Meetup - Йошкар-Ола, Россия - https://ispring-tech-event.timepad.ru/event/2972730/
16-19 августа - Искуственный интеллект + Коммуникация - Минск, Беларусь - https://agni-inc.timepad.ru/event/2937612/
19 августа-13 сентября - E-CUP 2024 - Онлайн - https://e-cup-ozon.ru/

💡😎Стратап, перевернувший представление об обработке данных

CRAM - новая технология памяти, позволяющая снизить потребление энергии при обработке данных ИИ в 1000 раз.

Исследователи из Университета Миннесоты разработали новую технологию Computational Random-Access Memory (CRAM) которая способна снизить энергопотребление при обработке данных. В отличие от традиционных решений, где данные перемещаются между памятью и процессором, CRAM позволяет обрабатывать данные непосредственно в ячейках памяти.
Это достигается за счет использования высокоплотной и перенастраиваемой спинтронной структуры, встроенной в ячейки памяти. Таким образом, данные не покидают память, что минимизирует задержки отклика и потребление энергии, связанные с передачей информации.

С помощью CRAM данные никогда не покидают память, вместо этого они полностью обрабатываются в массиве памяти компьютера. По словам исследовательской группы, это позволяет системе, работающей с вычислительным приложением ИИ, снизить энергопотребление “примерно в 1000 раз по сравнению с современным решением”.