🌟 MG-LLaVA — мультимодальная LLM с продвинутыми возможностями работы с визуальной информацией

Буквально только что ребята из Шанхайского университета выкатили MG-LLaVA — MLLM, которая расширяет возможности обработки визуальной информации за счет использования дополнительных компонентов: специальных компонентов, которые отвечают за работу с низким и высоким разрешением.

В MG-LLaVA интегрирован дополнительный визуальный энкодер высокого разрешения для захвата мелких деталей, которые затем объединяются с базовыми визуальными признаками с помощью сети Conv-Gate.

Обученная исключительно на общедоступных мультимодальных данных, MG-LLaVA демонстрирует отличные результаты.

🟡 Страничка MG-LLaVA
🖥 GitHub

@ai_machinelearning_big_data

🌟 Text-Animator — метод генерации видео с текстом в кадрах

С текстом у генеративных моделей до недавнего времени были большие проблемы, как и с пальцами. Сейчас уже ситуация улучшилась, но только для моделей, создающих изображения.
С генерацией текста в видео всё было ещё печальнее, но буквально вчера Tencent и Huawei выкатили Text-Animator — метод, который позволяет создавать видео с текстом в кадрах.

🟡 Страничка Text-Animator
🟡 Arxiv

@ai_machinelearning_big_data

🌟 Pyramid Attention Broadcast — подход, позволяющий генерировать видео в режиме реального времени

PAB — это первый подход к созданию видео на основе диффузионных трансформеров в реальном времени, обеспечивающий качество без потерь и не требующий обучения.

PAB оптимизирует работу с механизмом внимания, что позволяет достичь 21.6 FPS с 10.6-кратным ускорением для популярных моделей генерации видео на основе DiT, включая Open-Sora, Open-Sora-Plan и Latte.

Поскольку метод PAB не требует дополнительного обучения, он может обеспечить любые будущие модели генерации видео на основе DiT возможностями генерации в режиме реального времени

🟡 Страничка Pyramid Attention Broadcast
🖥 GitHub

@ai_machinelearning_big_data

🌟 Cambrian-1 — семейство мультимодальных LLM, ориентированных на CV-задачи

Cambrian-1 — это семейство MLLM, разработанных с упором на работу с визуальной информацией. На страничке Cambrian-1 представлены модели 3 размеров (8B, 13B и 34B), данные для обучения, скрипты для обучения на TPU.
Скоро на GitHub появится скрипт для обучения на GPU.

🟡 Страничка Cambrian-1
🖥 GitHub
🤗 Hugging Face

@ai_machinelearning_big_data

🌟 SPPO — инструмент оптимизации предпочтений языковой моделью.

LLM показывают впечатляющие возможности, однако довольно сложно добиться соблюдения ими этических норм. Эту проблему можно частично решить при помощи обучения с подкреплением на основе человеческой обратной связи (RLHF), или обучения с подкреплением на основе предпочтений (PbRL). Оба метода имеют недостатки, и приводят к заметному снижению показателей моделей.

В этой свежей работе Yue Wu с коллегами предлагает новый способ обеспечения этичности LLM — SPPO (Self-Play Preference Optimization).
Как видно на графиках SPPO не снижает производительность моделей так сильно, как RLHF и PbRL, что позволяет повысить точность ответов, не рискуя допустить неэтичные ответы LLM.

🖥 GitHub
🤗 Hugging Face
🟡 Arxiv

@ai_machinelearning_big_data