⚡️ Molmo: семейство state-of-art MMLM.

Molmo (Multimodal Open Language Model) - это семейство VLM, разработанных в Институте искусственного интеллекта Аллена, для решения задач обработки изображений и текста - создание подробных описаний изображений и выполнение комплексных визуальных операций, например:

🟢ответы на вопросы;
🟢обнаружение и сегментация по текстовому запросу;
🟢подсчет объектов или элементов;
🟢использование в сфере робототехники для изображений или видео;
🟢расширение возможностей VR.

▶️Molmo 72B - флагманская модель на базе Qwen2-72B в роли LLM и ViT-L/14 336px CLIP в роли visial-энкодера. Molmo-72B достигает наивысшего балла в бенчмарках и занимает второе место по человеческой оценке, лишь немного уступая GPT-4o.

▶️Molmo 7B-D и Molmo 7B-O - более утилитарные модели с разницей в исходных LLM (Qwen2-7B и OLMo-7B-1124 соответственно) и все тем же ViT-L/14 336px в качестве энкодера.

▶️ MolmoE 1B - компактная модель на архитектуре Mixture-of-Experts, основанная на OLMoE-1B-7B с 1.5B активных и 7.2B общих параметров, с производительностью, сравнимой с GPT-4V.

Обучение семейства выполнялось в 2 этапа: предварительное обучение на наборе данных PixMo-Cap для генерации аннотаций к изображениям и этап SFT с использованием комбинации академических наборов данных и наборов данных PixMo (PixMo-AskModelAnything, PixMo-Points, PixMo-CapQA, PixMo-Docs, PixMo-Clocks).

Тестирование модели проводилось на 11 бенчмарках: AI2D, ChartQA, VQA v2, DocVQA, InfographicVQA, TextVQA, RealWorldQA, MMMU, Math-Vista, CountBenchQA и Flickr Count.

Результаты показали, что Molmo, особенно модель Molmo-72B, демонстрирует производительность на уровне GPT-4o, превосходя Gemini 1.5 Pro, Flash и Claude 3.5 Sonnet.

⚠️ Модели Molmo могут испытывать трудности с прозрачными изображениями. В качестве решения, разработчики рекомендуют добавлять белый или темный фон к изображениям перед передачей их в модель, например, с помощью библиотеки PIL.


📌Лицензирование : Apache 2.0


🟡Страница проекта
🟡Коллекция моделей на HF
🟡Arxiv
🟡Demo


@ai_machinelearning_big_data

#AI #ML #Molmo #MoE #MMLM

🚀 OpenAI Dev Day: что нового? 🚀

Вчера на конференции OpenAI представили революционные фичи, и вот что нас особенно впечатлило:

1️⃣ o1 — полная версия: ИИ, который *с нуля* написал код для управления дроном! На сцене ведущий запустил дрон в полет прямо по этому коду. Все заработало с первой попытки. Ощущение, что будущее уже здесь.

2️⃣ Голосовой режим: представьте, ИИ позвонил в магазин и заказал 400 клубник в шоколаде! Пусть видео и постановочное, но возможность впечатляет. Знакомый, но крутой уровень взаимодействия, который когда-то показывал Google, теперь доступен и здесь.

3️⃣ Voice Mod через Realtime API: теперь любое приложение может заговорить с вами *человеческим* голосом. Голосовые интерфейсы выходят на новый уровень — готовьтесь к более естественному взаимодействию с технологиями.

4️⃣ Разработчики о полной версии o1: обещают, что итоговая версия будет еще лучше, чем превью! Интеграции с инструментами для кодинга уже начались — ждем релиза в ближайшие недели. Эта модель станет новым стандартом для разработчиков.

5️⃣ Sora, новая версия: на экранах в холле крутили видео с обновленной версией. Выглядит впечатляюще — с нетерпением ждем, что нас ждет дальше.

OpenAI в очередной раз демонстрируют, как технологии могут выйти на новый уровень взаимодействия. Мы начинаем испытания уже сегодня!

Какие из этих возможностей вам интереснее всего?

😎 Фабрика контента.