VS-BENCH: проверка VLM на стратегическое мышление в многоагентной среде
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
Оказывается, Vision Language Models (VLMs) умеют не только описывать картинки, но и принимать стратегические решения в играх с другими агентами. Авторы новой статьи представили VS-BENCH — бенчмарк для оценки стратегического мышления VLM в многоагентных средах.
VS-BENCH включает восемь игр: кооперативные (Hanabi, Overcooked), конкурентные (Breakthrough, Kuhn Poker, Atari Pong) и смешанные (Coin Dilemma, Monster Hunt, Battle of the Colors). Тестирование 14 передовых VLM показало: хотя модели демонстрируют начальные способности к стратегическому мышлению, до людей им далеко.
Примечательно, что некоторые open-source модели в определенных играх не уступают коммерческим. Это указывает на потенциал открытых решений в области многоагентного обучения. Ждем новых исследований в этой захватывающей области!
Статья
VeBrain: делаем роботов умнее, объединив понимание и действия
Замечали, как современные большие мультимодальные языковые модели (MLLMs) достигают впечатляющих результатов в компьютерном зрении и языковых задачах? Следующий шаг — научить роботов не только видеть и понимать мир, но и взаимодействовать с ним, объединяя восприятие, пространственное мышление и управление в одной модели.
Проблема в том, что существующие MLLM плохо совмещают эти способности. Авторы представляют VeBrain — систему, формулирующую управление роботом как текстовые задачи (определение ключевых точек, распознавание действий). Это позволяет объединить обучение разных навыков без конфликтов.
Они также создали VeBrain-600k — обширный датасет с инструкциями для обучения. В результате VeBrain превосходит существующие подходы, успешно сочетая понимание, пространственное мышление и управление роботами.
Скоро наши роботы станут еще умнее благодаря таким разработкам!
Статья
Замечали, как современные большие мультимодальные языковые модели (MLLMs) достигают впечатляющих результатов в компьютерном зрении и языковых задачах? Следующий шаг — научить роботов не только видеть и понимать мир, но и взаимодействовать с ним, объединяя восприятие, пространственное мышление и управление в одной модели.
Проблема в том, что существующие MLLM плохо совмещают эти способности. Авторы представляют VeBrain — систему, формулирующую управление роботом как текстовые задачи (определение ключевых точек, распознавание действий). Это позволяет объединить обучение разных навыков без конфликтов.
Они также создали VeBrain-600k — обширный датасет с инструкциями для обучения. В результате VeBrain превосходит существующие подходы, успешно сочетая понимание, пространственное мышление и управление роботами.
Скоро наши роботы станут еще умнее благодаря таким разработкам!
Статья
Как Xiaomi выжали максимум из VLM в 7 миллиардов параметров
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
Как оценивать длинные контексты в LLM, используя вымышленные биографии?
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Как научить языковую модель писать романы? Знакомьтесь с SuperWriter-Agent!
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
RoboRefer: учим VLM точно понимать пространственные инструкции для роботов
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Автоэнкодеры научились понимать любые данные с помощью flow-моделей!
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
**Как ComfyUI-Copilot меняет правила игры в AI-генерации контента**
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Как ускорить восстановление видео до одного шага? Новая модель SeedVR2 от ByteDance
В области восстановления видео диффузионные модели эффективны, но требуют множества шагов генерации. Исследователи ByteDance решили эту проблему с помощью SeedVR2, позволяющей восстанавливать видео высокого разрешения за один шаг.
SeedVR2 использует диффузионные трансформеры с адаптивным механизмом внимания по окнам для обработки видео в 1080p и выше. Вместо предварительно обученных моделей или сложных многократных шагов применяется прогрессивная дистилляция и тренировка с противопоставлением.
Модель ускоряет процесс в 4 раза, сохраняя качество на уровне многократных диффузионных подходов или превосходя их. Это важный прогресс для приложений, где критичны скорость и качество.
SeedVR2 открывает новые возможности для быстрого восстановления видео, и этот подход может найти применение в других областях компьютерного зрения.
Статья
В области восстановления видео диффузионные модели эффективны, но требуют множества шагов генерации. Исследователи ByteDance решили эту проблему с помощью SeedVR2, позволяющей восстанавливать видео высокого разрешения за один шаг.
SeedVR2 использует диффузионные трансформеры с адаптивным механизмом внимания по окнам для обработки видео в 1080p и выше. Вместо предварительно обученных моделей или сложных многократных шагов применяется прогрессивная дистилляция и тренировка с противопоставлением.
Модель ускоряет процесс в 4 раза, сохраняя качество на уровне многократных диффузионных подходов или превосходя их. Это важный прогресс для приложений, где критичны скорость и качество.
SeedVR2 открывает новые возможности для быстрого восстановления видео, и этот подход может найти применение в других областях компьютерного зрения.
Статья
❤1
ComfyUI-Copilot: ваш умный помощник в мире AI-генерации контента (от Alibaba)
Новичкам сложно освоить ComfyUI — мощный инструмент для AI-контента без обилия кода. Установка нодов, моделей, поиск документации создают трудности. Решение — ComfyUI-Copilot, ассистент с LLM, преодолевающий эти барьеры.
Его возможности: автогенерация рабочих процессов, рекомендации по нодам и моделям, ответы на вопросы. Он проводит вас через экосистему AI-генерации: текст-в-изображение, замена лиц, видеоредактирование и другое.
База знаний включает 7 тысяч нодов, 62 тысячи моделей, 9 тысяч воркфлоу, что обеспечивает точное понимание запросов и оптимальные решения.
С момента выхода на GitHub проект собрал более 1,6 тысяч звёзд и обработал свыше 85 тысяч запросов от 19 тысяч пользователей из 22 стран.
Попробуйте ComfyUI-Copilot и упростите своё знакомство с ComfyUI!
Статья
Новичкам сложно освоить ComfyUI — мощный инструмент для AI-контента без обилия кода. Установка нодов, моделей, поиск документации создают трудности. Решение — ComfyUI-Copilot, ассистент с LLM, преодолевающий эти барьеры.
Его возможности: автогенерация рабочих процессов, рекомендации по нодам и моделям, ответы на вопросы. Он проводит вас через экосистему AI-генерации: текст-в-изображение, замена лиц, видеоредактирование и другое.
База знаний включает 7 тысяч нодов, 62 тысячи моделей, 9 тысяч воркфлоу, что обеспечивает точное понимание запросов и оптимальные решения.
С момента выхода на GitHub проект собрал более 1,6 тысяч звёзд и обработал свыше 85 тысяч запросов от 19 тысяч пользователей из 22 стран.
Попробуйте ComfyUI-Copilot и упростите своё знакомство с ComfyUI!
Статья
**Как научить видеомодели помнить прошлое: пространственная память в генерации видео**
Замечали, что модели генерации видео часто путаются на длинных роликах из-за короткой памяти? Они видят лишь последние кадры.
Авторы новой статьи вдохновились человеческой памятью и добавили в модель три её типа: рабочую (недавние кадры), пространственную (3D карта мира) и эпизодическую (ключевые кадры).
Используя облака точек для хранения информации о статичных объектах, модель теперь "помнит" окружение. Динамические объекты отсеиваются для сохранения фокуса.
Результат: более длинные и последовательные видео без потери деталей. По тестам новый метод превзошёл предыдущие по качеству и 3D-согласованности.
Скоро, возможно, увидим бесконечные видео с непрерывным сюжетом без провалов в памяти!
Статья
Замечали, что модели генерации видео часто путаются на длинных роликах из-за короткой памяти? Они видят лишь последние кадры.
Авторы новой статьи вдохновились человеческой памятью и добавили в модель три её типа: рабочую (недавние кадры), пространственную (3D карта мира) и эпизодическую (ключевые кадры).
Используя облака точек для хранения информации о статичных объектах, модель теперь "помнит" окружение. Динамические объекты отсеиваются для сохранения фокуса.
Результат: более длинные и последовательные видео без потери деталей. По тестам новый метод превзошёл предыдущие по качеству и 3D-согласованности.
Скоро, возможно, увидим бесконечные видео с непрерывным сюжетом без провалов в памяти!
Статья
Одношаговое восстановление видео: как ускорить диффузионные модели в 4 раза? (by ByteDance)
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
**ComfyUI-Copilot: ваш персональный помощник в мире AI-генерации**
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
RoboRefer: как научить роботов понимать сложные пространственные инструкции
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
**Как научить ИИ описывать звук столь же подробно, как человек?**
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
RPT: как заставить модель подумать, прежде чем говорить?
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Как запустить LLM на вашем телефоне: MiniCPM4
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
PlayerOne: станьте свободным авантюристом в виртуальном мире!
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Seedance 1.0: Двуязычная генерация видео от ByteDance
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
**Как научить LLM реальной разработке? SWE-Flow на основе TDD**
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья