Как Xiaomi выжали максимум из VLM в 7 миллиардов параметров
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
MiMo-VL-7B от Xiaomi — новая открытая мультимодальная языковая модель, которая уделывает более крупные аналоги. Они смогли натренировать компактную модель с 7B параметров, достигающую state-of-the-art результатов среди открытых VLM.
Ключ к успеху — умное обучение. Разработчики использовали четыре стадии предобучения с разнообразными данными, включая синтетические reasoning-данные с длинным Chain-of-Thought. Это позволило модели освоить сложные логические задачи.
Затем они применили смешанное он-полисное RL (MORL), объединяя RLHF и RL с проверяемыми наградами (RLVR), чтобы еще больше улучшить модель.
Интересно, что при добавлении reasoning-данных модель продолжала улучшаться без признаков насыщения. Также они отметили, что он-полисный RL превосходит обычный GRPO.
MiMo-VL-7B доказывает, что с правильным подходом можно создать компактные, но мощные VLM, способные конкурировать с крупными моделями.
Статья
Как оценивать длинные контексты в LLM, используя вымышленные биографии?
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Все знают, что длинные контексты в LLM — дело важное. Но как их правильно тестировать? Существующие бенчмарки либо дороги и неуправляемы (натуральные данные), либо слишком упрощены (синтетические задачи типа "иголка в стоге сена"). Авторы предлагают LongBioBench — новый бенчмарк, где и "иголка", и "стог сена" состоят из вымышленных биографий. Это позволяет создавать связный и контролируемый контекст для испытаний.
Выяснилось, что LLM хорошо находят нужную информацию в длинном тексте, но испытывают трудности с числовыми рассуждениями и планированием, когда контекст разрастается. А если контекст несвязный, модели могут находить обходные пути и решать задачи нечестно.
LongBioBench помогает глубже понять поведение моделей на длинных контекстах и выявить их реальные ограничения. Возможно, это шаг к тому, чтобы LLM научились лучше работать с огромными объемами текста.
Статья
Как научить языковую модель писать романы? Знакомьтесь с SuperWriter-Agent!
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
Генерация длинных текстов всегда была проблемой для LLM: логика распадается, связность теряется. SuperWriter-Agent – новый подход, учащий модели писать большие тексты поэтапно, как люди.
Идея проста: разбить процесс на три стадии – планирование, написание и редактирование. Сначала модель планирует структуру текста, затем пишет его по частям, а в конце редактирует и улучшает.
Это напоминает подходы Re3 или LongWriter, но здесь всё интегрировано в единое агентное решение, и модель учится "думать" перед написанием.
Результаты впечатляют: тексты становятся более связными и логичными. Это может быть шагом к тому, чтобы модели писали книги или научные статьи.
Возможно, скоро LLM действительно смогут заменить писателей? Будем следить за развитием SuperWriter-Agent!
Статья
RoboRefer: учим VLM точно понимать пространственные инструкции для роботов
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Чтобы роботы эффективно взаимодействовали с окружающей средой, им нужно не только распознавать объекты, но и точно понимать пространственные инструкции. RoboRefer — это 3D-aware Vision-Language Model, сочетающая одноступенчатое пространственное понимание с многоступенчатым рассуждением.
Модель использует двухэтапное обучение: сначала тонкая настройка через SFT на новом датасете RefSpatial (2,5 млн примеров) с детальными пространственными заданиями. Затем применяется RFT с метриками, чувствительными к процессам рассуждения.
RoboRefer превзошла другие модели, включая GPT-4, в задачах пространственного реферирования. Модель точно предсказывает точки размещения и может использоваться для навигации и манипуляций в реальных роботах.
P.S. Возможно, это важный шаг к более интеллектуальным роботам в будущем.
Статья
Автоэнкодеры научились понимать любые данные с помощью flow-моделей!
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
Автоэнкодеры — основа современного машинного обучения, но структурирование их латентных пространств остаётся сложной задачей при целевом распределении, заданном только выборками.
В новой работе предлагается использовать предобученную flow-модель как приоритетное распределение для выравнивания латентного пространства. Flow-модель обучается на целевом распределении, затем минимизируется функция выравнивания для соответствия латентных представлений этому распределению.
Метод позволяет выровнять латентное пространство с любым распределением без явного расчёта сложных функций правдоподобия, улучшая интерпретируемость.
Эксперименты подтвердили эффективность подхода на различных задачах, включая генерацию изображений на ImageNet.
Этот метод открывает путь к более гибким моделям представления данных.
Статья
**Как ComfyUI-Copilot меняет правила игры в AI-генерации контента**
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Пробовали разобраться в ComfyUI? Этот инструмент для разработки AI-воркфлоу мощный, но не всегда дружелюбный к новичкам. Здесь помогает ComfyUI-Copilot — LLM-ассистент, упрощающий навигацию по ComfyUI.
Копилот автоматически генерирует рабочие процессы по вашему описанию, рекомендует узлы и модели, отвечает на вопросы и помогает с оптимизацией. Благодаря базе знаний с 7 000 узлов, 62 000 моделей и 9 000 воркфлоу, он предлагает актуальные решения.
Результаты впечатляют: высокая точность рекомендаций и положительные отзывы. Проект собрал более 1,6 тыс. звёзд на GitHub и привлёк 19 000 пользователей из 22 стран. ComfyUI-Copilot — первый открытый проект, делающий работу с ComfyUI доступнее.
Ждём новых функций, которые ещё больше облегчат создание AI-контента!
Статья
Как ускорить восстановление видео до одного шага? Новая модель SeedVR2 от ByteDance
В области восстановления видео диффузионные модели эффективны, но требуют множества шагов генерации. Исследователи ByteDance решили эту проблему с помощью SeedVR2, позволяющей восстанавливать видео высокого разрешения за один шаг.
SeedVR2 использует диффузионные трансформеры с адаптивным механизмом внимания по окнам для обработки видео в 1080p и выше. Вместо предварительно обученных моделей или сложных многократных шагов применяется прогрессивная дистилляция и тренировка с противопоставлением.
Модель ускоряет процесс в 4 раза, сохраняя качество на уровне многократных диффузионных подходов или превосходя их. Это важный прогресс для приложений, где критичны скорость и качество.
SeedVR2 открывает новые возможности для быстрого восстановления видео, и этот подход может найти применение в других областях компьютерного зрения.
Статья
В области восстановления видео диффузионные модели эффективны, но требуют множества шагов генерации. Исследователи ByteDance решили эту проблему с помощью SeedVR2, позволяющей восстанавливать видео высокого разрешения за один шаг.
SeedVR2 использует диффузионные трансформеры с адаптивным механизмом внимания по окнам для обработки видео в 1080p и выше. Вместо предварительно обученных моделей или сложных многократных шагов применяется прогрессивная дистилляция и тренировка с противопоставлением.
Модель ускоряет процесс в 4 раза, сохраняя качество на уровне многократных диффузионных подходов или превосходя их. Это важный прогресс для приложений, где критичны скорость и качество.
SeedVR2 открывает новые возможности для быстрого восстановления видео, и этот подход может найти применение в других областях компьютерного зрения.
Статья
❤1
ComfyUI-Copilot: ваш умный помощник в мире AI-генерации контента (от Alibaba)
Новичкам сложно освоить ComfyUI — мощный инструмент для AI-контента без обилия кода. Установка нодов, моделей, поиск документации создают трудности. Решение — ComfyUI-Copilot, ассистент с LLM, преодолевающий эти барьеры.
Его возможности: автогенерация рабочих процессов, рекомендации по нодам и моделям, ответы на вопросы. Он проводит вас через экосистему AI-генерации: текст-в-изображение, замена лиц, видеоредактирование и другое.
База знаний включает 7 тысяч нодов, 62 тысячи моделей, 9 тысяч воркфлоу, что обеспечивает точное понимание запросов и оптимальные решения.
С момента выхода на GitHub проект собрал более 1,6 тысяч звёзд и обработал свыше 85 тысяч запросов от 19 тысяч пользователей из 22 стран.
Попробуйте ComfyUI-Copilot и упростите своё знакомство с ComfyUI!
Статья
Новичкам сложно освоить ComfyUI — мощный инструмент для AI-контента без обилия кода. Установка нодов, моделей, поиск документации создают трудности. Решение — ComfyUI-Copilot, ассистент с LLM, преодолевающий эти барьеры.
Его возможности: автогенерация рабочих процессов, рекомендации по нодам и моделям, ответы на вопросы. Он проводит вас через экосистему AI-генерации: текст-в-изображение, замена лиц, видеоредактирование и другое.
База знаний включает 7 тысяч нодов, 62 тысячи моделей, 9 тысяч воркфлоу, что обеспечивает точное понимание запросов и оптимальные решения.
С момента выхода на GitHub проект собрал более 1,6 тысяч звёзд и обработал свыше 85 тысяч запросов от 19 тысяч пользователей из 22 стран.
Попробуйте ComfyUI-Copilot и упростите своё знакомство с ComfyUI!
Статья
**Как научить видеомодели помнить прошлое: пространственная память в генерации видео**
Замечали, что модели генерации видео часто путаются на длинных роликах из-за короткой памяти? Они видят лишь последние кадры.
Авторы новой статьи вдохновились человеческой памятью и добавили в модель три её типа: рабочую (недавние кадры), пространственную (3D карта мира) и эпизодическую (ключевые кадры).
Используя облака точек для хранения информации о статичных объектах, модель теперь "помнит" окружение. Динамические объекты отсеиваются для сохранения фокуса.
Результат: более длинные и последовательные видео без потери деталей. По тестам новый метод превзошёл предыдущие по качеству и 3D-согласованности.
Скоро, возможно, увидим бесконечные видео с непрерывным сюжетом без провалов в памяти!
Статья
Замечали, что модели генерации видео часто путаются на длинных роликах из-за короткой памяти? Они видят лишь последние кадры.
Авторы новой статьи вдохновились человеческой памятью и добавили в модель три её типа: рабочую (недавние кадры), пространственную (3D карта мира) и эпизодическую (ключевые кадры).
Используя облака точек для хранения информации о статичных объектах, модель теперь "помнит" окружение. Динамические объекты отсеиваются для сохранения фокуса.
Результат: более длинные и последовательные видео без потери деталей. По тестам новый метод превзошёл предыдущие по качеству и 3D-согласованности.
Скоро, возможно, увидим бесконечные видео с непрерывным сюжетом без провалов в памяти!
Статья
Одношаговое восстановление видео: как ускорить диффузионные модели в 4 раза? (by ByteDance)
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
Диффузионные модели стали стандартом для восстановления изображений и видео, но их главный недостаток — медлительность из-за множества шагов генерации. Это особенно критично при обработке длинных видео в высоком разрешении.
В ByteDance предложили SeedVR2 — метод, позволяющий выполнять восстановление видео за один шаг без учителя и замороженных прайоров. Они использовали adversarial post-training для обучения большого диффузионного трансформера, внедрили адаптивное оконное внимание для работы с высокими разрешениями и улучшили функцию потерь с помощью feature matching.
Результат впечатляет: качество сравнимо или превосходит многошаговые методы, а скорость выше в 4 раза! Похоже, диффузионные модели сделали шаг вперёд в эффективности восстановления видео.
Статья
**ComfyUI-Copilot: ваш персональный помощник в мире AI-генерации**
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
Терялись в сложных процессах ComfyUI? Исследователи Alibaba создали ComfyUI-Copilot — мультиагентную ИИ-систему, помогающую создавать и оптимизировать рабочие процессы в ComfyUI даже новичкам. Она генерирует процессы по запросу, рекомендует ноды и модели, отвечает на вопросы.
Главное преимущество — не нужно вручную собирать сложные графы нод. Copilot подскажет нужные компоненты и их связи. Он поддерживает различные задачи: текст-картинка, видео, условную генерацию, что расширяет возможности по сравнению с прежними решениями.
Авторы создали базу знаний из 7000 нод, 62 000 моделей и 9000 рабочих процессов с постоянным обновлением. Благодаря этому Copilot предлагает актуальные передовые решения.
Система уже получила более 1,6K звезд на GitHub, привлекая 19 000 пользователей из 22 стран. Вероятно, создание сложных AI-генераций скоро станет доступно каждому.
Статья
RoboRefer: как научить роботов понимать сложные пространственные инструкции
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
Вы задумывались, как научить роботов понимать инструкции типа «поставь предмет между держателем для ручек и клавиатурой, выровняв с логотипом на чашке»?
Большинство моделей фокусируется на простом пространственном понимании. Как справиться с многосложными инструкциями?
RoboRefer — 3D-ориентированная Vision-Language модель для многошаговых пространственных рассуждений. Она использует энкодер глубины и двухступенчатое обучение для улучшения рассуждений.
Авторы создали датасет RefSpatial и бенчмарк RefSpatial-Bench для задач пространственного референсирования.
RoboRefer превзошёл существующие модели и эффективно управляет роботами в реальных задачах манипуляции и навигации.
P.S. Модель учится разбивать сложные задачи на шаги, приближаясь к человеческому пониманию пространства.
Статья
**Как научить ИИ описывать звук столь же подробно, как человек?**
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
Задумывались, почему технологии описания аудио отстают от описания изображений? Ручная разметка аудио трудоёмка, а автоматические методы дают неточные результаты. Что если научить ИИ воспринимать звук комплексно – через зрение и слух?
В новой работе предложен подход к автоматическому описанию аудио с мультимодальными подсказками. Авторы используют специализированные модели для распознавания речи, музыки, звуков и визуальной информации. Вся эта информация объединяется с помощью LLM, генерирующей точные аудиоописания.
Результатом стал FusionAudio-1.2M – датасет из 1,2 миллиона детальных описаний аудио. Использование мультимодальных данных и LLM позволило достичь качества, близкого к ручной разметке, но автоматически и масштабно.
Теперь модели понимают аудио почти по-человечески, открывая новые возможности в аудиоанализе и мультимодальном обучении.
Статья
RPT: как заставить модель подумать, прежде чем говорить?
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Большие языковые модели (LLM) обучаются предсказывать следующий токен. Но что если заставить модель рассуждать о нем перед выдачей?
Авторы представили Reinforcement Pre-Training (RPT) — подход, сочетающий масштабируемость обучения на огромных корпусах с возможностями обучения с подкреплением. Идея в том, чтобы превратить предсказание токена в задачу рассуждения о нем. Модель получает награду за правильное рассуждение и предсказание следующего токена, используя информацию из самого корпуса.
Преимущества: нет необходимости в дорогих данных от людей (как в RLHF), риск "взлома" награды минимален, поскольку она основана на правильности предсказания. Модель учится глубже понимать текст, а не просто запоминать последовательности.
Эксперименты показывают, что RPT улучшает точность предсказания, повышает производительность на новых задачах и служит хорошей основой для дальнейшего обучения с подкреплением.
Статья
Как запустить LLM на вашем телефоне: MiniCPM4
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
Вы думали, что большие языковые модели работают только на мощных серверах? Что ж, теперь их можно запускать даже на вашем телефоне!
В свежей статье про MiniCPM4 авторы показали, как создать 8-миллиардную модель, которая эффективно работает на устройствах с ограниченными ресурсами.
Как им это удалось? Они применили обучаемое разреженное внимание (InfLLM v2), позволяющее обрабатывать длинные тексты без больших затрат.
Также они разработали UltraClean — методы фильтрации данных для предобучения, что позволило обучить модель на меньшем объёме данных без потери качества.
Кроме того, специальные стратегии предобучения (ModelTunnel v2) и оптимизированные фреймворки для инференса (CPM.cu и ArkInfer) помогли достичь высокой эффективности.
В итоге, MiniCPM4 по качеству не уступает большим моделям, но может работать на вашем устройстве.
Кто знает, может скоро GPT-4 будет работать прямо на вашем холодильнике!
Статья
PlayerOne: станьте свободным авантюристом в виртуальном мире!
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Мечтали ли вы свободно исследовать виртуальный мир, как реальный? "PlayerOne" делает это возможным! Теперь вы — активный участник, а не просто наблюдатель.
PlayerOne использует реальные движения человека, захваченные камерой, чтобы вы могли управлять аватаром в виртуальном мире без ограничений, в отличие от прежних методов с предопределёнными действиями. Сцена остаётся согласованной, а баланс качества и производительности соблюдён.
Основные особенности:
- Раздельный контроль частей тела (голова, руки, ноги) для точного взаимодействия.
- Совместная реконструкция сцены и кадров для непрерывной и согласованной генерации.
Авторы также разработали автоматизированный конвейер для создания датасета пар "движение-видео", что позволило обучить модель при нехватке данных.
PlayerOne — большой шаг вперёд в моделировании динамичных миров, приближая виртуальную реальность к настоящей!
Статья
Seedance 1.0: Двуязычная генерация видео от ByteDance
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
ByteDance представили Seedance 1.0 — двуязычную модель генерации видео по текстовым или визуальным подсказкам на китайском и английском языках. Модель объединяет задачи T2V и I2V в одной архитектуре, обеспечивая высокое качество видео, точное следование инструкциям и плавные движения.
Seedance 1.0 использует большие объемы данных с детальными видеокапшнами, эффективную архитектуру с раздельными пространственными и временными слоями, постобучение с помощью SFT и RLHF, а также ускоренный инференс через дистилляцию и оптимизацию.
Модель поддерживает мультишотовую генерацию, создавая видеоролики с плавными переходами и разными стилями, открывая новые возможности для сложных видео-сценариев.
Seedance 1.0 планируют интегрировать в платформы Doubao и Jimeng в июне 2025 года. Похоже, будущее генерации видео по тексту уже близко!
Статья
**Как научить LLM реальной разработке? SWE-Flow на основе TDD**
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Большие языковые модели хорошо справляются с кодом, но в реальной разработке сталкиваются с трудностями: сложные зависимости, поэтапные изменения, работа с многими файлами. Авторы представили SWE-Flow — подход, синтезирующий данные для обучения LLM на основе Test-Driven Development (TDD).
SWE-Flow автоматически извлекает процесс разработки из юнит-тестов, создавая качественные тренировочные примеры без ручной разметки. Это позволяет обучить модели решать реальные задачи разработки.
Авторы также представили SWE-Flow-Bench — бенчмарк для оценки LLM в TDD-сценариях. Обучив модель на таких данных, они значительно улучшили её способности в реальной разработке.
Коды и модели выложены в открытый доступ, что способствует развитию сообщества и созданию более продвинутых инструментов для разработчиков.
Статья
Можно ли научить LLM лучше думать по медицине? Соберём армию нейросетей и создадим ReasonMed!
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Исследователи заметили, что большие языковые модели плохо справляются с медицинскими задачами из-за нехватки качественных данных. Их решение — создать ReasonMed, датасет из 370 тысяч проверенных медицинских вопросов с многошаговыми рассуждениями. Для этого они объединили несколько мощных LLM в мультиагентную систему и сгенерировали 1,75 миллиона цепочек размышлений.
После строгой валидации они сравнили разные подходы к обучению: Chain-of-Thought, краткие ответы и гибридный метод. Гибридный подход, сочетающий подробные рассуждения с их кратким резюме, показал наилучшие результаты.
Модель ReasonMed-7B превзошла все модели того же размера и даже некоторые более крупные на медицинских задачах. Похоже, чтобы LLM стали отличными врачами, нужно дать им больше хороших примеров и команду "коллег" для поддержки.
Статья
Может ли диффузионная модель научиться восстанавливать текст на изображениях?
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
Современные модели восстановления изображений хорошо справляются с различными искажениями, но текст на картинках они обрабатывают плохо: надписи размываются или превращаются в бессмысленные символы. Это проблема для распознавания документов, дорожных знаков и AR-навигации.
В новой статье представлена задача Text-Aware Image Restoration (TAIR). Авторы создали датасет SA-Text с аннотациями текста и разработали модель TeReDiff, объединяющую диффузионную модель с модулем распознавания текста. Модель использует функции диффузии для улучшения распознавания, а результаты распознавания помогают восстановлению изображения.
Этот подход позволяет гораздо лучше восстанавливать текстовые области, сохраняя общее качество изображения, что важно для приложений с текстовой информацией на изображениях.
Статья
ReasonMed: Мультиагентные LLM объединились для медицинского прорыва
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья
Вы знали, что большие языковые модели отлично справляются с математикой и программированием, но в медицине всё ещё отстают? Проблема — нехватка качественных данных. В новой статье представили ReasonMed — крупнейший открытый датасет на 370 тысяч примеров медицинских рассуждений.
Как они этого добились? Собрали 195 тысяч вопросов из бенчмарков и привлекли три мощные LLM (Qwen-2.5-72B, HuatuoGPT-o1-70B, DeepSeek-R1-Distill-Llama-70B), чтобы сгенерировать 1,75 млн вариантов рассуждений. Затем тщательно отфильтровали данные с помощью GPT-4o-mini.
В итоге обучили ReasonMed-7B, которая превзошла все модели до 10B параметров в медицинском QA и даже обошла некоторые более крупные модели. Это показывает, как объединение данных от разных LLM и качественная фильтрация улучшают результаты.
Теперь медицинские LLM могут догнать своих коллег в других областях!
Статья