Давайте исследуем мир с помощью видеодатасета SEKAI и модели YUME
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
Вы когда-нибудь хотели прогуляться по улицам Токио или полетать на дроне над Альпами, не выходя из дома? Теперь это возможно благодаря новому видеодатасету SEKAI (せかい — «мир» по-японски). Исследователи собрали более 5000 часов видео прогулок и полетов из 101 страны и 750 городов с детальными аннотациями: местоположение, погода, время суток, плотность людей и траектории камеры.
Предыдущие датасеты для генерации видео были ограничены короткими роликами и скудными метками. SEKAI решает эти проблемы, предоставляя богатый материал для обучения моделей, способных создавать реалистичные миры для интерактивного исследования.
Авторы также представили модель YUME (ゆめ — «мечта»), позволяющую виртуально перемещаться по этим мирам, управляя камерой как в игре. Это шаг к созданию захватывающих виртуальных миров для исследований и приключений.
Статья
GURU: RL учит LLM рассуждать не только в математике
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
Большинство исследований по улучшению рассуждений в LLM с помощью RL фокусируется на математике и коде. Но что с другими областями? Представляем GURU — датасет для обучения RL на шести разных доменах: математика, код, наука, логика, симуляция и таблицы. Авторы показали, что привычные выводы о RL не всегда верны в других областях. Например, в знакомых доменах RL помогает извлечь существующие знания, а в новых — реально обучает модель новым навыкам. Их модели GURU-7B и GURU-32B превзошли другие открытые модели по задачам общего рассуждения.
Важно, что RL в одном домене не всегда переносится на другие. В незнакомых областях нужно обучать модель на данных из этих же областей. Вывод: если хотим универсальные LLM, нужно обучать их на разнообразных данных с помощью RL.
P.S. Код, модели и датасет доступны по ссылке: https://github.com/LLM360/Reasoning360
Статья
GURU: Прорыв в усиленном обучении LLM для общих рассуждений
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Обычно усиленное обучение (RL) для больших языковых моделей (LLM) применяют в областях математики и кода. Но что, если мы хотим научить модель рассуждать в более широком спектре задач? Авторы новой статьи представляют GURU — тщательно подобранный датасет из шести разнообразных областей: математика, код, наука, логика, симуляции и работа с таблицами.
Они обнаружили, что применение RL в разных доменах даёт различные результаты. Там, где модель уже "знает" область (математика, код), RL помогает извлечь эти знания. В новых областях (логика, симуляции) RL действительно учит модель новым навыкам.
В итоге они создали модели GURU-7B и GURU-32B, которые превосходят существующие открытые модели в общем рассуждении. Это важный шаг к созданию LLM с универсальными способностями к рассуждению, а не только в узких областях. Код и датасет доступны на GitHub для сообщества.
Статья
Show-O2: Универсальная мультимодальная модель для текста, изображений и видео
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Возможно ли создать единую модель, понимающую и генерирующую текст, изображения и видео? Да! Новая статья представляет улучшенную унифицированную мультимодальную модель Show-O2 с такими возможностями.
Ключевой подход – использование 3D causal VAE, обрабатывающего изображения и видео в едином пространстве. Авторы создали унифицированные визуальные представления, объединяющие семантические и низкоуровневые признаки через механизм двойного пути пространственно-временного объединения.
Модель превосходит существующие методы по большинству метрик без необходимости в огромных текстовых корпусах для обучения.
Мы приближаемся к созданию действительно универсальных моделей, способных интегрировать все виды данных.
Статья
Скоро голосовые ассистенты научатся распознавать 40 эмоций! (by Intel)
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
**Как обучить LLM без обучения? Drag-and-Drop LLMs!**
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
VIKI-Bench: учим роботов сотрудничать как в «Я, робот»
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
RAG на новом уровне: мультимодальная нарезка документов (by Google)
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
OmniGen2: генерируем всё и сразу в одной модели
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Phantom-Data: избавляемся от эффекта копипаста в генерации видео
Вы когда-нибудь замечали, что при генерации видео по тексту модели часто "копируют-вставляют" не только главный объект, но и фон, позу и всё остальное? Это называется проблемой копипаста, и она мешает моделям точно следовать текстовым подсказкам, создавая видео с артефактами и отклонениями от желаемого содержания.
В новой работе авторы представили Phantom-Data — огромный датасет для решения этой проблемы. Они разработали трёхэтапный процесс, включающий обнаружение субъекта, поиск изображений в разных контекстах и проверку идентичности. Это помогает моделям учиться сохранять идентичность субъекта, не зацикливаясь на конкретном фоне или позе.
Эксперименты показали, что использование Phantom-Data значительно улучшает качество и соответствие сгенерированных видео текстовым инструкциям.
Это важный шаг вперёд в области генерации видео по тексту, приближая нас к более точным и креативным видеомоделям.
Статья
Вы когда-нибудь замечали, что при генерации видео по тексту модели часто "копируют-вставляют" не только главный объект, но и фон, позу и всё остальное? Это называется проблемой копипаста, и она мешает моделям точно следовать текстовым подсказкам, создавая видео с артефактами и отклонениями от желаемого содержания.
В новой работе авторы представили Phantom-Data — огромный датасет для решения этой проблемы. Они разработали трёхэтапный процесс, включающий обнаружение субъекта, поиск изображений в разных контекстах и проверку идентичности. Это помогает моделям учиться сохранять идентичность субъекта, не зацикливаясь на конкретном фоне или позе.
Эксперименты показали, что использование Phantom-Data значительно улучшает качество и соответствие сгенерированных видео текстовым инструкциям.
Это важный шаг вперёд в области генерации видео по тексту, приближая нас к более точным и креативным видеомоделям.
Статья
Как научить мультимодальные LLM логично рассуждать? Встречайте GRPO-CARE и SEED-Bench-R1!
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Анимация любых 3D-моделей без ограничений скелетов? Легко с AnimaX!
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
**ScaleCap: генерация высококачественных детализированных подписей к изображениям**
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
Лучшие фичи в нейросети прячутся внутри, а не на выходе
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
TTRL: модель сама себе учитель во время инференса (by Tsinghua / Shanghai AI Lab)
Что если модель могла бы улучшаться прямо во время теста — без единого лейбла?
TTRL делает именно это. Идея проста: на тестовых данных модель генерирует N ответов, берёт majority voting как псевдо-лейбл, и запускает RL прямо на этом сигнале. Никакой разметки, никакого учителя — только самосогласованность.
Результат: Qwen2.5-Math-7B на AIME 2024 вырос с 12.9 до 40.2 — это +211%. В среднем по бенчмаркам (AIME, AMC, MATH-500, GPQA) — +76%.
Самое интересное: модель умудряется превзойти свой же majority voting потолок (maj@n), от которого строился reward. То есть сигнал был слабее финального результата.
Метод работает на моделях разных семейств (Qwen, LLaMA, Mistral, DeepSeek) и разных размеров. Связано с Test-Time Training (TTT) и идеями self-play из RL.
Источник
Что если модель могла бы улучшаться прямо во время теста — без единого лейбла?
TTRL делает именно это. Идея проста: на тестовых данных модель генерирует N ответов, берёт majority voting как псевдо-лейбл, и запускает RL прямо на этом сигнале. Никакой разметки, никакого учителя — только самосогласованность.
Результат: Qwen2.5-Math-7B на AIME 2024 вырос с 12.9 до 40.2 — это +211%. В среднем по бенчмаркам (AIME, AMC, MATH-500, GPQA) — +76%.
Самое интересное: модель умудряется превзойти свой же majority voting потолок (maj@n), от которого строился reward. То есть сигнал был слабее финального результата.
Метод работает на моделях разных семейств (Qwen, LLaMA, Mistral, DeepSeek) и разных размеров. Связано с Test-Time Training (TTT) и идеями self-play из RL.
Источник
DeepSeek учит модели правильно себя оценивать — и это масштабируется (by DeepSeek)
Reward modeling — ахиллесова пята RL для LLM. Обычные скалярные reward models выдают одно число и не умеют масштабироваться на инференсе: сколько раз ни сэмплируй, получишь то же самое.
DeepSeek предлагает SPCT (Self-Principled Critique Tuning): обучаем модель сначала генерировать принципы оценки, потом критику, и только потом — награду. Это generative reward model, которую можно сэмплировать много раз и голосовать за финальный ответ.
Фишка: разные сэмплы дают разные принципы и разные критики — настоящее разнообразие! Сверху добавляют meta RM, которая агрегирует результаты умнее простого голосования.
Итог: DeepSeek-GRM-27B при масштабировании инференса обходит модели размером до 671B. То есть inference-time scaling бьёт увеличение размера модели при обучении.
Источник
Reward modeling — ахиллесова пята RL для LLM. Обычные скалярные reward models выдают одно число и не умеют масштабироваться на инференсе: сколько раз ни сэмплируй, получишь то же самое.
DeepSeek предлагает SPCT (Self-Principled Critique Tuning): обучаем модель сначала генерировать принципы оценки, потом критику, и только потом — награду. Это generative reward model, которую можно сэмплировать много раз и голосовать за финальный ответ.
Фишка: разные сэмплы дают разные принципы и разные критики — настоящее разнообразие! Сверху добавляют meta RM, которая агрегирует результаты умнее простого голосования.
Итог: DeepSeek-GRM-27B при масштабировании инференса обходит модели размером до 671B. То есть inference-time scaling бьёт увеличение размера модели при обучении.
Источник
Reasoning-модели думают зря? (by UC Berkeley, Allen Institute for AI)
Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.
Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.
Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.
Источник
Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.
Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.
Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.
Источник
Google Gemini теперь умеет создавать музыку
В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.
Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.
Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.
Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.
Источник
В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.
Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.
Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.
Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.
Источник
Google
A new way to express yourself: Gemini can now create music
Lyria 3 is now available in the Gemini app. Create custom, high-quality 30-second tracks from text and images.
Лучшие фичи ViT прячутся в середине сети, а не на выходе
Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.
Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)
Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.
Код, веса и датасет из 1M видео открыты.
Источник
Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.
Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)
Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.
Код, веса и датасет из 1M видео открыты.
Источник
TTRL: модель учится на тестовых данных без единого лейбла (by Tsinghua / Shanghai AI Lab)
Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.
Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.
Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.
Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.
Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.
Источник
Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.
Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.
Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.
Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.
Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.
Источник
DeepSeek научил reward model думать перед тем, как выставить оценку (by DeepSeek)
Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.
Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.
Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.
Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.
Источник
Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.
Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.
Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.
Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.
Источник