Скоро голосовые ассистенты научатся распознавать 40 эмоций! (by Intel)
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
Машины уже научились синтезировать голос с невероятной точностью, но распознавание тонких эмоций в речи до сих пор оставалось вызовом. Исследователи из Intel и DFKI представили два новых синтетических датасета — EMONET-VOICE BIG и EMONET-VOICE BENCH. Они содержат более 4 500 часов речи на четырёх языках и охватывают 40 различных эмоциональных состояний!
На основе этих данных они разработали модели EMPATHIC INSIGHT-VOICE, которые устанавливают новый стандарт в распознавании эмоций в речи. Теперь ИИ сможет различать не только базовые эмоции, но и более сложные, такие как смущение, зависть или гордость. Это большой шаг к улучшению взаимодействия человека и машины.
Похоже, эмоционально интеллигентные ИИ уже не за горами!
Статья
**Как обучить LLM без обучения? Drag-and-Drop LLMs!**
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
Большие языковые модели мощны, но их дообучение требует времени и ресурсов даже с LoRA. А что, если адаптировать LLM к новой задаче за секунды без градиентного спуска?
Статья «Drag-and-Drop LLMs» предлагает радикальный подход: генерировать адаптеры LoRA напрямую из промптов задачи! Авторы используют гиперсеть, состоящую из текстового энкодера и гиперконволюционного декодера, которая по батчу промптов выдает готовые веса адаптера.
Результат впечатляет: адаптация происходит до 12 000 раз быстрее, а качество даже превосходит обычное дообучение LoRA. Это стало возможно благодаря рассмотрению весов модели как данных, генерируемых по запросу.
Такой подход открывает новые горизонты в адаптации LLM и может значительно ускорить их применение в различных областях.
Статья
VIKI-Bench: учим роботов сотрудничать как в «Я, робот»
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
Помните суперкомпьютер VIKI из фильма «Я, робот»? Авторы новой статьи представили VIKI-Bench — первый бенчмарк для оценки способности визуально-языковых моделей координировать гетерогенные мультиагентные системы в сложных 3D средах.
VIKI-Bench предлагает три уровня задач: активация агентов, планирование задач и восприятие траекторий. Авторы разработали VIKI-R — фреймворк на основе VLM, улучшающий визуальное рассуждение с помощью обучения с подкреплением.
VIKI-R значительно превосходит базовые методы на всех уровнях задач. Это важный шаг к созданию систем, где роботы с разными возможностями эффективно сотрудничают, опираясь на визуальную информацию.
Работа перекликается с исследованиями по использованию языковых моделей для многороботного планирования, но с акцентом на визуальное восприятие. Мы становимся ближе к сценарию, где роботы совместно решают сложные задачи в реальном мире.
Статья
RAG на новом уровне: мультимодальная нарезка документов (by Google)
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
Большие языковые модели совершенствуются благодаря мультимодальным подходам к обработке документов. Исследователи предложили улучшить системы RAG с помощью мультимодальной нарезки документов. Традиционные методы разделения текста часто упускают важную информацию из таблиц, диаграмм и сложной структуры PDF.
Авторы используют крупные мультимодальные модели (LMM), например Gemini-2.5-Pro, для обработки PDF пакетами по нескольку страниц, сохраняя контекст и структуру. Этот подход позволяет лучше понимать документы со сложной версткой, сохраняя семантическую целостность и улучшая поиск.
В результате системы RAG демонстрируют более высокую точность и качество ответов, особенно на документах с богатым мультимедийным содержанием.
Это направление открывает новые возможности для обработки технических мануалов, финансовых отчетов и исследовательских статей.
Статья
OmniGen2: генерируем всё и сразу в одной модели
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Задумывались, как объединить все задачи генерации изображений в одной модели? Представляем OmniGen2 — открытую модель, которая умеет всё: от генерации по тексту до редактирования и контекстной генерации.
В отличие от предшественника, OmniGen2 использует разные архитектуры для авторегрессии и диффузии, эффективно справляясь с разными задачами без потери качества.
Модель использует замороженную мультимодальную языковую модель для понимания и генерации текста, сохраняя её способности. Для обработки изображений применяется VAE для низкоуровневой визуальной информации.
Авторы также представили новые датасеты и бенчмарк OmniContext для оценки моделей в контекстной генерации. OmniGen2 показывает отличные результаты во всех областях, оставаясь компактной и эффективной.
В целом, OmniGen2 — шаг вперёд к универсальной и мощной модели для всех задач генерации изображений.
Статья
Phantom-Data: избавляемся от эффекта копипаста в генерации видео
Вы когда-нибудь замечали, что при генерации видео по тексту модели часто "копируют-вставляют" не только главный объект, но и фон, позу и всё остальное? Это называется проблемой копипаста, и она мешает моделям точно следовать текстовым подсказкам, создавая видео с артефактами и отклонениями от желаемого содержания.
В новой работе авторы представили Phantom-Data — огромный датасет для решения этой проблемы. Они разработали трёхэтапный процесс, включающий обнаружение субъекта, поиск изображений в разных контекстах и проверку идентичности. Это помогает моделям учиться сохранять идентичность субъекта, не зацикливаясь на конкретном фоне или позе.
Эксперименты показали, что использование Phantom-Data значительно улучшает качество и соответствие сгенерированных видео текстовым инструкциям.
Это важный шаг вперёд в области генерации видео по тексту, приближая нас к более точным и креативным видеомоделям.
Статья
Вы когда-нибудь замечали, что при генерации видео по тексту модели часто "копируют-вставляют" не только главный объект, но и фон, позу и всё остальное? Это называется проблемой копипаста, и она мешает моделям точно следовать текстовым подсказкам, создавая видео с артефактами и отклонениями от желаемого содержания.
В новой работе авторы представили Phantom-Data — огромный датасет для решения этой проблемы. Они разработали трёхэтапный процесс, включающий обнаружение субъекта, поиск изображений в разных контекстах и проверку идентичности. Это помогает моделям учиться сохранять идентичность субъекта, не зацикливаясь на конкретном фоне или позе.
Эксперименты показали, что использование Phantom-Data значительно улучшает качество и соответствие сгенерированных видео текстовым инструкциям.
Это важный шаг вперёд в области генерации видео по тексту, приближая нас к более точным и креативным видеомоделям.
Статья
Как научить мультимодальные LLM логично рассуждать? Встречайте GRPO-CARE и SEED-Bench-R1!
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Мультимодальные большие языковые модели (MLLM) умеют обрабатывать текст, изображения, видео, но вот с логичностью рассуждений у них проблемы. Обычно их дообучают при помощи RL, фокусируясь на правильном ответе, но цепочки рассуждений при этом страдают.
Авторы свежей статьи предложили новый фреймворк GRPO-CARE, который улучшает логическую связность рассуждений MLLM без явного процессного надзора. Они также представили новый бенчмарк SEED-Bench-R1 для оценки таких моделей, учитывающий баланс между восприятием и логикой.
В экспериментах GRPO-CARE существенно превзошёл стандартные методы RL, улучшив как точность ответов, так и связность рассуждений, особенно в задачах с переносом знаний на новые домены.
Похоже, что теперь мультимодальные модели будут не только давать правильные ответы, но и логично обосновывать их!
Статья
Анимация любых 3D-моделей без ограничений скелетов? Легко с AnimaX!
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
Вы хотели бы оживить свою 3D-модель, но мешают несовместимые скелеты или сложность методов? Новая работа "AnimaX" предлагает элегантное решение.
AnimaX — система, позволяющая анимировать любые 3D-меши с произвольным скелетом, объединяя диффузионные модели видео и поз. Вместо ограничений фиксированной структурой или долгой оптимизации, AnimaX эффективно переносит методы видео-диффузии в 3D-анимацию.
Авторы представляют движение в виде мультивидовых 2D-карт поз и обучают совместную диффузионную модель, позволяющую генерировать движения на основе текстовых описаний и шаблонов. Это делает процесс анимации быстрым и универсальным.
Ранее методы, такие как MotionDiffuse или Generate3D, были ограничены конкретными скелетами или требовали больших вычислительных ресурсов. AnimaX преодолевает эти барьеры и открывает новые горизонты в 3D-анимации.
Теперь оживить вашу 3D-модель проще простого!
Статья
**ScaleCap: генерация высококачественных детализированных подписей к изображениям**
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
В эпоху больших визуально-языковых моделей качество пар "изображение-текст" критически важно для обучения. Детальные описания улучшают понимание нюансов изображений.
Получение таких описаний традиционными способами для миллионов изображений непомерно дорого.
Авторы представляют ScaleCap — масштабируемый метод создания детализированных подписей с использованием открытых LVLM. Даже небольшие модели способны генерировать подробные описания при правильном подходе.
ScaleCap использует двухэтапный процесс: эвристические вопросы направляют модель на выявление деталей, а контрастная оценка фильтрует ошибки.
Результат — точные описания для обучения LVLM без серьезных затрат. Тесты подтвердили превосходные результаты моделей, обученных на таких данных.
Это упрощает обучение больших моделей с использованием доступных ресурсов.
Статья
Лучшие фичи в нейросети прячутся внутри, а не на выходе
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
Авторы из UT Austin и Fudan University обнаружили странную вещь: если обучить огромный vision encoder только на контрастивном лоссе (как CLIP), то внутри него на разных слоях живут отличные фичи для совершенно разных задач — OCR, VQA, детекции, оценки глубины, трекинга. Проблема одна: они спрятаны в промежуточных слоях, а не на выходе сети.
Решение — alignment tuning: дообучить модель так, чтобы нужные фичи "всплыли" на последний слой. В итоге получилось семейство Perception Encoder (PE): одна и та же предобученная модель, но с разными головами — PElang для мультимодальных LLM и PEspatial для пространственных задач.
Результат: PE бьёт SigLIP2 на image/video zero-shot, конкурирует с AIMv2 и DINOv2 на их родных задачах, и ставит новый SOTA на COCO detection с более простым декодером. Всё это — из одного простого contrastive pretraining без captioning loss и self-supervised spatial лоссов.
Источник
TTRL: модель сама себе учитель во время инференса (by Tsinghua / Shanghai AI Lab)
Что если модель могла бы улучшаться прямо во время теста — без единого лейбла?
TTRL делает именно это. Идея проста: на тестовых данных модель генерирует N ответов, берёт majority voting как псевдо-лейбл, и запускает RL прямо на этом сигнале. Никакой разметки, никакого учителя — только самосогласованность.
Результат: Qwen2.5-Math-7B на AIME 2024 вырос с 12.9 до 40.2 — это +211%. В среднем по бенчмаркам (AIME, AMC, MATH-500, GPQA) — +76%.
Самое интересное: модель умудряется превзойти свой же majority voting потолок (maj@n), от которого строился reward. То есть сигнал был слабее финального результата.
Метод работает на моделях разных семейств (Qwen, LLaMA, Mistral, DeepSeek) и разных размеров. Связано с Test-Time Training (TTT) и идеями self-play из RL.
Источник
Что если модель могла бы улучшаться прямо во время теста — без единого лейбла?
TTRL делает именно это. Идея проста: на тестовых данных модель генерирует N ответов, берёт majority voting как псевдо-лейбл, и запускает RL прямо на этом сигнале. Никакой разметки, никакого учителя — только самосогласованность.
Результат: Qwen2.5-Math-7B на AIME 2024 вырос с 12.9 до 40.2 — это +211%. В среднем по бенчмаркам (AIME, AMC, MATH-500, GPQA) — +76%.
Самое интересное: модель умудряется превзойти свой же majority voting потолок (maj@n), от которого строился reward. То есть сигнал был слабее финального результата.
Метод работает на моделях разных семейств (Qwen, LLaMA, Mistral, DeepSeek) и разных размеров. Связано с Test-Time Training (TTT) и идеями self-play из RL.
Источник
DeepSeek учит модели правильно себя оценивать — и это масштабируется (by DeepSeek)
Reward modeling — ахиллесова пята RL для LLM. Обычные скалярные reward models выдают одно число и не умеют масштабироваться на инференсе: сколько раз ни сэмплируй, получишь то же самое.
DeepSeek предлагает SPCT (Self-Principled Critique Tuning): обучаем модель сначала генерировать принципы оценки, потом критику, и только потом — награду. Это generative reward model, которую можно сэмплировать много раз и голосовать за финальный ответ.
Фишка: разные сэмплы дают разные принципы и разные критики — настоящее разнообразие! Сверху добавляют meta RM, которая агрегирует результаты умнее простого голосования.
Итог: DeepSeek-GRM-27B при масштабировании инференса обходит модели размером до 671B. То есть inference-time scaling бьёт увеличение размера модели при обучении.
Источник
Reward modeling — ахиллесова пята RL для LLM. Обычные скалярные reward models выдают одно число и не умеют масштабироваться на инференсе: сколько раз ни сэмплируй, получишь то же самое.
DeepSeek предлагает SPCT (Self-Principled Critique Tuning): обучаем модель сначала генерировать принципы оценки, потом критику, и только потом — награду. Это generative reward model, которую можно сэмплировать много раз и голосовать за финальный ответ.
Фишка: разные сэмплы дают разные принципы и разные критики — настоящее разнообразие! Сверху добавляют meta RM, которая агрегирует результаты умнее простого голосования.
Итог: DeepSeek-GRM-27B при масштабировании инференса обходит модели размером до 671B. То есть inference-time scaling бьёт увеличение размера модели при обучении.
Источник
Reasoning-модели думают зря? (by UC Berkeley, Allen Institute for AI)
Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.
Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.
Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.
Источник
Оказывается, длинные цепочки рассуждений в стиле DeepSeek-R1 и o1 — не обязательны для хорошего результата. Авторы придумали трюк под названием NoThinking: просто подставляют в блок размышлений фразу "Okay, I think I have finished thinking." — и модель сразу выдаёт ответ, пропуская весь процесс думания.
Результат: NoThinking использует в 2–5 раз меньше токенов и при этом либо не уступает обычному Thinking, либо превосходит его — особенно при параллельном семплировании (best-of-N). На OlympiadBench удалось получить в 9 раз меньшую задержку при лучшей точности.
Вывод: модели, натренированные думать вслух, уже умеют решать задачи без явного рассуждения. Мы просто платили за "поток сознания", который был не нужен.
Источник
Google Gemini теперь умеет создавать музыку
В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.
Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.
Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.
Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.
Источник
В приложении Gemini появилась генерация музыки на базе модели Lyria 3 от Google DeepMind. Достаточно описать идею текстом или загрузить фото — и через несколько секунд получишь 30-секундный трек с вокалом, обложкой и нужным настроением.
Что важно: не нужно придумывать текст песни самому — слова генерируются автоматически. Можно задать жанр, темп, стиль вокала. Модель делает треки заметно реалистичнее предыдущих версий Lyria.
Все треки помечаются невидимым водяным знаком SynthID, а сам Gemini теперь умеет проверять аудиофайлы на предмет AI-генерации.
Доступно для пользователей 18+ на 8 языках, включая русский... нет, пока без него — английский, немецкий, испанский, французский, хинди, японский, корейский и португальский. Подписчики платных планов получат повышенные лимиты.
Источник
Google
A new way to express yourself: Gemini can now create music
Lyria 3 is now available in the Gemini app. Create custom, high-quality 30-second tracks from text and images.
Лучшие фичи ViT прячутся в середине сети, а не на выходе
Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.
Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)
Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.
Код, веса и датасет из 1M видео открыты.
Источник
Авторы обнаружили странную вещь: если обучить большую vision-модель только на контрастивном лоссе (как CLIP), внутри неё спонтанно появляются фичи для OCR, VQA, детекции, depth estimation и трекинга — но в разных слоях! На выходе сети их нет.
Решение: alignment tuning — дообучение, которое "вытаскивает" нужные фичи на выход сети. В итоге получились три чекпоинта:
PE Core — лучший энкодер для классификации и ретривла (бьёт SigLIP2 и InternVideo2)
PE Lang — для мультимодальных LLM задач (бьёт AIMv2)
PE Spatial — для детекции, depth, трекинга (новый SOTA на COCO detection)
Главный вывод: не нужно городить зоопарк из contrastive + captioning + self-supervised лоссов. Один хорошо настроенный CLIP-like пайплайн + alignment tuning закрывает всё.
Код, веса и датасет из 1M видео открыты.
Источник
TTRL: модель учится на тестовых данных без единого лейбла (by Tsinghua / Shanghai AI Lab)
Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.
Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.
Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.
Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.
Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.
Источник
Что если модель может улучшаться прямо во время инференса, не имея правильных ответов? TTRL делает именно это: берёт тестовые данные, генерирует N ответов, выбирает мажоритарный голос как псевдо-лейбл и запускает RL прямо на этом сигнале.
Никаких размеченных данных. Никакого человека в петле. Просто: сгенерируй много ответов → возьми большинство как "правду" → обнови веса.
Результат на Qwen2.5-Math-7B: AIME 2024 вырос с 12.9 до 40.2 — это +211%. Средний прирост по 4 бенчмаркам — +76%.
Ключевой инсайт: мажоритарный голос оказался достаточно надёжным сигналом для стабильного RL, а модель умудряется превзойти свой же потолок maj@n. Работает на моделях разных семейств: Qwen, LLaMA, Mistral, DeepSeek.
Связано с Test-Time Training (TTT) и DeepSeek-R1, но принципиально новое — RL без лейблов в продакшне.
Источник
DeepSeek научил reward model думать перед тем, как выставить оценку (by DeepSeek)
Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.
Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.
Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.
Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.
Источник
Reward modeling — больное место RLHF. Скалярные reward model'и дают одно число и всё, никакого разнообразия при сэмплинге. Авторы из Tsinghua и DeepSeek предложили другой путь: пусть reward model сначала генерирует принципы оценки, потом критику, и только потом — reward.
Метод называется SPCT (Self-Principled Critique Tuning). Обучают через rule-based online RL: модель учится адаптивно придумывать принципы под конкретный запрос, а не использовать фиксированные критерии.
Фишка в inference-time scaling: сэмплируем несколько наборов принципов + критик параллельно, голосуем за финальный reward. Чем больше сэмплов — тем точнее оценка. Дополнительно обучили meta RM, который агрегирует результаты лучше простого голосования.
Итог: DeepSeek-GRM-27B при k=32 сэмплах обходит GPT-4o и Nemotron-4-340B-Reward. Inference scaling бьёт scaling по размеру модели.
Источник
Reasoning-модели умеют думать — но обязаны ли они это делать? (by UC Berkeley, AI2)
Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.
Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.
Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.
Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.
Источник
Оказывается, нет. Авторы взяли DeepSeek-R1-Distill и просто... подделали блок размышлений. Вместо длинной цепочки мыслей модель видит: "Okay, I think I have finished thinking." — и сразу пишет ответ.
Называется это NoThinking. Никакого дообучения, никаких новых весов — просто промпт.
Результат шокирует: NoThinking использует в 2–5 раз меньше токенов, при этом на многих бенчмарках (AIME, OlympiadBench, теормдоказательства) либо не уступает обычному Thinking, либо обгоняет его при параллельном семплировании (best-of-N). Латентность — до 9 раз ниже.
Главный вывод: длинные цепочки размышлений — не обязательное условие умных ответов. Возможно, модель "думает" не в явном тексте, а в скрытых представлениях. Или просто тратит токены впустую.
Источник
Демис Хассабис посетил Индийский институт науки в Бангалоре, где пообщался с местными учёными об ИИ в науке. Его впечатлил энтузиазм молодёжи в Индии по отношению к ИИ. Отдельно отметил статую Рамануджана — легендарного математика-самоучки, которого Хассабис называет одним из своих главных героев. Символично: основатель DeepMind вдохновляется гением, который когда-то перевернул математику без формального образования.
Источник
Источник
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Thanks for hosting me @iiscbangalore! Really enjoyed talking with Prof. Rangarajan & Varun Mayya @waitin4agi_ about AI for Science. Impressed by the energy and enthusiasm for AI in India, especially from the young. Great to see the statue of Ramanujan, one…
Как научить LLM думать пошагово без правильных ответов? (by Google DeepMind, Stanford)
SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).
Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.
Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!
Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.
Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.
https://arxiv.org/abs/2504.04736
SWiRL — новый подход к обучению языковых моделей многошаговому рассуждению с инструментами (поиск, калькулятор).
Идея проста: генерируем синтетические траектории, где модель сама решает — вызвать инструмент или дать ответ. Каждую траекторию из K шагов разбиваем на K подтраекторий и обучаем модель пошагово, оценивая каждый шаг отдельно.
Главный сюрприз: лучшие результаты дают траектории, отфильтрованные по качеству шагов (process filtering), а НЕ по правильности финального ответа. То есть модель учится рассуждать даже из "неправильных" траекторий!
Ещё один бонус — кросс-задачная генерализация: обучение только на вопросах HotPotQA улучшает математику (GSM8K) на 16.9%, и наоборот.
Всё это работает уже с 1000 траекторий и без единой человеческой аннотации.
https://arxiv.org/abs/2504.04736
ReTool: учим LLM стратегически использовать код-интерпретатор через RL (by ByteDance)
Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?
Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.
Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.
Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.
https://arxiv.org/abs/2504.11536
Текстовые цепочки рассуждений плохо считают. Код считает точно. Почему бы не научить модель самой решать — когда думать текстом, а когда запускать код?
Именно это делает ReTool: модель в процессе рассуждения может писать код, отправлять его в sandbox и использовать результат для следующего шага. Всё это обучается через PPO с простым бинарным reward — правильный ответ или нет.
Результаты на AIME2024: 67% против 40% у текстового RL-бейзлайна, причём за меньшее число шагов обучения. Плюс ответы стали короче на 40% — модель научилась делегировать вычисления коду вместо многословных рассуждений.
Интересный эмёрджентный эффект: модель сама научилась исправлять ошибки в коде и выбирать момент вызова инструмента пораньше в цепочке рассуждений.
https://arxiv.org/abs/2504.11536