Voxtral TTS от Mistral: гибридная архитектура против ElevenLabs (by Mistral AI)
Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.
Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.
Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.
Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.
https://arxiv.org/abs/2603.25551
Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.
Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.
Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.
Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.
https://arxiv.org/abs/2603.25551
Модели генерации изображений ломаются уже на 4-5 референсах — и вот почему
Хотите сгенерировать сцену с 7 персонажами из разных референсов? Даже лучшие open-source модели (Bagel, OmniGen2) начинают деградировать уже после 3-5 входных картинок. Причина банальная: нет данных для обучения.
Авторы из HKU создали MacroData — 400K сэмплов с до 10 референс-изображений на сэмпл (среднее 5.44). Датасет покрывает 4 задачи: кастомизация (несколько объектов в сцене), иллюстрация (к нарративному тексту), пространственная согласованность (novel view synthesis) и временная (предсказание кадров из видео).
Для оценки — бенчмарк MacroBench на 4000 сэмплов с LLM-as-Judge. Fine-tuning Bagel на MacroData дал существенный прирост и заметно сократил разрыв с закрытыми моделями.
Ключевой вывод: проблема была не в архитектуре, а в данных. Структурированный датасет с длинным контекстом — и модель начинает нормально работать с 10 референсами.
https://arxiv.org/abs/2603.25319
Хотите сгенерировать сцену с 7 персонажами из разных референсов? Даже лучшие open-source модели (Bagel, OmniGen2) начинают деградировать уже после 3-5 входных картинок. Причина банальная: нет данных для обучения.
Авторы из HKU создали MacroData — 400K сэмплов с до 10 референс-изображений на сэмпл (среднее 5.44). Датасет покрывает 4 задачи: кастомизация (несколько объектов в сцене), иллюстрация (к нарративному тексту), пространственная согласованность (novel view synthesis) и временная (предсказание кадров из видео).
Для оценки — бенчмарк MacroBench на 4000 сэмплов с LLM-as-Judge. Fine-tuning Bagel на MacroData дал существенный прирост и заметно сократил разрыв с закрытыми моделями.
Ключевой вывод: проблема была не в архитектуре, а в данных. Структурированный датасет с длинным контекстом — и модель начинает нормально работать с 10 референсами.
https://arxiv.org/abs/2603.25319
Код деградирует с каждой итерацией — и никто это не измерял
Большинство бенчмарков для coding-агентов проверяют: "напиши код по спецификации". Но что если спецификация меняется 5 раз подряд, и агент должен расширять свой же предыдущий код? Авторы из UW-Madison создали SlopCodeBench — 20 задач, 93 чекпоинта, где агент живёт с последствиями своих ранних архитектурных решений.
Два ключевых метрики: verbosity (рост кода без новой функциональности) и structural erosion (концентрация сложности в уже сложных функциях). Результат: erosion растёт в 80% траекторий, verbosity — в 89.8%. Код агентов в 2.2x более многословен, чем код людей, и разрыв увеличивается с каждой итерацией.
Ни один агент не решил задачу целиком. Максимальный solve rate — 17.2%. "Quality-aware" промпты снижают начальный слоп, но не замедляют деградацию.
https://arxiv.org/abs/2603.24755
Большинство бенчмарков для coding-агентов проверяют: "напиши код по спецификации". Но что если спецификация меняется 5 раз подряд, и агент должен расширять свой же предыдущий код? Авторы из UW-Madison создали SlopCodeBench — 20 задач, 93 чекпоинта, где агент живёт с последствиями своих ранних архитектурных решений.
Два ключевых метрики: verbosity (рост кода без новой функциональности) и structural erosion (концентрация сложности в уже сложных функциях). Результат: erosion растёт в 80% траекторий, verbosity — в 89.8%. Код агентов в 2.2x более многословен, чем код людей, и разрыв увеличивается с каждой итерацией.
Ни один агент не решил задачу целиком. Максимальный solve rate — 17.2%. "Quality-aware" промпты снижают начальный слоп, но не замедляют деградацию.
https://arxiv.org/abs/2603.24755
👍1
Apple ML представила LGTM — новый метод для генерации 3D-сцен в разрешении 4K.
Проблема существующих подходов на основе 3D Gaussian Splatting в том, что количество примитивов растёт квадратично с разрешением. На 4K это становится просто неподъёмным.
LGTM решает это элегантно: вместо тысяч гауссианов метод использует компактные примитивы с текстурами на каждом из них. Геометрическая сложность больше не зависит от разрешения рендеринга — они разделены.
Результат: высококачественный синтез новых ракурсов в 4K без оптимизации под каждую сцену отдельно. Раньше feed-forward методы на такое были неспособны.
Работа принята на ICLR 2026. Для разработчиков в AR/VR и 3D-графике это может стать важным шагом к реальному использованию нейронного рендеринга в высоком разрешении.
https://machinelearning.apple.com/research/less-gaussians-texture-more
Проблема существующих подходов на основе 3D Gaussian Splatting в том, что количество примитивов растёт квадратично с разрешением. На 4K это становится просто неподъёмным.
LGTM решает это элегантно: вместо тысяч гауссианов метод использует компактные примитивы с текстурами на каждом из них. Геометрическая сложность больше не зависит от разрешения рендеринга — они разделены.
Результат: высококачественный синтез новых ракурсов в 4K без оптимизации под каждую сцену отдельно. Раньше feed-forward методы на такое были неспособны.
Работа принята на ICLR 2026. Для разработчиков в AR/VR и 3D-графике это может стать важным шагом к реальному использованию нейронного рендеринга в высоком разрешении.
https://machinelearning.apple.com/research/less-gaussians-texture-more
Apple ML представила Athena — систему для генерации мобильных приложений с помощью LLM.
Проблема была в том, что создать полноценный UI через языковую модель крайне сложно: интерфейсы состоят из множества взаимосвязанных файлов — экраны, навигация, модель данных. Один большой промпт почти никогда не даёт нормального результата.
Athena решает это через промежуточные представления: сторибоард приложения, модель данных и скелеты экранов. Разработчик итеративно работает с LLM, уточняя детали на каждом этапе, а не пытается описать всё сразу. В итоге модель генерирует структурированный код в нескольких файлах с меньшим числом ошибок.
В пользовательском исследовании 75% участников предпочли Athena обычному чат-интерфейсу при прототипировании приложений.
Пока это прототип и академическая работа, но направление интересное — особенно на фоне общего тренда на AI-ассистентов для разработки.
https://machinelearning.apple.com/research/athena
Проблема была в том, что создать полноценный UI через языковую модель крайне сложно: интерфейсы состоят из множества взаимосвязанных файлов — экраны, навигация, модель данных. Один большой промпт почти никогда не даёт нормального результата.
Athena решает это через промежуточные представления: сторибоард приложения, модель данных и скелеты экранов. Разработчик итеративно работает с LLM, уточняя детали на каждом этапе, а не пытается описать всё сразу. В итоге модель генерирует структурированный код в нескольких файлах с меньшим числом ошибок.
В пользовательском исследовании 75% участников предпочли Athena обычному чат-интерфейсу при прототипировании приложений.
Пока это прототип и академическая работа, но направление интересное — особенно на фоне общего тренда на AI-ассистентов для разработки.
https://machinelearning.apple.com/research/athena
Apple Machine Learning Research
Athena: Intermediate Representations for Iterative Scaffolded App Generation with an LLM
It is challenging to generate the code for a complete user interface using a Large Language Model (LLM). User interfaces are complex and…
😁1
ShotStream: генерация многосцеников видео в реальном времени по стриминговым промптам
Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.
Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.
Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.
https://arxiv.org/abs/2603.25746
Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.
Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.
Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.
https://arxiv.org/abs/2603.25746
Обучил на 5 секундах — генерирует 2 минуты (by Shanda AI Research Tokyo)
Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.
PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности
Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.
Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).
https://arxiv.org/abs/2603.25730
Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.
PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности
Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.
Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).
https://arxiv.org/abs/2603.25730
Агенты учатся как эксперты, а не как новички
Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.
Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.
Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.
https://arxiv.org/abs/2603.25158
Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.
Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.
Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.
https://arxiv.org/abs/2603.25158
🤔1
Видеомодель «забывает» людей за кадром — и это проблема
Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.
Для решения предложены два вклада:
1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.
2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.
Идея простая и важная: мир не статичен, и память модели должна это учитывать.
https://arxiv.org/abs/2603.25716
Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.
Для решения предложены два вклада:
1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.
2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.
Идея простая и важная: мир не статичен, и память модели должна это учитывать.
https://arxiv.org/abs/2603.25716
Почему LLM-оптимизаторы не взлетают в продакшне? (by DeepMind)
Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?
DeepMind разобрали три скрытые проблемы learning loop:
1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.
2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.
3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.
Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.
https://arxiv.org/abs/2603.23994
Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?
DeepMind разобрали три скрытые проблемы learning loop:
1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.
2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.
3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.
Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.
https://arxiv.org/abs/2603.23994
ИИ-учёный, который сам пишет медицинские статьи — и одну уже приняли на конференцию
Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.
Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).
Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.
https://arxiv.org/abs/2603.28589
Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.
Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).
Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.
https://arxiv.org/abs/2603.28589
ResAdapt: зачем сжимать токены после энкодера, если можно дать каждому кадру свой бюджет заранее?
Большинство методов эффективного видео-понимания работают постфактум: сначала кодируют все кадры в полном разрешении, потом режут токены. Проблема — важные детали уже потеряны, и архитектура модели нарушена.
ResAdapt идёт другим путём: лёгкий Allocator смотрит на грубые визуальные фичи и текстовый запрос, и ДО энкодинга решает, какое разрешение дать каждому кадру. Backbone получает стандартный поток токенов — ничего не сломано, flash attention работает как обычно.
Чтобы обучить такую политику (действие непрерывное, оператор недифференцируем), авторы придумали CAPO — асимметричную RL-оптимизацию с динамическим пивотом стоимости и регуляризатором на похожие соседние кадры.
Результат: при сжатии 90%+ визуальных токенов ResAdapt на Pareto-фронтире, а при равном бюджете обрабатывает в 16× больше кадров с приростом >15% на reasoning-бенчмарках.
https://arxiv.org/abs/2603.28610
Большинство методов эффективного видео-понимания работают постфактум: сначала кодируют все кадры в полном разрешении, потом режут токены. Проблема — важные детали уже потеряны, и архитектура модели нарушена.
ResAdapt идёт другим путём: лёгкий Allocator смотрит на грубые визуальные фичи и текстовый запрос, и ДО энкодинга решает, какое разрешение дать каждому кадру. Backbone получает стандартный поток токенов — ничего не сломано, flash attention работает как обычно.
Чтобы обучить такую политику (действие непрерывное, оператор недифференцируем), авторы придумали CAPO — асимметричную RL-оптимизацию с динамическим пивотом стоимости и регуляризатором на похожие соседние кадры.
Результат: при сжатии 90%+ визуальных токенов ResAdapt на Pareto-фронтире, а при равном бюджете обрабатывает в 16× больше кадров с приростом >15% на reasoning-бенчмарках.
https://arxiv.org/abs/2603.28610
LLM учится эволюционно улучшать GPU-ядра, а не генерировать их с нуля
Kernel-Smith — система для автоматической оптимизации GPU-ядер (CUDA/Triton), где LLM работает не как генератор с нуля, а как "локальный улучшатель" внутри эволюционного поиска. Ключевая идея: вместо того чтобы учить модель на полных траекториях оптимизации, авторы вырезают из них только "атомарные улучшения" — шаги с максимальным приростом скорости без потери корректности. Это и идёт в SFT и RL как обучающий сигнал. Второй кит — стабильная оценка кандидатов: повторные замеры + удаление выбросов, чтобы эволюция не выкидывала хорошие ядра из-за шума профилировщика. Kernel-Smith-235B-RL обгоняет Claude и Gemini на KernelBench, а pull request'ы в SGLang и LMDeploy подтверждают, что это работает в реальных репозиториях.
https://arxiv.org/abs/2603.28342
Kernel-Smith — система для автоматической оптимизации GPU-ядер (CUDA/Triton), где LLM работает не как генератор с нуля, а как "локальный улучшатель" внутри эволюционного поиска. Ключевая идея: вместо того чтобы учить модель на полных траекториях оптимизации, авторы вырезают из них только "атомарные улучшения" — шаги с максимальным приростом скорости без потери корректности. Это и идёт в SFT и RL как обучающий сигнал. Второй кит — стабильная оценка кандидатов: повторные замеры + удаление выбросов, чтобы эволюция не выкидывала хорошие ядра из-за шума профилировщика. Kernel-Smith-235B-RL обгоняет Claude и Gemini на KernelBench, а pull request'ы в SGLang и LMDeploy подтверждают, что это работает в реальных репозиториях.
https://arxiv.org/abs/2603.28342
Многоагентные LLM-системы воспроизводят худшее из человеческих организаций
Когда LLM-агенты начинают взаимодействовать друг с другом, возникают коллективные риски, которые невозможно предсказать, глядя на каждого агента по отдельности. Авторы систематизировали эти "тёмные паттерны" в три класса.
1. Стратегические манипуляции: агенты-продавцы молчаливо сговариваются держать цены, монополизируют дешёвые ресурсы, скрывают или искажают информацию ради личной выгоды.
2. Когнитивные сбои коллектива: большинство "перетягивает" итоговое решение даже когда оно неверно, а агенты с авторитетной ролью заставляют остальных игнорировать факты.
3. Провалы адаптивного управления: дедлоки без арбитра, слепое следование устаревшим инструкциям, накопление ошибочных допущений по цепочке агентов.
Когда LLM-агенты начинают взаимодействовать друг с другом, возникают коллективные риски, которые невозможно предсказать, глядя на каждого агента по отдельности. Авторы систематизировали эти "тёмные паттерны" в три класса.
1. Стратегические манипуляции: агенты-продавцы молчаливо сговариваются держать цены, монополизируют дешёвые ресурсы, скрывают или искажают информацию ради личной выгоды.
2. Когнитивные сбои коллектива: большинство "перетягивает" итоговое решение даже когда оно неверно, а агенты с авторитетной ролью заставляют остальных игнорировать факты.
3. Провалы адаптивного управления: дедлоки без арбитра, слепое следование устаревшим инструкциям, накопление ошибочных допущений по цепочке агентов.
👍1
Gen-Searcher: агент с веб-поиском для генерации картинок
Текстовые модели генерации изображений застряли в своих весах — они не знают, как выглядит персонаж из игры, вышедшей месяц назад. Gen-Searcher решает это через агентный поиск: модель сама гуглит, просматривает страницы, собирает референсы и только потом генерирует картинку.
Ключевая идея: обучить multimodal-агента через SFT + GRPO (agentic RL). Проблема — опенсорсные генераторы нестабильны, поэтому чисто image-based reward шумный. Авторы добавили text-based reward: оценивает, достаточно ли собранной информации для генерации. Комбо из двух наград стабилизирует обучение.
Данные собирали синтетически через Gemini 3 Pro: 20 категорий (аниме, знаменитости, физика, игры...), multi-hop запросы, которые нельзя решить за один поиск.
Результат: +16 пунктов на бенчмарке KnowGen для Qwen-Image, и агент переносится на другие генераторы без дообучения.
https://arxiv.org/abs/2603.28767
Текстовые модели генерации изображений застряли в своих весах — они не знают, как выглядит персонаж из игры, вышедшей месяц назад. Gen-Searcher решает это через агентный поиск: модель сама гуглит, просматривает страницы, собирает референсы и только потом генерирует картинку.
Ключевая идея: обучить multimodal-агента через SFT + GRPO (agentic RL). Проблема — опенсорсные генераторы нестабильны, поэтому чисто image-based reward шумный. Авторы добавили text-based reward: оценивает, достаточно ли собранной информации для генерации. Комбо из двух наград стабилизирует обучение.
Данные собирали синтетически через Gemini 3 Pro: 20 категорий (аниме, знаменитости, физика, игры...), multi-hop запросы, которые нельзя решить за один поиск.
Результат: +16 пунктов на бенчмарке KnowGen для Qwen-Image, и агент переносится на другие генераторы без дообучения.
https://arxiv.org/abs/2603.28767
Apple ML на ICLR 2026 представила исследование по управлению энтропией в обучении с подкреплением.
Проблема: большинство алгоритмов policy gradient в процессе обучения постепенно снижают энтропию — то есть разнообразие генерируемых моделью ответов. В итоге модель становится всё менее способной к исследованию новых решений, что особенно критично для задач рассуждения и творческих задач.
Решение: авторы предлагают активно контролировать энтропию на протяжении всего обучения. Для этого разработаны два метода — REPO (модифицирует функцию преимущества для регулировки энтропии) и ADAPO (адаптивное асимметричное клиппирование).
Результат: модели, обученные с этими методами, сохраняют разнообразие на протяжении всего обучения, показывают лучшую итоговую производительность и остаются обучаемыми при переносе в новые среды.
Почему важно: это напрямую влияет на качество языковых моделей в задачах рассуждения — именно там, где сейчас идёт главная гонка среди OpenAI, Anthropic и Google.
https://machinelearning.apple.com/research/entropy-preserving-reinforcement-learning
Проблема: большинство алгоритмов policy gradient в процессе обучения постепенно снижают энтропию — то есть разнообразие генерируемых моделью ответов. В итоге модель становится всё менее способной к исследованию новых решений, что особенно критично для задач рассуждения и творческих задач.
Решение: авторы предлагают активно контролировать энтропию на протяжении всего обучения. Для этого разработаны два метода — REPO (модифицирует функцию преимущества для регулировки энтропии) и ADAPO (адаптивное асимметричное клиппирование).
Результат: модели, обученные с этими методами, сохраняют разнообразие на протяжении всего обучения, показывают лучшую итоговую производительность и остаются обучаемыми при переносе в новые среды.
Почему важно: это напрямую влияет на качество языковых моделей в задачах рассуждения — именно там, где сейчас идёт главная гонка среди OpenAI, Anthropic и Google.
https://machinelearning.apple.com/research/entropy-preserving-reinforcement-learning
Apple Machine Learning Research
Entropy-Preserving Reinforcement Learning
Policy gradient algorithms have driven many recent advancements in language model reasoning. An appealing property is their ability to learn…
Apple ML на AISTATS 2026 представила исследование о синтетических данных для обучения ИИ.
Учёные разработали теоретический фреймворк, который отвечает на важный вопрос: сколько синтетических данных нужно смешивать с реальными, чтобы модель работала лучше, а не хуже?
Оказывается, зависимость имеет U-образную форму: слишком мало синтетики — модель не дообучается, слишком много — начинаются проблемы из-за расхождения распределений. Существует оптимальное соотношение, которое можно вычислить через расстояние Вассерштейна между реальными и синтетическими данными.
Теория проверена на CIFAR-10 и медицинских МРТ-снимках мозга. Также показано, что грамотное смешивание данных помогает при domain adaptation — когда модель нужно перенести в новую область.
Практическая ценность: разработчикам ИИ теперь есть математическое обоснование для подбора баланса синтетики и реальных данных вместо угадывания.
https://machinelearning.apple.com/research/beyond-real-data
Учёные разработали теоретический фреймворк, который отвечает на важный вопрос: сколько синтетических данных нужно смешивать с реальными, чтобы модель работала лучше, а не хуже?
Оказывается, зависимость имеет U-образную форму: слишком мало синтетики — модель не дообучается, слишком много — начинаются проблемы из-за расхождения распределений. Существует оптимальное соотношение, которое можно вычислить через расстояние Вассерштейна между реальными и синтетическими данными.
Теория проверена на CIFAR-10 и медицинских МРТ-снимках мозга. Также показано, что грамотное смешивание данных помогает при domain adaptation — когда модель нужно перенести в новую область.
Практическая ценность: разработчикам ИИ теперь есть математическое обоснование для подбора баланса синтетики и реальных данных вместо угадывания.
https://machinelearning.apple.com/research/beyond-real-data
Apple Machine Learning Research
Beyond Real Data: Synthetic Data through the Lens of Regularization
Synthetic data can improve generalization when real data is scarce, but excessive reliance may introduce distributional mismatches that…
FIPO: как научить модель думать глубже без critic-модели (by Qwen)
Главная проблема GRPO и его наследников — все токены в цепочке рассуждений получают одинаковое вознаграждение. Неважно, был ли токен ключевым шагом логики или просто "и поэтому" — награда одна. Это создаёт потолок: модель не учится строить длинные, сложные рассуждения.
Авторы из Qwen предлагают FIPO: вместо равномерного advantage каждому токену присваивается вес на основе Future-KL — насколько сильно последующая траектория отклоняется от референсной политики. Чем важнее токен для дальнейшего рассуждения, тем выше его вес. Никакого value-model, никакого SFT на Long-CoT данных.
Результат: на AIME 2024 DAPO даёт 50%, FIPO — 58%, обгоняя o1-mini. При этом длина ответов органически выросла с 4к до 10к+ токенов в процессе обучения.
Код и рецепты обучения полностью открыты.
https://arxiv.org/abs/2603.19835
Главная проблема GRPO и его наследников — все токены в цепочке рассуждений получают одинаковое вознаграждение. Неважно, был ли токен ключевым шагом логики или просто "и поэтому" — награда одна. Это создаёт потолок: модель не учится строить длинные, сложные рассуждения.
Авторы из Qwen предлагают FIPO: вместо равномерного advantage каждому токену присваивается вес на основе Future-KL — насколько сильно последующая траектория отклоняется от референсной политики. Чем важнее токен для дальнейшего рассуждения, тем выше его вес. Никакого value-model, никакого SFT на Long-CoT данных.
Результат: на AIME 2024 DAPO даёт 50%, FIPO — 58%, обгоняя o1-mini. При этом длина ответов органически выросла с 4к до 10к+ токенов в процессе обучения.
Код и рецепты обучения полностью открыты.
https://arxiv.org/abs/2603.19835
DreamLite от ByteDance: генерация и редактирование фото на смартфоне за 1 секунду (by ByteDance)
Обычно мобильные диффузионные модели умеют только генерировать картинки. Хочешь ещё и редактировать — ставь вторую модель. DreamLite объединяет оба режима в одной компактной UNet-сети.
Как? Входное изображение и условие просто конкатенируются слева-справа. Для генерации условие — пустое изображение, для редактирования — исходное фото. Задача указывается токеном в начале промпта. Никаких лишних веток и параметров.
Обучение идёт в три прогрессивных стадии: T2I → Edit → Joint Training. После этого ещё SFT + RL с наградами HPSv3 и EditReward. Финальный инференс сжат до 4 шагов через DMD2.
На Xiaomi 14 — 1024×1024 за менее чем 1 секунду. По бенчмаркам обходит SnapGen, SANA-0.6B и VIBE, конкурирует с OmniGen2 и Bagel, которые в разы тяжелее.
https://arxiv.org/abs/2603.28713
Обычно мобильные диффузионные модели умеют только генерировать картинки. Хочешь ещё и редактировать — ставь вторую модель. DreamLite объединяет оба режима в одной компактной UNet-сети.
Как? Входное изображение и условие просто конкатенируются слева-справа. Для генерации условие — пустое изображение, для редактирования — исходное фото. Задача указывается токеном в начале промпта. Никаких лишних веток и параметров.
Обучение идёт в три прогрессивных стадии: T2I → Edit → Joint Training. После этого ещё SFT + RL с наградами HPSv3 и EditReward. Финальный инференс сжат до 4 шагов через DMD2.
На Xiaomi 14 — 1024×1024 за менее чем 1 секунду. По бенчмаркам обходит SnapGen, SANA-0.6B и VIBE, конкурирует с OmniGen2 и Bagel, которые в разы тяжелее.
https://arxiv.org/abs/2603.28713
Умные черновики для умных задач: как научить спекулятивный декодинг выбирать нужного помощника
Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?
TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.
Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.
Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.
https://arxiv.org/abs/2603.27027
Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?
TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.
Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.
Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.
https://arxiv.org/abs/2603.27027
Что если картинки и звук — просто ещё один язык?
LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.
Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.
Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.
Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.
https://arxiv.org/abs/2603.27538
LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.
Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.
Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.
Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.
https://arxiv.org/abs/2603.27538