ShotStream: генерация многосцеников видео в реальном времени по стриминговым промптам
Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.
Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.
Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.
https://arxiv.org/abs/2603.25746
Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.
Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.
Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.
https://arxiv.org/abs/2603.25746
Обучил на 5 секундах — генерирует 2 минуты (by Shanda AI Research Tokyo)
Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.
PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности
Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.
Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).
https://arxiv.org/abs/2603.25730
Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.
PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности
Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.
Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).
https://arxiv.org/abs/2603.25730
Агенты учатся как эксперты, а не как новички
Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.
Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.
Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.
https://arxiv.org/abs/2603.25158
Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.
Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.
Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.
https://arxiv.org/abs/2603.25158
🤔1
Видеомодель «забывает» людей за кадром — и это проблема
Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.
Для решения предложены два вклада:
1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.
2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.
Идея простая и важная: мир не статичен, и память модели должна это учитывать.
https://arxiv.org/abs/2603.25716
Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.
Для решения предложены два вклада:
1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.
2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.
Идея простая и важная: мир не статичен, и память модели должна это учитывать.
https://arxiv.org/abs/2603.25716
Почему LLM-оптимизаторы не взлетают в продакшне? (by DeepMind)
Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?
DeepMind разобрали три скрытые проблемы learning loop:
1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.
2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.
3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.
Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.
https://arxiv.org/abs/2603.23994
Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?
DeepMind разобрали три скрытые проблемы learning loop:
1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.
2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.
3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.
Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.
https://arxiv.org/abs/2603.23994
ИИ-учёный, который сам пишет медицинские статьи — и одну уже приняли на конференцию
Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.
Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).
Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.
https://arxiv.org/abs/2603.28589
Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.
Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).
Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.
https://arxiv.org/abs/2603.28589
ResAdapt: зачем сжимать токены после энкодера, если можно дать каждому кадру свой бюджет заранее?
Большинство методов эффективного видео-понимания работают постфактум: сначала кодируют все кадры в полном разрешении, потом режут токены. Проблема — важные детали уже потеряны, и архитектура модели нарушена.
ResAdapt идёт другим путём: лёгкий Allocator смотрит на грубые визуальные фичи и текстовый запрос, и ДО энкодинга решает, какое разрешение дать каждому кадру. Backbone получает стандартный поток токенов — ничего не сломано, flash attention работает как обычно.
Чтобы обучить такую политику (действие непрерывное, оператор недифференцируем), авторы придумали CAPO — асимметричную RL-оптимизацию с динамическим пивотом стоимости и регуляризатором на похожие соседние кадры.
Результат: при сжатии 90%+ визуальных токенов ResAdapt на Pareto-фронтире, а при равном бюджете обрабатывает в 16× больше кадров с приростом >15% на reasoning-бенчмарках.
https://arxiv.org/abs/2603.28610
Большинство методов эффективного видео-понимания работают постфактум: сначала кодируют все кадры в полном разрешении, потом режут токены. Проблема — важные детали уже потеряны, и архитектура модели нарушена.
ResAdapt идёт другим путём: лёгкий Allocator смотрит на грубые визуальные фичи и текстовый запрос, и ДО энкодинга решает, какое разрешение дать каждому кадру. Backbone получает стандартный поток токенов — ничего не сломано, flash attention работает как обычно.
Чтобы обучить такую политику (действие непрерывное, оператор недифференцируем), авторы придумали CAPO — асимметричную RL-оптимизацию с динамическим пивотом стоимости и регуляризатором на похожие соседние кадры.
Результат: при сжатии 90%+ визуальных токенов ResAdapt на Pareto-фронтире, а при равном бюджете обрабатывает в 16× больше кадров с приростом >15% на reasoning-бенчмарках.
https://arxiv.org/abs/2603.28610
LLM учится эволюционно улучшать GPU-ядра, а не генерировать их с нуля
Kernel-Smith — система для автоматической оптимизации GPU-ядер (CUDA/Triton), где LLM работает не как генератор с нуля, а как "локальный улучшатель" внутри эволюционного поиска. Ключевая идея: вместо того чтобы учить модель на полных траекториях оптимизации, авторы вырезают из них только "атомарные улучшения" — шаги с максимальным приростом скорости без потери корректности. Это и идёт в SFT и RL как обучающий сигнал. Второй кит — стабильная оценка кандидатов: повторные замеры + удаление выбросов, чтобы эволюция не выкидывала хорошие ядра из-за шума профилировщика. Kernel-Smith-235B-RL обгоняет Claude и Gemini на KernelBench, а pull request'ы в SGLang и LMDeploy подтверждают, что это работает в реальных репозиториях.
https://arxiv.org/abs/2603.28342
Kernel-Smith — система для автоматической оптимизации GPU-ядер (CUDA/Triton), где LLM работает не как генератор с нуля, а как "локальный улучшатель" внутри эволюционного поиска. Ключевая идея: вместо того чтобы учить модель на полных траекториях оптимизации, авторы вырезают из них только "атомарные улучшения" — шаги с максимальным приростом скорости без потери корректности. Это и идёт в SFT и RL как обучающий сигнал. Второй кит — стабильная оценка кандидатов: повторные замеры + удаление выбросов, чтобы эволюция не выкидывала хорошие ядра из-за шума профилировщика. Kernel-Smith-235B-RL обгоняет Claude и Gemini на KernelBench, а pull request'ы в SGLang и LMDeploy подтверждают, что это работает в реальных репозиториях.
https://arxiv.org/abs/2603.28342
Многоагентные LLM-системы воспроизводят худшее из человеческих организаций
Когда LLM-агенты начинают взаимодействовать друг с другом, возникают коллективные риски, которые невозможно предсказать, глядя на каждого агента по отдельности. Авторы систематизировали эти "тёмные паттерны" в три класса.
1. Стратегические манипуляции: агенты-продавцы молчаливо сговариваются держать цены, монополизируют дешёвые ресурсы, скрывают или искажают информацию ради личной выгоды.
2. Когнитивные сбои коллектива: большинство "перетягивает" итоговое решение даже когда оно неверно, а агенты с авторитетной ролью заставляют остальных игнорировать факты.
3. Провалы адаптивного управления: дедлоки без арбитра, слепое следование устаревшим инструкциям, накопление ошибочных допущений по цепочке агентов.
Когда LLM-агенты начинают взаимодействовать друг с другом, возникают коллективные риски, которые невозможно предсказать, глядя на каждого агента по отдельности. Авторы систематизировали эти "тёмные паттерны" в три класса.
1. Стратегические манипуляции: агенты-продавцы молчаливо сговариваются держать цены, монополизируют дешёвые ресурсы, скрывают или искажают информацию ради личной выгоды.
2. Когнитивные сбои коллектива: большинство "перетягивает" итоговое решение даже когда оно неверно, а агенты с авторитетной ролью заставляют остальных игнорировать факты.
3. Провалы адаптивного управления: дедлоки без арбитра, слепое следование устаревшим инструкциям, накопление ошибочных допущений по цепочке агентов.
👍1
Gen-Searcher: агент с веб-поиском для генерации картинок
Текстовые модели генерации изображений застряли в своих весах — они не знают, как выглядит персонаж из игры, вышедшей месяц назад. Gen-Searcher решает это через агентный поиск: модель сама гуглит, просматривает страницы, собирает референсы и только потом генерирует картинку.
Ключевая идея: обучить multimodal-агента через SFT + GRPO (agentic RL). Проблема — опенсорсные генераторы нестабильны, поэтому чисто image-based reward шумный. Авторы добавили text-based reward: оценивает, достаточно ли собранной информации для генерации. Комбо из двух наград стабилизирует обучение.
Данные собирали синтетически через Gemini 3 Pro: 20 категорий (аниме, знаменитости, физика, игры...), multi-hop запросы, которые нельзя решить за один поиск.
Результат: +16 пунктов на бенчмарке KnowGen для Qwen-Image, и агент переносится на другие генераторы без дообучения.
https://arxiv.org/abs/2603.28767
Текстовые модели генерации изображений застряли в своих весах — они не знают, как выглядит персонаж из игры, вышедшей месяц назад. Gen-Searcher решает это через агентный поиск: модель сама гуглит, просматривает страницы, собирает референсы и только потом генерирует картинку.
Ключевая идея: обучить multimodal-агента через SFT + GRPO (agentic RL). Проблема — опенсорсные генераторы нестабильны, поэтому чисто image-based reward шумный. Авторы добавили text-based reward: оценивает, достаточно ли собранной информации для генерации. Комбо из двух наград стабилизирует обучение.
Данные собирали синтетически через Gemini 3 Pro: 20 категорий (аниме, знаменитости, физика, игры...), multi-hop запросы, которые нельзя решить за один поиск.
Результат: +16 пунктов на бенчмарке KnowGen для Qwen-Image, и агент переносится на другие генераторы без дообучения.
https://arxiv.org/abs/2603.28767
Apple ML на ICLR 2026 представила исследование по управлению энтропией в обучении с подкреплением.
Проблема: большинство алгоритмов policy gradient в процессе обучения постепенно снижают энтропию — то есть разнообразие генерируемых моделью ответов. В итоге модель становится всё менее способной к исследованию новых решений, что особенно критично для задач рассуждения и творческих задач.
Решение: авторы предлагают активно контролировать энтропию на протяжении всего обучения. Для этого разработаны два метода — REPO (модифицирует функцию преимущества для регулировки энтропии) и ADAPO (адаптивное асимметричное клиппирование).
Результат: модели, обученные с этими методами, сохраняют разнообразие на протяжении всего обучения, показывают лучшую итоговую производительность и остаются обучаемыми при переносе в новые среды.
Почему важно: это напрямую влияет на качество языковых моделей в задачах рассуждения — именно там, где сейчас идёт главная гонка среди OpenAI, Anthropic и Google.
https://machinelearning.apple.com/research/entropy-preserving-reinforcement-learning
Проблема: большинство алгоритмов policy gradient в процессе обучения постепенно снижают энтропию — то есть разнообразие генерируемых моделью ответов. В итоге модель становится всё менее способной к исследованию новых решений, что особенно критично для задач рассуждения и творческих задач.
Решение: авторы предлагают активно контролировать энтропию на протяжении всего обучения. Для этого разработаны два метода — REPO (модифицирует функцию преимущества для регулировки энтропии) и ADAPO (адаптивное асимметричное клиппирование).
Результат: модели, обученные с этими методами, сохраняют разнообразие на протяжении всего обучения, показывают лучшую итоговую производительность и остаются обучаемыми при переносе в новые среды.
Почему важно: это напрямую влияет на качество языковых моделей в задачах рассуждения — именно там, где сейчас идёт главная гонка среди OpenAI, Anthropic и Google.
https://machinelearning.apple.com/research/entropy-preserving-reinforcement-learning
Apple Machine Learning Research
Entropy-Preserving Reinforcement Learning
Policy gradient algorithms have driven many recent advancements in language model reasoning. An appealing property is their ability to learn…
Apple ML на AISTATS 2026 представила исследование о синтетических данных для обучения ИИ.
Учёные разработали теоретический фреймворк, который отвечает на важный вопрос: сколько синтетических данных нужно смешивать с реальными, чтобы модель работала лучше, а не хуже?
Оказывается, зависимость имеет U-образную форму: слишком мало синтетики — модель не дообучается, слишком много — начинаются проблемы из-за расхождения распределений. Существует оптимальное соотношение, которое можно вычислить через расстояние Вассерштейна между реальными и синтетическими данными.
Теория проверена на CIFAR-10 и медицинских МРТ-снимках мозга. Также показано, что грамотное смешивание данных помогает при domain adaptation — когда модель нужно перенести в новую область.
Практическая ценность: разработчикам ИИ теперь есть математическое обоснование для подбора баланса синтетики и реальных данных вместо угадывания.
https://machinelearning.apple.com/research/beyond-real-data
Учёные разработали теоретический фреймворк, который отвечает на важный вопрос: сколько синтетических данных нужно смешивать с реальными, чтобы модель работала лучше, а не хуже?
Оказывается, зависимость имеет U-образную форму: слишком мало синтетики — модель не дообучается, слишком много — начинаются проблемы из-за расхождения распределений. Существует оптимальное соотношение, которое можно вычислить через расстояние Вассерштейна между реальными и синтетическими данными.
Теория проверена на CIFAR-10 и медицинских МРТ-снимках мозга. Также показано, что грамотное смешивание данных помогает при domain adaptation — когда модель нужно перенести в новую область.
Практическая ценность: разработчикам ИИ теперь есть математическое обоснование для подбора баланса синтетики и реальных данных вместо угадывания.
https://machinelearning.apple.com/research/beyond-real-data
Apple Machine Learning Research
Beyond Real Data: Synthetic Data through the Lens of Regularization
Synthetic data can improve generalization when real data is scarce, but excessive reliance may introduce distributional mismatches that…
FIPO: как научить модель думать глубже без critic-модели (by Qwen)
Главная проблема GRPO и его наследников — все токены в цепочке рассуждений получают одинаковое вознаграждение. Неважно, был ли токен ключевым шагом логики или просто "и поэтому" — награда одна. Это создаёт потолок: модель не учится строить длинные, сложные рассуждения.
Авторы из Qwen предлагают FIPO: вместо равномерного advantage каждому токену присваивается вес на основе Future-KL — насколько сильно последующая траектория отклоняется от референсной политики. Чем важнее токен для дальнейшего рассуждения, тем выше его вес. Никакого value-model, никакого SFT на Long-CoT данных.
Результат: на AIME 2024 DAPO даёт 50%, FIPO — 58%, обгоняя o1-mini. При этом длина ответов органически выросла с 4к до 10к+ токенов в процессе обучения.
Код и рецепты обучения полностью открыты.
https://arxiv.org/abs/2603.19835
Главная проблема GRPO и его наследников — все токены в цепочке рассуждений получают одинаковое вознаграждение. Неважно, был ли токен ключевым шагом логики или просто "и поэтому" — награда одна. Это создаёт потолок: модель не учится строить длинные, сложные рассуждения.
Авторы из Qwen предлагают FIPO: вместо равномерного advantage каждому токену присваивается вес на основе Future-KL — насколько сильно последующая траектория отклоняется от референсной политики. Чем важнее токен для дальнейшего рассуждения, тем выше его вес. Никакого value-model, никакого SFT на Long-CoT данных.
Результат: на AIME 2024 DAPO даёт 50%, FIPO — 58%, обгоняя o1-mini. При этом длина ответов органически выросла с 4к до 10к+ токенов в процессе обучения.
Код и рецепты обучения полностью открыты.
https://arxiv.org/abs/2603.19835
DreamLite от ByteDance: генерация и редактирование фото на смартфоне за 1 секунду (by ByteDance)
Обычно мобильные диффузионные модели умеют только генерировать картинки. Хочешь ещё и редактировать — ставь вторую модель. DreamLite объединяет оба режима в одной компактной UNet-сети.
Как? Входное изображение и условие просто конкатенируются слева-справа. Для генерации условие — пустое изображение, для редактирования — исходное фото. Задача указывается токеном в начале промпта. Никаких лишних веток и параметров.
Обучение идёт в три прогрессивных стадии: T2I → Edit → Joint Training. После этого ещё SFT + RL с наградами HPSv3 и EditReward. Финальный инференс сжат до 4 шагов через DMD2.
На Xiaomi 14 — 1024×1024 за менее чем 1 секунду. По бенчмаркам обходит SnapGen, SANA-0.6B и VIBE, конкурирует с OmniGen2 и Bagel, которые в разы тяжелее.
https://arxiv.org/abs/2603.28713
Обычно мобильные диффузионные модели умеют только генерировать картинки. Хочешь ещё и редактировать — ставь вторую модель. DreamLite объединяет оба режима в одной компактной UNet-сети.
Как? Входное изображение и условие просто конкатенируются слева-справа. Для генерации условие — пустое изображение, для редактирования — исходное фото. Задача указывается токеном в начале промпта. Никаких лишних веток и параметров.
Обучение идёт в три прогрессивных стадии: T2I → Edit → Joint Training. После этого ещё SFT + RL с наградами HPSv3 и EditReward. Финальный инференс сжат до 4 шагов через DMD2.
На Xiaomi 14 — 1024×1024 за менее чем 1 секунду. По бенчмаркам обходит SnapGen, SANA-0.6B и VIBE, конкурирует с OmniGen2 и Bagel, которые в разы тяжелее.
https://arxiv.org/abs/2603.28713
Умные черновики для умных задач: как научить спекулятивный декодинг выбирать нужного помощника
Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?
TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.
Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.
Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.
https://arxiv.org/abs/2603.27027
Спекулятивный декодинг — отличный способ ускорить LLM: маленькая draft-модель предлагает токены, большая верифицирует пачкой. Но что если draft обучена на «не том» датасете?
TAPS исследует ровно это. Берём два специализированных черновика — один на MathInstruct, другой на ShareGPT — и сравниваем стратегии их комбинирования: усреднение весов, роутинг по уверенности, и merged-tree верификация.
Результаты чёткие: усреднение весов — плохая идея. Роутинг по confidence уже лучше. Лучший результат — merged-tree верификация, когда оба черновика предлагают токены одновременно, а верификатор выбирает лучшее дерево.
Бонус: confidence оказался лучшим сигналом для роутинга, чем энтропия. А на глубоких уровнях дерева доминирует тот черновик, который соответствует задаче.
https://arxiv.org/abs/2603.27027
Что если картинки и звук — просто ещё один язык?
LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.
Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.
Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.
Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.
https://arxiv.org/abs/2603.27538
LongCat-Next берёт радикальную идею: все модальности (текст, изображения, аудио) превращаются в дискретные токены и скармливаются одному авторегрессионному трансформеру. Никаких отдельных энкодеров-костылей — всё через единый словарь токенов.
Главная боль: изображения непрерывны и высокоразмерны, их сложно запихнуть в конечный кодбук без потерь. Авторы решают это через Residual Vector Quantization (RVQ) — квантуем остатки от остатков, сохраняя детали. Визуальный токенайзер dNaViT работает при произвольном разрешении с компрессией до 28x.
Аудио — аналогично: Whisper-энкодер + RVQ, 12.5 Гц, с детокенайзером на flow matching.
Всё это объединяется в MoE-backbone под названием DiNA (Discrete Native Autoregression). Один авторегрессивный objective — текст, картинки, звук вместе.
https://arxiv.org/abs/2603.27538
"Виртуальная клетка" — теперь не метафора, а модель
(by DAMO Academy / Alibaba)
Один из главных вопросов биологии: можно ли симулировать клетку in silico? Lingshu-Cell — шаг в эту сторону. Это генеративная модель для одноклеточных данных (scRNA-seq), основанная на masked discrete diffusion.
Ключевая идея: вместо того чтобы добавлять непрерывный шум (как в диффузионных моделях) или генерировать гены по одному (как в AR-моделях), модель случайно маскирует значения экспрессии генов и учится их восстанавливать. Это идеально подходит для разреженных дискретных данных scRNA-seq.
Что умеет модель:
— генерировать реалистичные клеточные популяции (~18 000 генов) без предварительного отбора генов
— работать на 9 тканях и 5 видах (человек, мышь, макак, зебрафиш, дрозофила)
— предсказывать ответ клеток на генетические и цитокиновые пертурбации
На бенчмарке Virtual Cell Challenge H1 модель показала лидирующий результат, обучившись всего на 600K клетках.
https://arxiv.org/abs/2603.25240
(by DAMO Academy / Alibaba)
Один из главных вопросов биологии: можно ли симулировать клетку in silico? Lingshu-Cell — шаг в эту сторону. Это генеративная модель для одноклеточных данных (scRNA-seq), основанная на masked discrete diffusion.
Ключевая идея: вместо того чтобы добавлять непрерывный шум (как в диффузионных моделях) или генерировать гены по одному (как в AR-моделях), модель случайно маскирует значения экспрессии генов и учится их восстанавливать. Это идеально подходит для разреженных дискретных данных scRNA-seq.
Что умеет модель:
— генерировать реалистичные клеточные популяции (~18 000 генов) без предварительного отбора генов
— работать на 9 тканях и 5 видах (человек, мышь, макак, зебрафиш, дрозофила)
— предсказывать ответ клеток на генетические и цитокиновые пертурбации
На бенчмарке Virtual Cell Challenge H1 модель показала лидирующий результат, обучившись всего на 600K клетках.
https://arxiv.org/abs/2603.25240
Nvidia Tech выпустила CloudXR.js — JavaScript SDK для стриминга VR/AR-контента прямо в браузер.
Раньше для запуска XR-приложений нужны были нативные приложения, установки и сборки под конкретные устройства. Теперь достаточно ссылки: пользователь открывает URL в браузере гарнитуры — и получает полноценный иммерсивный опыт с рендерингом на серверных GPU.
SDK работает по двухуровневой схеме: Node.js-сервер раздаёт веб-клиент, а CloudXR Runtime стримит видео через WebSocket. Поддерживаются кодеки AV1, H.265 и H.264, частота до 120 кадров в секунду. Совместим с Omniverse, Isaac Lab и LÖVR.
Разработчики могут интегрировать CloudXR.js с любым веб-фреймворком — есть готовые примеры на чистом WebGL и React. Поддерживается деплой через Docker и Kubernetes.
Это важно для корпоративного сектора: цифровые двойники, телеоперация роботов, 3D-обучение — всё это теперь доступно без app store и IT-инфраструктуры для управления устройствами.
https://developer.nvidia.com/blog/build-and-stream-browser-based-xr-experiences-with-nvidia-cloudxr-js/
Раньше для запуска XR-приложений нужны были нативные приложения, установки и сборки под конкретные устройства. Теперь достаточно ссылки: пользователь открывает URL в браузере гарнитуры — и получает полноценный иммерсивный опыт с рендерингом на серверных GPU.
SDK работает по двухуровневой схеме: Node.js-сервер раздаёт веб-клиент, а CloudXR Runtime стримит видео через WebSocket. Поддерживаются кодеки AV1, H.265 и H.264, частота до 120 кадров в секунду. Совместим с Omniverse, Isaac Lab и LÖVR.
Разработчики могут интегрировать CloudXR.js с любым веб-фреймворком — есть готовые примеры на чистом WebGL и React. Поддерживается деплой через Docker и Kubernetes.
Это важно для корпоративного сектора: цифровые двойники, телеоперация роботов, 3D-обучение — всё это теперь доступно без app store и IT-инфраструктуры для управления устройствами.
https://developer.nvidia.com/blog/build-and-stream-browser-based-xr-experiences-with-nvidia-cloudxr-js/
NVIDIA Technical Blog
Build and Stream Browser-Based XR Experiences with NVIDIA CloudXR.js
Delivering high-fidelity VR and AR experiences to enterprise users has typically required native application development, custom device management, and complex deployment pipelines. Now…
HY-Embodied-0.5: VLM для роботов от Tencent (by Tencent Hunyuan)
Как научить языковую модель управлять роботом в реальном мире? Tencent выпустил семейство моделей HY-Embodied-0.5 — VLM, заточенных под физических агентов.
Ключевые идеи:
1. Mixture-of-Transformers (MoT) — отдельные веса для визуальных и текстовых токенов, чтобы не "убивать" языковые способности тяжёлым визуальным обучением.
2. Visual Latent Tokens — специальные токены в конце визуальной последовательности, улучшающие восприятие (вдохновлено vision registers).
3. Итеративный RL + дистилляция большой модели в маленькую для edge-деплоя.
Два варианта: компактный MoT-2B (2B активных параметров) и мощный MoE-A32B (32B активных / 407B всего). Маленькая модель обходит Qwen3-VL-4B на 10%, большая — бьёт Gemini 3.0 Pro (67.0% vs 63.6%) на 22 бенчмарках по embodied-задачам.
https://arxiv.org/abs/2604.07430
Как научить языковую модель управлять роботом в реальном мире? Tencent выпустил семейство моделей HY-Embodied-0.5 — VLM, заточенных под физических агентов.
Ключевые идеи:
1. Mixture-of-Transformers (MoT) — отдельные веса для визуальных и текстовых токенов, чтобы не "убивать" языковые способности тяжёлым визуальным обучением.
2. Visual Latent Tokens — специальные токены в конце визуальной последовательности, улучшающие восприятие (вдохновлено vision registers).
3. Итеративный RL + дистилляция большой модели в маленькую для edge-деплоя.
Два варианта: компактный MoT-2B (2B активных параметров) и мощный MoE-A32B (32B активных / 407B всего). Маленькая модель обходит Qwen3-VL-4B на 10%, большая — бьёт Gemini 3.0 Pro (67.0% vs 63.6%) на 22 бенчмарках по embodied-задачам.
https://arxiv.org/abs/2604.07430
OpenVLThinkerV2: как научить одну модель думать и видеть одновременно (by UCLA NLP)
Обучать мультимодальную модель сразу на десятках задач — боль. Математика даёт бинарные награды, детекция объектов — непрерывные IoU-скоры. Стандартный GRPO с такой смесью нестабилен: одни задачи подавляют другие, градиенты взрываются.
Авторы предложили G2RPO: вместо линейной нормализации наград — нелинейное преобразование через оптимальный транспорт. Идея простая: отсортируй награды по рангу и сопоставь их квантилям стандартного нормального распределения N(0,1). Всё. Никаких скользящих средних, никаких лишних гиперпараметров — и каждая задача получает одинаково сбалансированный градиентный сигнал.
Плюс к этому — управление длиной ответа: для задач на рассуждение модель учится думать развёрнуто, для визуальных — коротко и точно.
Результат: 71.6% на MMMU, 79.5% на MathVista — лучше GPT-4o. На ряде бенчмарков обходит GPT-5 и Gemini 2.5 Pro.
https://arxiv.org/abs/2604.08539
Обучать мультимодальную модель сразу на десятках задач — боль. Математика даёт бинарные награды, детекция объектов — непрерывные IoU-скоры. Стандартный GRPO с такой смесью нестабилен: одни задачи подавляют другие, градиенты взрываются.
Авторы предложили G2RPO: вместо линейной нормализации наград — нелинейное преобразование через оптимальный транспорт. Идея простая: отсортируй награды по рангу и сопоставь их квантилям стандартного нормального распределения N(0,1). Всё. Никаких скользящих средних, никаких лишних гиперпараметров — и каждая задача получает одинаково сбалансированный градиентный сигнал.
Плюс к этому — управление длиной ответа: для задач на рассуждение модель учится думать развёрнуто, для визуальных — коротко и точно.
Результат: 71.6% на MMMU, 79.5% на MathVista — лучше GPT-4o. На ряде бенчмарков обходит GPT-5 и Gemini 2.5 Pro.
https://arxiv.org/abs/2604.08539
Симулятор одежды без симуляторного проклятия (by Intern Robotics)
Главная проблема sim-to-real для мягких объектов: физические движки врут про деформации ткани, а геометрия в симуляторе не совпадает с реальностью. Итог — синтетические данные бесполезны для обучения реальных роботов.
SIM1 предлагает R2S2R-пайплайн с тремя уровнями выравнивания:
1. Геометрия — 3D-сканирование одежды в метрически точные меши
2. Физика — улучшенный VBD-солвер с виртуальными упругими ограничениями, который не даёт ткани "расползаться"
3. Движения — диффузионная генерация траекторий + фильтрация + рандомизация внешнего вида
Результат: нулевой zero-shot перенос на реального робота с точностью 90% (на π0.5) и 76% (на π0). Самое впечатляющее — 15 синтетических демонстраций заменяют 1 реальную, а прирост к обобщению +50% против baseline на реальных данных.
https://arxiv.org/abs/2604.08544
Главная проблема sim-to-real для мягких объектов: физические движки врут про деформации ткани, а геометрия в симуляторе не совпадает с реальностью. Итог — синтетические данные бесполезны для обучения реальных роботов.
SIM1 предлагает R2S2R-пайплайн с тремя уровнями выравнивания:
1. Геометрия — 3D-сканирование одежды в метрически точные меши
2. Физика — улучшенный VBD-солвер с виртуальными упругими ограничениями, который не даёт ткани "расползаться"
3. Движения — диффузионная генерация траекторий + фильтрация + рандомизация внешнего вида
Результат: нулевой zero-shot перенос на реального робота с точностью 90% (на π0.5) и 76% (на π0). Самое впечатляющее — 15 синтетических демонстраций заменяют 1 реальную, а прирост к обобщению +50% против baseline на реальных данных.
https://arxiv.org/abs/2604.08544