Редактирование мимики без путаницы между похожими эмоциями — теперь реально
Страх и удивление выглядят похоже: широкие глаза, открытый рот. Злость и отвращение — тоже. Существующие модели редактирования выражений лиц постоянно путают такие пары, потому что обучаются на дискретных метках (one-hot), которые не отражают реальную непрерывность эмоций.
Авторы из Fudan University предлагают PixelSmile — диффузионный фреймворк с двумя ключевыми идеями. Во-первых, они создали датасет FFE: 60к изображений (реальные + аниме) с непрерывными 12-мерными аффективными оценками вместо жёстких категорий. Во-вторых, обучение строится на симметричных контрастивных тройках — модель одновременно учится различать confusing-пары (страх/удивление, злость/отвращение) в обоих направлениях. На инференсе интенсивность эмоции регулируется интерполяцией в пространстве текстовых эмбеддингов через коэффициент α — без референсных изображений.
https://arxiv.org/abs/2603.25728
Страх и удивление выглядят похоже: широкие глаза, открытый рот. Злость и отвращение — тоже. Существующие модели редактирования выражений лиц постоянно путают такие пары, потому что обучаются на дискретных метках (one-hot), которые не отражают реальную непрерывность эмоций.
Авторы из Fudan University предлагают PixelSmile — диффузионный фреймворк с двумя ключевыми идеями. Во-первых, они создали датасет FFE: 60к изображений (реальные + аниме) с непрерывными 12-мерными аффективными оценками вместо жёстких категорий. Во-вторых, обучение строится на симметричных контрастивных тройках — модель одновременно учится различать confusing-пары (страх/удивление, злость/отвращение) в обоих направлениях. На инференсе интенсивность эмоции регулируется интерполяцией в пространстве текстовых эмбеддингов через коэффициент α — без референсных изображений.
https://arxiv.org/abs/2603.25728
Можно улучшить диффузионный трансформер, не трогая почти ни одного веса?
Оказывается, блоки DiT (Stable Diffusion 3, FLUX) вносят очень неравный вклад в качество генерации. Авторы обнаружили два сюрприза: некоторые блоки при отключении улучшают качество, а для каждого блока есть оптимальный скалярный множитель на выходе, который лучше дефолтного.
На этом строится Calibri: берём ~100 скалярных параметров (по одному на блок), оптимизируем их градиентно-свободным методом CMA-ES, максимизируя скор reward-модели. Никакого файнтюнинга, никакого backprop через модель.
Результат: стабильный прирост качества на разных базовых моделях, меньше шагов инференса, плюс Calibri Ensemble из нескольких откалиброванных моделей даёт ещё больший буст.
https://arxiv.org/abs/2603.24800
Оказывается, блоки DiT (Stable Diffusion 3, FLUX) вносят очень неравный вклад в качество генерации. Авторы обнаружили два сюрприза: некоторые блоки при отключении улучшают качество, а для каждого блока есть оптимальный скалярный множитель на выходе, который лучше дефолтного.
На этом строится Calibri: берём ~100 скалярных параметров (по одному на блок), оптимизируем их градиентно-свободным методом CMA-ES, максимизируя скор reward-модели. Никакого файнтюнинга, никакого backprop через модель.
Результат: стабильный прирост качества на разных базовых моделях, меньше шагов инференса, плюс Calibri Ensemble из нескольких откалиброванных моделей даёт ещё больший буст.
https://arxiv.org/abs/2603.24800
Один открытый фреймворк против GPT-Image и закрытых систем восстановления изображений
Реальные фото страдают сразу от множества дефектов: размытие, шум, артефакты сжатия, блики, туман, дождь. Закрытые модели вроде GPT-Image-1 справляются хорошо, но недоступны для исследований.
Авторы из SUSTech предложили RealRestorer — открытую альтернативу. Ключевое: они построили масштабный пайплайн синтеза деградаций для 9 типов дефектов, используя SAM-2 для сегментации, MiDaS для глубины и VLM-фильтрацию плохих сэмплов. Для шума добавили segment-aware perturbations — это заметно улучшило реальный деноизинг.
На этих данных дообучили открытую image editing модель. Также представили бенчмарк RealIR-Bench из 464 реальных изображений с метриками не только качества, но и консистентности с исходником.
Результат: сравнимо с закрытыми системами, но полностью воспроизводимо.
https://arxiv.org/abs/2603.25502
Реальные фото страдают сразу от множества дефектов: размытие, шум, артефакты сжатия, блики, туман, дождь. Закрытые модели вроде GPT-Image-1 справляются хорошо, но недоступны для исследований.
Авторы из SUSTech предложили RealRestorer — открытую альтернативу. Ключевое: они построили масштабный пайплайн синтеза деградаций для 9 типов дефектов, используя SAM-2 для сегментации, MiDaS для глубины и VLM-фильтрацию плохих сэмплов. Для шума добавили segment-aware perturbations — это заметно улучшило реальный деноизинг.
На этих данных дообучили открытую image editing модель. Также представили бенчмарк RealIR-Bench из 464 реальных изображений с метриками не только качества, но и консистентности с исходником.
Результат: сравнимо с закрытыми системами, но полностью воспроизводимо.
https://arxiv.org/abs/2603.25502
Почему самодистилляция убивает математическое мышление LLM? (by Microsoft Research)
Самодистилляция — когда модель учится у самой себя, но с доступом к правильному ответу — творит чудеса в химии и агентных задачах. Но в математике она неожиданно роняет качество. Почему?
Ответ: учитель, знающий решение, рассуждает уверенно и кратко — без "Wait", "Hmm", "Perhaps". Студент учится копировать этот стиль. Но именно эти "неуверенные" токены — не мусор, а сигнал: "стоп, я мог ошибиться, проверю". Без них модель преждевременно фиксируется на неверной гипотезе.
Авторы показали: чем богаче контекст учителя, тем меньше epistemic verbalization в ответах (182 → 9 токенов неопределённости). Это ускоряет обучение на узких задачах, но убивает обобщение на разнообразной математике.
Вывод: правильность ответа в лосс-функции — недостаточный критерий. Нужно явно сохранять неопределённость в рассуждениях.
https://arxiv.org/abs/2603.24472
Самодистилляция — когда модель учится у самой себя, но с доступом к правильному ответу — творит чудеса в химии и агентных задачах. Но в математике она неожиданно роняет качество. Почему?
Ответ: учитель, знающий решение, рассуждает уверенно и кратко — без "Wait", "Hmm", "Perhaps". Студент учится копировать этот стиль. Но именно эти "неуверенные" токены — не мусор, а сигнал: "стоп, я мог ошибиться, проверю". Без них модель преждевременно фиксируется на неверной гипотезе.
Авторы показали: чем богаче контекст учителя, тем меньше epistemic verbalization в ответах (182 → 9 токенов неопределённости). Это ускоряет обучение на узких задачах, но убивает обобщение на разнообразной математике.
Вывод: правильность ответа в лосс-функции — недостаточный критерий. Нужно явно сохранять неопределённость в рассуждениях.
https://arxiv.org/abs/2603.24472
❤1
Apple ML раскрыла исследование, которое одновременно хвалит и критикует State Space Models.
SSM-модели считались главной альтернативой трансформерам: они работают быстрее на длинных текстах и потребляют меньше памяти. Но исследователи Apple доказали теоретически: SSM в принципе не способны решать по-настоящему длинные задачи — это подрывает их главное преимущество.
Однако выход нашёлся — инструменты. Если дать SSM доступ к внешним инструментам (калькуляторы, интерпретаторы кода и т.д.), модели не просто справляются с длинными задачами, но и обобщают их на произвольную длину и сложность. Эксперименты подтвердили это на арифметике, логических задачах и коде.
Вывод: SSM могут стать эффективной заменой трансформерам, но только в агентных сценариях с доступом к инструментам. Работа принята на ICLR 2026.
https://machinelearning.apple.com/research/to-infinity
SSM-модели считались главной альтернативой трансформерам: они работают быстрее на длинных текстах и потребляют меньше памяти. Но исследователи Apple доказали теоретически: SSM в принципе не способны решать по-настоящему длинные задачи — это подрывает их главное преимущество.
Однако выход нашёлся — инструменты. Если дать SSM доступ к внешним инструментам (калькуляторы, интерпретаторы кода и т.д.), модели не просто справляются с длинными задачами, но и обобщают их на произвольную длину и сложность. Эксперименты подтвердили это на арифметике, логических задачах и коде.
Вывод: SSM могут стать эффективной заменой трансформерам, но только в агентных сценариях с доступом к инструментам. Работа принята на ICLR 2026.
https://machinelearning.apple.com/research/to-infinity
Apple Machine Learning Research
To Infinity and Beyond: Tool-Use Unlocks Length Generalization in State Space Models
State Space Models (SSMs) have become the leading alternative to Transformers for sequence modeling. Their primary advantage is efficiency…
Apple ML на ICLR 2026 представила исследование о законах масштабирования LLM.
Главная проблема: обычно при обучении больших моделей ориентируются на косвенные метрики вроде потерь на предобучении, а не на реальную производительность в задачах. Это ненадёжно.
Что предложили исследователи: прямой фреймворк, который предсказывает результаты на бенчмарках прямо из бюджета вычислений. Оказалось, что при фиксированном соотношении токенов и параметров простой степенной закон точно описывает рост точности сразу на нескольких популярных задачах.
Почему важно: прямой подход даёт лучшую экстраполяцию, чем двухэтапные методы, которые накапливают ошибки. Также учитывается инференс при многократной генерации.
Проверено на моделях до 17B параметров, обученных на 350B токенов. Все данные и результаты открыты для воспроизведения.
Для индустрии это означает более предсказуемое и экономичное масштабирование моделей без лишних экспериментов.
https://machinelearning.apple.com/research/downstream-metrics
Главная проблема: обычно при обучении больших моделей ориентируются на косвенные метрики вроде потерь на предобучении, а не на реальную производительность в задачах. Это ненадёжно.
Что предложили исследователи: прямой фреймворк, который предсказывает результаты на бенчмарках прямо из бюджета вычислений. Оказалось, что при фиксированном соотношении токенов и параметров простой степенной закон точно описывает рост точности сразу на нескольких популярных задачах.
Почему важно: прямой подход даёт лучшую экстраполяцию, чем двухэтапные методы, которые накапливают ошибки. Также учитывается инференс при многократной генерации.
Проверено на моделях до 17B параметров, обученных на 350B токенов. Все данные и результаты открыты для воспроизведения.
Для индустрии это означает более предсказуемое и экономичное масштабирование моделей без лишних экспериментов.
https://machinelearning.apple.com/research/downstream-metrics
Apple Machine Learning Research
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training
While scaling laws for Large Language Models (LLMs) traditionally focus on proxy metrics like pretraining loss, predicting downstream task…
PyTorch выпустил подробный гайд по Flight Recorder — инструменту для отладки одной из самых болезненных ошибок при обучении больших моделей: NCCL watchdog timeout.
Что происходит: когда GPU-операция зависает и не завершается за 10 минут, PyTorch бросает эту ошибку. Проблема в том, что виновный ранг — не всегда тот, что первым упал, а само сообщение об ошибке почти бесполезно для диагностики.
Flight Recorder собирает телеметрию по всем рангам и позволяет быстро найти корень проблемы — будь то расхождение в CPU-коде, зависание GPU, дедлок CUDA или неверные аргументы коллективных операций.
Раньше отладка таких сбоев занимала часы и требовала перезапуска джобы с дополнительными флагами. Теперь можно разобраться значительно быстрее.
Важно для всех, кто обучает модели на нескольких GPU с DDP, FSDP или TorchRec.
https://pytorch.org/blog/flight-recorder-a-new-lens-for-understanding-nccl-watchdog-timeouts/
Что происходит: когда GPU-операция зависает и не завершается за 10 минут, PyTorch бросает эту ошибку. Проблема в том, что виновный ранг — не всегда тот, что первым упал, а само сообщение об ошибке почти бесполезно для диагностики.
Flight Recorder собирает телеметрию по всем рангам и позволяет быстро найти корень проблемы — будь то расхождение в CPU-коде, зависание GPU, дедлок CUDA или неверные аргументы коллективных операций.
Раньше отладка таких сбоев занимала часы и требовала перезапуска джобы с дополнительными флагами. Теперь можно разобраться значительно быстрее.
Важно для всех, кто обучает модели на нескольких GPU с DDP, FSDP или TorchRec.
https://pytorch.org/blog/flight-recorder-a-new-lens-for-understanding-nccl-watchdog-timeouts/
Red-teaming LLM-агентов: атаки через цепочки вызовов инструментов (by KAIST AI)
Обычный red-teaming проверяет, не напишет ли модель что-то вредное. Но LLM-агент с доступом к почте, браузеру и файловой системе — это другой уровень угрозы. Тут важно не что он говорит, а что он делает.
T-MAP — эволюционный алгоритм поиска атакующих промптов для агентов. Идея: строить Tool Call Graph — граф переходов между вызовами инструментов — и учиться на нём, что сработало, а что нет. На каждой итерации: диагностируем успехи и провалы прошлых атак, мутируем промпт с учётом структуры графа, обновляем граф и архив лучших атак.
Архив организован по двум осям: категория риска (утечка данных, финансовый ущерб и т.д.) и стиль атаки. Это даёт разнообразие, а не одну найденную дыру.
Результат: 57.8% успешных атак на реальных MCP-средах (Gmail, Slack, Playwright и др.), включая GPT-5 и Gemini-3-Pro.
https://arxiv.org/abs/2603.22341
Обычный red-teaming проверяет, не напишет ли модель что-то вредное. Но LLM-агент с доступом к почте, браузеру и файловой системе — это другой уровень угрозы. Тут важно не что он говорит, а что он делает.
T-MAP — эволюционный алгоритм поиска атакующих промптов для агентов. Идея: строить Tool Call Graph — граф переходов между вызовами инструментов — и учиться на нём, что сработало, а что нет. На каждой итерации: диагностируем успехи и провалы прошлых атак, мутируем промпт с учётом структуры графа, обновляем граф и архив лучших атак.
Архив организован по двум осям: категория риска (утечка данных, финансовый ущерб и т.д.) и стиль атаки. Это даёт разнообразие, а не одну найденную дыру.
Результат: 57.8% успешных атак на реальных MCP-средах (Gmail, Slack, Playwright и др.), включая GPT-5 и Gemini-3-Pro.
https://arxiv.org/abs/2603.22341
UI-Voyager: агент, который учится на своих ошибках (by Tencent)
Обычно неудачные попытки агента управлять телефоном просто выбрасываются. UI-Voyager решает это иначе.
Два этапа обучения:
1. Rejection Fine-Tuning — агент сам генерирует траектории, фильтрует успешные и учится на них итеративно, без ручной разметки.
2. Group Relative Self-Distillation (GRSD) — ключевая идея: находим "точки развилки" (fork points) между успешными и провальными траекториями через SSIM-сравнение скриншотов. Затем берём правильные действия из успешных траекторий и дистиллируем их прямо в контекст неудачных. Никаких внешних моделей — только сравнение внутри группы.
Результат: 4B модель достигает 81% на AndroidWorld, обходя все базовые методы и человеческий уровень.
https://arxiv.org/abs/2603.24533
Обычно неудачные попытки агента управлять телефоном просто выбрасываются. UI-Voyager решает это иначе.
Два этапа обучения:
1. Rejection Fine-Tuning — агент сам генерирует траектории, фильтрует успешные и учится на них итеративно, без ручной разметки.
2. Group Relative Self-Distillation (GRSD) — ключевая идея: находим "точки развилки" (fork points) между успешными и провальными траекториями через SSIM-сравнение скриншотов. Затем берём правильные действия из успешных траекторий и дистиллируем их прямо в контекст неудачных. Никаких внешних моделей — только сравнение внутри группы.
Результат: 4B модель достигает 81% на AndroidWorld, обходя все базовые методы и человеческий уровень.
https://arxiv.org/abs/2603.24533
Voxtral TTS от Mistral: гибридная архитектура против ElevenLabs (by Mistral AI)
Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.
Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.
Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.
Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.
https://arxiv.org/abs/2603.25551
Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.
Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.
Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.
Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.
https://arxiv.org/abs/2603.25551
Модели генерации изображений ломаются уже на 4-5 референсах — и вот почему
Хотите сгенерировать сцену с 7 персонажами из разных референсов? Даже лучшие open-source модели (Bagel, OmniGen2) начинают деградировать уже после 3-5 входных картинок. Причина банальная: нет данных для обучения.
Авторы из HKU создали MacroData — 400K сэмплов с до 10 референс-изображений на сэмпл (среднее 5.44). Датасет покрывает 4 задачи: кастомизация (несколько объектов в сцене), иллюстрация (к нарративному тексту), пространственная согласованность (novel view synthesis) и временная (предсказание кадров из видео).
Для оценки — бенчмарк MacroBench на 4000 сэмплов с LLM-as-Judge. Fine-tuning Bagel на MacroData дал существенный прирост и заметно сократил разрыв с закрытыми моделями.
Ключевой вывод: проблема была не в архитектуре, а в данных. Структурированный датасет с длинным контекстом — и модель начинает нормально работать с 10 референсами.
https://arxiv.org/abs/2603.25319
Хотите сгенерировать сцену с 7 персонажами из разных референсов? Даже лучшие open-source модели (Bagel, OmniGen2) начинают деградировать уже после 3-5 входных картинок. Причина банальная: нет данных для обучения.
Авторы из HKU создали MacroData — 400K сэмплов с до 10 референс-изображений на сэмпл (среднее 5.44). Датасет покрывает 4 задачи: кастомизация (несколько объектов в сцене), иллюстрация (к нарративному тексту), пространственная согласованность (novel view synthesis) и временная (предсказание кадров из видео).
Для оценки — бенчмарк MacroBench на 4000 сэмплов с LLM-as-Judge. Fine-tuning Bagel на MacroData дал существенный прирост и заметно сократил разрыв с закрытыми моделями.
Ключевой вывод: проблема была не в архитектуре, а в данных. Структурированный датасет с длинным контекстом — и модель начинает нормально работать с 10 референсами.
https://arxiv.org/abs/2603.25319
Код деградирует с каждой итерацией — и никто это не измерял
Большинство бенчмарков для coding-агентов проверяют: "напиши код по спецификации". Но что если спецификация меняется 5 раз подряд, и агент должен расширять свой же предыдущий код? Авторы из UW-Madison создали SlopCodeBench — 20 задач, 93 чекпоинта, где агент живёт с последствиями своих ранних архитектурных решений.
Два ключевых метрики: verbosity (рост кода без новой функциональности) и structural erosion (концентрация сложности в уже сложных функциях). Результат: erosion растёт в 80% траекторий, verbosity — в 89.8%. Код агентов в 2.2x более многословен, чем код людей, и разрыв увеличивается с каждой итерацией.
Ни один агент не решил задачу целиком. Максимальный solve rate — 17.2%. "Quality-aware" промпты снижают начальный слоп, но не замедляют деградацию.
https://arxiv.org/abs/2603.24755
Большинство бенчмарков для coding-агентов проверяют: "напиши код по спецификации". Но что если спецификация меняется 5 раз подряд, и агент должен расширять свой же предыдущий код? Авторы из UW-Madison создали SlopCodeBench — 20 задач, 93 чекпоинта, где агент живёт с последствиями своих ранних архитектурных решений.
Два ключевых метрики: verbosity (рост кода без новой функциональности) и structural erosion (концентрация сложности в уже сложных функциях). Результат: erosion растёт в 80% траекторий, verbosity — в 89.8%. Код агентов в 2.2x более многословен, чем код людей, и разрыв увеличивается с каждой итерацией.
Ни один агент не решил задачу целиком. Максимальный solve rate — 17.2%. "Quality-aware" промпты снижают начальный слоп, но не замедляют деградацию.
https://arxiv.org/abs/2603.24755
👍1
Apple ML представила LGTM — новый метод для генерации 3D-сцен в разрешении 4K.
Проблема существующих подходов на основе 3D Gaussian Splatting в том, что количество примитивов растёт квадратично с разрешением. На 4K это становится просто неподъёмным.
LGTM решает это элегантно: вместо тысяч гауссианов метод использует компактные примитивы с текстурами на каждом из них. Геометрическая сложность больше не зависит от разрешения рендеринга — они разделены.
Результат: высококачественный синтез новых ракурсов в 4K без оптимизации под каждую сцену отдельно. Раньше feed-forward методы на такое были неспособны.
Работа принята на ICLR 2026. Для разработчиков в AR/VR и 3D-графике это может стать важным шагом к реальному использованию нейронного рендеринга в высоком разрешении.
https://machinelearning.apple.com/research/less-gaussians-texture-more
Проблема существующих подходов на основе 3D Gaussian Splatting в том, что количество примитивов растёт квадратично с разрешением. На 4K это становится просто неподъёмным.
LGTM решает это элегантно: вместо тысяч гауссианов метод использует компактные примитивы с текстурами на каждом из них. Геометрическая сложность больше не зависит от разрешения рендеринга — они разделены.
Результат: высококачественный синтез новых ракурсов в 4K без оптимизации под каждую сцену отдельно. Раньше feed-forward методы на такое были неспособны.
Работа принята на ICLR 2026. Для разработчиков в AR/VR и 3D-графике это может стать важным шагом к реальному использованию нейронного рендеринга в высоком разрешении.
https://machinelearning.apple.com/research/less-gaussians-texture-more
Apple ML представила Athena — систему для генерации мобильных приложений с помощью LLM.
Проблема была в том, что создать полноценный UI через языковую модель крайне сложно: интерфейсы состоят из множества взаимосвязанных файлов — экраны, навигация, модель данных. Один большой промпт почти никогда не даёт нормального результата.
Athena решает это через промежуточные представления: сторибоард приложения, модель данных и скелеты экранов. Разработчик итеративно работает с LLM, уточняя детали на каждом этапе, а не пытается описать всё сразу. В итоге модель генерирует структурированный код в нескольких файлах с меньшим числом ошибок.
В пользовательском исследовании 75% участников предпочли Athena обычному чат-интерфейсу при прототипировании приложений.
Пока это прототип и академическая работа, но направление интересное — особенно на фоне общего тренда на AI-ассистентов для разработки.
https://machinelearning.apple.com/research/athena
Проблема была в том, что создать полноценный UI через языковую модель крайне сложно: интерфейсы состоят из множества взаимосвязанных файлов — экраны, навигация, модель данных. Один большой промпт почти никогда не даёт нормального результата.
Athena решает это через промежуточные представления: сторибоард приложения, модель данных и скелеты экранов. Разработчик итеративно работает с LLM, уточняя детали на каждом этапе, а не пытается описать всё сразу. В итоге модель генерирует структурированный код в нескольких файлах с меньшим числом ошибок.
В пользовательском исследовании 75% участников предпочли Athena обычному чат-интерфейсу при прототипировании приложений.
Пока это прототип и академическая работа, но направление интересное — особенно на фоне общего тренда на AI-ассистентов для разработки.
https://machinelearning.apple.com/research/athena
Apple Machine Learning Research
Athena: Intermediate Representations for Iterative Scaffolded App Generation with an LLM
It is challenging to generate the code for a complete user interface using a Large Language Model (LLM). User interfaces are complex and…
😁1
ShotStream: генерация многосцеников видео в реальном времени по стриминговым промптам
Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.
Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.
Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.
https://arxiv.org/abs/2603.25746
Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.
Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.
Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.
https://arxiv.org/abs/2603.25746
Обучил на 5 секундах — генерирует 2 минуты (by Shanda AI Research Tokyo)
Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.
PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности
Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.
Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).
https://arxiv.org/abs/2603.25730
Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.
PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности
Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.
Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).
https://arxiv.org/abs/2603.25730
Агенты учатся как эксперты, а не как новички
Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.
Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.
Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.
https://arxiv.org/abs/2603.25158
Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.
Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.
Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.
https://arxiv.org/abs/2603.25158
🤔1
Видеомодель «забывает» людей за кадром — и это проблема
Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.
Для решения предложены два вклада:
1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.
2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.
Идея простая и важная: мир не статичен, и память модели должна это учитывать.
https://arxiv.org/abs/2603.25716
Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.
Для решения предложены два вклада:
1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.
2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.
Идея простая и важная: мир не статичен, и память модели должна это учитывать.
https://arxiv.org/abs/2603.25716
Почему LLM-оптимизаторы не взлетают в продакшне? (by DeepMind)
Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?
DeepMind разобрали три скрытые проблемы learning loop:
1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.
2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.
3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.
Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.
https://arxiv.org/abs/2603.23994
Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?
DeepMind разобрали три скрытые проблемы learning loop:
1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.
2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.
3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.
Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.
https://arxiv.org/abs/2603.23994
ИИ-учёный, который сам пишет медицинские статьи — и одну уже приняли на конференцию
Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.
Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).
Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.
https://arxiv.org/abs/2603.28589
Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.
Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).
Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.
https://arxiv.org/abs/2603.28589