Один открытый фреймворк против GPT-Image и закрытых систем восстановления изображений

Реальные фото страдают сразу от множества дефектов: размытие, шум, артефакты сжатия, блики, туман, дождь. Закрытые модели вроде GPT-Image-1 справляются хорошо, но недоступны для исследований.

Авторы из SUSTech предложили RealRestorer — открытую альтернативу. Ключевое: они построили масштабный пайплайн синтеза деградаций для 9 типов дефектов, используя SAM-2 для сегментации, MiDaS для глубины и VLM-фильтрацию плохих сэмплов. Для шума добавили segment-aware perturbations — это заметно улучшило реальный деноизинг.

На этих данных дообучили открытую image editing модель. Также представили бенчмарк RealIR-Bench из 464 реальных изображений с метриками не только качества, но и консистентности с исходником.

Результат: сравнимо с закрытыми системами, но полностью воспроизводимо.

https://arxiv.org/abs/2603.25502

Почему самодистилляция убивает математическое мышление LLM? (by Microsoft Research)

Самодистилляция — когда модель учится у самой себя, но с доступом к правильному ответу — творит чудеса в химии и агентных задачах. Но в математике она неожиданно роняет качество. Почему?

Ответ: учитель, знающий решение, рассуждает уверенно и кратко — без "Wait", "Hmm", "Perhaps". Студент учится копировать этот стиль. Но именно эти "неуверенные" токены — не мусор, а сигнал: "стоп, я мог ошибиться, проверю". Без них модель преждевременно фиксируется на неверной гипотезе.

Авторы показали: чем богаче контекст учителя, тем меньше epistemic verbalization в ответах (182 → 9 токенов неопределённости). Это ускоряет обучение на узких задачах, но убивает обобщение на разнообразной математике.

Вывод: правильность ответа в лосс-функции — недостаточный критерий. Нужно явно сохранять неопределённость в рассуждениях.

https://arxiv.org/abs/2603.24472

Apple ML раскрыла исследование, которое одновременно хвалит и критикует State Space Models.

SSM-модели считались главной альтернативой трансформерам: они работают быстрее на длинных текстах и потребляют меньше памяти. Но исследователи Apple доказали теоретически: SSM в принципе не способны решать по-настоящему длинные задачи — это подрывает их главное преимущество.

Однако выход нашёлся — инструменты. Если дать SSM доступ к внешним инструментам (калькуляторы, интерпретаторы кода и т.д.), модели не просто справляются с длинными задачами, но и обобщают их на произвольную длину и сложность. Эксперименты подтвердили это на арифметике, логических задачах и коде.

Вывод: SSM могут стать эффективной заменой трансформерам, но только в агентных сценариях с доступом к инструментам. Работа принята на ICLR 2026.

https://machinelearning.apple.com/research/to-infinity

Apple ML на ICLR 2026 представила исследование о законах масштабирования LLM.

Главная проблема: обычно при обучении больших моделей ориентируются на косвенные метрики вроде потерь на предобучении, а не на реальную производительность в задачах. Это ненадёжно.

Что предложили исследователи: прямой фреймворк, который предсказывает результаты на бенчмарках прямо из бюджета вычислений. Оказалось, что при фиксированном соотношении токенов и параметров простой степенной закон точно описывает рост точности сразу на нескольких популярных задачах.

Почему важно: прямой подход даёт лучшую экстраполяцию, чем двухэтапные методы, которые накапливают ошибки. Также учитывается инференс при многократной генерации.

Проверено на моделях до 17B параметров, обученных на 350B токенов. Все данные и результаты открыты для воспроизведения.

Для индустрии это означает более предсказуемое и экономичное масштабирование моделей без лишних экспериментов.

https://machinelearning.apple.com/research/downstream-metrics

PyTorch выпустил подробный гайд по Flight Recorder — инструменту для отладки одной из самых болезненных ошибок при обучении больших моделей: NCCL watchdog timeout.

Что происходит: когда GPU-операция зависает и не завершается за 10 минут, PyTorch бросает эту ошибку. Проблема в том, что виновный ранг — не всегда тот, что первым упал, а само сообщение об ошибке почти бесполезно для диагностики.

Flight Recorder собирает телеметрию по всем рангам и позволяет быстро найти корень проблемы — будь то расхождение в CPU-коде, зависание GPU, дедлок CUDA или неверные аргументы коллективных операций.

Раньше отладка таких сбоев занимала часы и требовала перезапуска джобы с дополнительными флагами. Теперь можно разобраться значительно быстрее.

Важно для всех, кто обучает модели на нескольких GPU с DDP, FSDP или TorchRec.

https://pytorch.org/blog/flight-recorder-a-new-lens-for-understanding-nccl-watchdog-timeouts/

Red-teaming LLM-агентов: атаки через цепочки вызовов инструментов (by KAIST AI)

Обычный red-teaming проверяет, не напишет ли модель что-то вредное. Но LLM-агент с доступом к почте, браузеру и файловой системе — это другой уровень угрозы. Тут важно не что он говорит, а что он делает.

T-MAP — эволюционный алгоритм поиска атакующих промптов для агентов. Идея: строить Tool Call Graph — граф переходов между вызовами инструментов — и учиться на нём, что сработало, а что нет. На каждой итерации: диагностируем успехи и провалы прошлых атак, мутируем промпт с учётом структуры графа, обновляем граф и архив лучших атак.

Архив организован по двум осям: категория риска (утечка данных, финансовый ущерб и т.д.) и стиль атаки. Это даёт разнообразие, а не одну найденную дыру.

Результат: 57.8% успешных атак на реальных MCP-средах (Gmail, Slack, Playwright и др.), включая GPT-5 и Gemini-3-Pro.

https://arxiv.org/abs/2603.22341

UI-Voyager: агент, который учится на своих ошибках (by Tencent)

Обычно неудачные попытки агента управлять телефоном просто выбрасываются. UI-Voyager решает это иначе.

Два этапа обучения:
1. Rejection Fine-Tuning — агент сам генерирует траектории, фильтрует успешные и учится на них итеративно, без ручной разметки.
2. Group Relative Self-Distillation (GRSD) — ключевая идея: находим "точки развилки" (fork points) между успешными и провальными траекториями через SSIM-сравнение скриншотов. Затем берём правильные действия из успешных траекторий и дистиллируем их прямо в контекст неудачных. Никаких внешних моделей — только сравнение внутри группы.

Результат: 4B модель достигает 81% на AndroidWorld, обходя все базовые методы и человеческий уровень.

https://arxiv.org/abs/2603.24533

Voxtral TTS от Mistral: гибридная архитектура против ElevenLabs (by Mistral AI)

Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.

Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.

Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.

Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.

https://arxiv.org/abs/2603.25551

Модели генерации изображений ломаются уже на 4-5 референсах — и вот почему

Хотите сгенерировать сцену с 7 персонажами из разных референсов? Даже лучшие open-source модели (Bagel, OmniGen2) начинают деградировать уже после 3-5 входных картинок. Причина банальная: нет данных для обучения.

Авторы из HKU создали MacroData — 400K сэмплов с до 10 референс-изображений на сэмпл (среднее 5.44). Датасет покрывает 4 задачи: кастомизация (несколько объектов в сцене), иллюстрация (к нарративному тексту), пространственная согласованность (novel view synthesis) и временная (предсказание кадров из видео).

Для оценки — бенчмарк MacroBench на 4000 сэмплов с LLM-as-Judge. Fine-tuning Bagel на MacroData дал существенный прирост и заметно сократил разрыв с закрытыми моделями.

Ключевой вывод: проблема была не в архитектуре, а в данных. Структурированный датасет с длинным контекстом — и модель начинает нормально работать с 10 референсами.

https://arxiv.org/abs/2603.25319

Код деградирует с каждой итерацией — и никто это не измерял

Большинство бенчмарков для coding-агентов проверяют: "напиши код по спецификации". Но что если спецификация меняется 5 раз подряд, и агент должен расширять свой же предыдущий код? Авторы из UW-Madison создали SlopCodeBench — 20 задач, 93 чекпоинта, где агент живёт с последствиями своих ранних архитектурных решений.

Два ключевых метрики: verbosity (рост кода без новой функциональности) и structural erosion (концентрация сложности в уже сложных функциях). Результат: erosion растёт в 80% траекторий, verbosity — в 89.8%. Код агентов в 2.2x более многословен, чем код людей, и разрыв увеличивается с каждой итерацией.

Ни один агент не решил задачу целиком. Максимальный solve rate — 17.2%. "Quality-aware" промпты снижают начальный слоп, но не замедляют деградацию.

https://arxiv.org/abs/2603.24755

Apple ML представила LGTM — новый метод для генерации 3D-сцен в разрешении 4K.

Проблема существующих подходов на основе 3D Gaussian Splatting в том, что количество примитивов растёт квадратично с разрешением. На 4K это становится просто неподъёмным.

LGTM решает это элегантно: вместо тысяч гауссианов метод использует компактные примитивы с текстурами на каждом из них. Геометрическая сложность больше не зависит от разрешения рендеринга — они разделены.

Результат: высококачественный синтез новых ракурсов в 4K без оптимизации под каждую сцену отдельно. Раньше feed-forward методы на такое были неспособны.

Работа принята на ICLR 2026. Для разработчиков в AR/VR и 3D-графике это может стать важным шагом к реальному использованию нейронного рендеринга в высоком разрешении.

https://machinelearning.apple.com/research/less-gaussians-texture-more

Apple ML представила Athena — систему для генерации мобильных приложений с помощью LLM.

Проблема была в том, что создать полноценный UI через языковую модель крайне сложно: интерфейсы состоят из множества взаимосвязанных файлов — экраны, навигация, модель данных. Один большой промпт почти никогда не даёт нормального результата.

Athena решает это через промежуточные представления: сторибоард приложения, модель данных и скелеты экранов. Разработчик итеративно работает с LLM, уточняя детали на каждом этапе, а не пытается описать всё сразу. В итоге модель генерирует структурированный код в нескольких файлах с меньшим числом ошибок.

В пользовательском исследовании 75% участников предпочли Athena обычному чат-интерфейсу при прототипировании приложений.

Пока это прототип и академическая работа, но направление интересное — особенно на фоне общего тренда на AI-ассистентов для разработки.

https://machinelearning.apple.com/research/athena

ShotStream: генерация многосцеников видео в реальном времени по стриминговым промптам

Существующие модели для генерации многосценарного видео (типа HoloCine) требуют сразу все промпты и тратят ~25 минут на 240 кадров — никакой интерактивности. ShotStream решает это, переформулируя задачу как авторегрессионную: каждый следующий шот генерируется поверх предыдущих, принимая промпты на лету.

Ключевые трюки:
1. Двойной кеш памяти — глобальный (sparse-кадры из истории) + локальный (текущий шот), разделённые через RoPE discontinuity indicator.
2. Дистилляция учитель→ученик: медленная bidirectional модель → быстрая 4-шаговая causal модель через Distribution Matching Distillation.
3. Двухэтапная прогрессивная дистилляция против накопления ошибок: сначала на ground-truth истории, потом на самогенерированной.

Результат: 16 FPS на одном H200, нарративно-связные видео, пользователь может менять стиль/персонажей прямо в процессе генерации.

https://arxiv.org/abs/2603.25746

Обучил на 5 секундах — генерирует 2 минуты (by Shanda AI Research Tokyo)

Главная боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а обрезать его — значит потерять долгосрочную связность. 2-минутное видео 832×480 при 16 FPS = 749K токенов = 138 ГБ только под KV-кэш. Это нереально.

PackForcing решает это трёхуровневым KV-кэшем:
1. Sink-токены — первые кадры, никогда не удаляются (семантический якорь)
2. Сжатые средние токены — 128× сжатие через dual-branch сеть (3D свёртки + low-res re-encoding)
3. Недавние токены — полное разрешение для локальной связности

Итого: не более ~27K токенов на слой при любой длине видео. Плюс incremental RoPE rotation, чтобы позиционные индексы не ломались при сжатии.

Результат: модель, обученная только на 5-секундных клипах, генерирует 2-минутные видео без деградации CLIP-score (у конкурентов он падает с 33.89 до 27.12).

https://arxiv.org/abs/2603.25730

Агенты учатся как эксперты, а не как новички

Большинство систем обучения LLM-агентов работают онлайн: пришла новая траектория — обновили навык. Это как редактировать инструкцию, не дочитав все примеры. Trace2Skill делает иначе: сначала собирает пул траекторий параллельно, потом флот sub-агентов анализирует успехи и ошибки, предлагает патчи, и всё это иерархически сливается в один цельный skill-документ.

Главный сюрприз: скилл, выученный на задачах редактирования таблиц моделью 35B, переносится на 122B-модель и на совершенно другой домен (Wikipedia QA). То есть опыт можно дистиллировать в обобщаемые декларативные знания — без retrieval-модуля и без обновления весов.

Параллельный подход бьёт последовательный онлайн, один скилл бьёт retrieval-банк опыта. И всё это работает на open-source моделях без зависимости от проприетарных гигантов.

https://arxiv.org/abs/2603.25158

Видеомодель «забывает» людей за кадром — и это проблема

Современные видео world models неплохо запоминают статичные сцены, но как только персонаж уходит за край кадра — всё. При возвращении он либо замирает статуей, либо деформируется, либо вовсе исчезает. Авторы называют это проблемой Hybrid Memory: модель должна одновременно помнить фон И предсказывать невидимое движение объектов.

Для решения предложены два вклада:

1. Датасет HM-World — 59K видеоклипов из Unreal Engine 5, где персонажи (49 типов: люди, животные) специально уходят и возвращаются в кадр. Траектории камеры и субъектов намеренно разделены.

2. Метод HyDRA — механизм памяти с Memory Tokenizer, который сжимает историю в токены. Когда объект должен вернуться, spatiotemporal retrieval вытаскивает нужные motion-cues прямо в процесс диффузии.

Идея простая и важная: мир не статичен, и память модели должна это учитывать.

https://arxiv.org/abs/2603.25716

Почему LLM-оптимизаторы не взлетают в продакшне? (by DeepMind)

Все слышали про системы, где LLM сам итеративно улучшает код или промпты. Но в реальных продуктах такое почти не используется — лишь 9% систем применяют хоть какую-то автоматическую оптимизацию. Почему?

DeepMind разобрали три скрытые проблемы learning loop:

1. Starting artifact — с чего начать? Разные начальные условия ведут к принципиально разным решениям, как инициализация весов в нейросетях.

2. Credit horizon — сколько шагов включать в контекст? Слишком короткий горизонт = плохая оптимизация, слишком длинный = шум. Аналог truncated BPTT.

3. Experience batching — сколько примеров давать оптимизатору за раз? Прямая аналогия с batch size в SGD.

Вывод: проблемы LLM-оптимизации — это те же старые проблемы ML, просто плохо изученные в новом контексте. Инженеры тратят огромные усилия на настройку вслепую, потому что теории пока нет.

https://arxiv.org/abs/2603.23994

ИИ-учёный, который сам пишет медицинские статьи — и одну уже приняли на конференцию

Представьте: даёте системе медицинский вопрос, а она сама роется в литературе, придумывает гипотезу, запускает эксперименты, пишет статью — и всё это без человека в петле. Именно это и есть Medical AI Scientist.

Система состоит из трёх агентов: Idea Proposer (ищет клинические паттерны и генерирует гипотезы через совместное рассуждение "клиницист + инженер"), Experimental Executor (запускает и самоисправляет эксперименты на гетерогенных медданных) и Manuscript Composer (пишет статью с учётом этических норм публикации).

Для оценки авторы собрали Med-AI Bench: 171 кейс, 19 задач, 6 медицинских модальностей. Сгенерированные статьи набрали 4.60/5 от экспертов в слепом сравнении с работами с MICCAI и ISBI. Одну статью системы уже приняли на реальную конференцию после пир-ревью.

https://arxiv.org/abs/2603.28589

ResAdapt: зачем сжимать токены после энкодера, если можно дать каждому кадру свой бюджет заранее?

Большинство методов эффективного видео-понимания работают постфактум: сначала кодируют все кадры в полном разрешении, потом режут токены. Проблема — важные детали уже потеряны, и архитектура модели нарушена.

ResAdapt идёт другим путём: лёгкий Allocator смотрит на грубые визуальные фичи и текстовый запрос, и ДО энкодинга решает, какое разрешение дать каждому кадру. Backbone получает стандартный поток токенов — ничего не сломано, flash attention работает как обычно.

Чтобы обучить такую политику (действие непрерывное, оператор недифференцируем), авторы придумали CAPO — асимметричную RL-оптимизацию с динамическим пивотом стоимости и регуляризатором на похожие соседние кадры.

Результат: при сжатии 90%+ визуальных токенов ResAdapt на Pareto-фронтире, а при равном бюджете обрабатывает в 16× больше кадров с приростом >15% на reasoning-бенчмарках.

https://arxiv.org/abs/2603.28610

LLM учится эволюционно улучшать GPU-ядра, а не генерировать их с нуля

Kernel-Smith — система для автоматической оптимизации GPU-ядер (CUDA/Triton), где LLM работает не как генератор с нуля, а как "локальный улучшатель" внутри эволюционного поиска. Ключевая идея: вместо того чтобы учить модель на полных траекториях оптимизации, авторы вырезают из них только "атомарные улучшения" — шаги с максимальным приростом скорости без потери корректности. Это и идёт в SFT и RL как обучающий сигнал. Второй кит — стабильная оценка кандидатов: повторные замеры + удаление выбросов, чтобы эволюция не выкидывала хорошие ядра из-за шума профилировщика. Kernel-Smith-235B-RL обгоняет Claude и Gemini на KernelBench, а pull request'ы в SGLang и LMDeploy подтверждают, что это работает в реальных репозиториях.

https://arxiv.org/abs/2603.28342