Генерация картинок 10-25× быстрее без обучения — как?

Диффузионные модели типа FLUX или Qwen-Image тратят десятки секунд на одно изображение. Авторы предложили MrFlow — многоступенчатый пайплайн, который обходит это без какого-либо дообучения.

Идея проста и элегантна: сначала генерируем изображение на низком разрешении (это в ~4× быстрее за шаг и требует меньше шагов), потом апскейлим через лёгкую GAN-сетку (Real-ESRGAN) прямо в пиксельном пространстве, добавляем слабый шум чтобы "стереть" артефакты апскейла, и финально делаем буквально 1 шаг диффузии на высоком разрешении для доработки деталей.

Ключевой инсайт: траектория flow matching почти прямая вблизи чистого изображения — поэтому на финальном этапе достаточно одного шага. В итоге: 10× ускорение при потере качества менее 1%, а в связке с distillation-моделями — до 25×.

https://arxiv.org/abs/2607.01642

NVIDIA: аппаратная защита AI без потери скорости

NVIDIA представила результаты тестов Confidential Computing (CC) — технологии, которая защищает данные, код и веса моделей прямо во время инференса, на уровне железа.

Суть: GPU Blackwell хранит приватный ключ, зашитый при производстве. Перед запуском рабочей нагрузки система проходит удалённую аттестацию — и только потом получает доступ к секретам вроде ключей расшифровки модели.

Главный результат: на HGX B300 с моделью Qwen 3.5-397B включение CC даёт потери производительности всего до 8% — то есть система работает на уровне 98% от незащищённого режима.

Почему важно: компании, работающие с чувствительными данными (медицина, финансы, госсектор), теперь могут запускать большие модели в защищённой среде без серьёзного ущерба для скорости. Раньше безопасность и производительность были трудносовместимы.

https://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/

Apple ML на ICML 2026: мультиагентные команды тормозят экспертов

Исследователи Apple ML опубликовали неудобную правду о мультиагентных LLM-системах: команды агентов стабильно проигрывают лучшему участнику в одиночку, теряя до 41% производительности на ML-задачах.

Главная проблема не в том, что агенты не могут определить эксперта — они его видят. Проблема в том, что они не умеют на него опираться. Вместо этого агенты усредняют мнения всех участников, игнорируя разницу в компетентности. Чем больше команда — тем сильнее этот эффект.

Есть и неожиданный плюс: такое «консенсусное» поведение делает систему устойчивее к вредоносным агентам. Но это слабое утешение, когда коллективный разум хуже одного специалиста.

Вывод: текущие мультиагентные архитектуры не умеют по-настоящему использовать экспертизу внутри команды. Это серьёзный вызов для всех, кто строит автономные AI-системы на основе взаимодействия агентов.

https://machinelearning.apple.com/research/multi-agent-teams-experts

Apple ML представила VideoFlexTok — новый метод токенизации видео для генеративных моделей.

Суть в том, что вместо стандартной 3D-сетки токенов (где каждый токен отвечает за локальный фрагмент кадра) видео кодируется в переменную последовательность: первые токены захватывают семантику и движение, последующие добавляют детали. Это позволяет модели не предсказывать каждый пиксель вслепую.

Что это даёт на практике:
— Сопоставимое качество генерации при модели в 5 раз меньше (1.1B против 5.2B параметров)
— Генерация 10-секундных видео (81 кадр) всего в 672 токенах — в 8 раз меньше, чем у аналогов
— Гибкость: токенов можно брать столько, сколько нужно задаче

Проще говоря, видеомодели теперь могут быть дешевле в обучении и работать с длинными роликами без взрывного роста вычислений. Статья выйдет на ICML 2026.

https://machinelearning.apple.com/research/videoflextok

Рассуждения в непрерывном пространстве без языкового бутылочного горлышка

Когда мультимодальная LLM рассуждает текстом, она теряет пространственные и визуальные нюансы — всё сжимается в дискретные токены. Авторы предлагают рассуждать прямо в непрерывном латентном пространстве, вставляя k латентных слотов в последовательность.

Ключевая проблема: при обучении постериор видит правильный ответ и учится на "утечке" — а прайор на инференсе этого не знает. Возникает train-inference mismatch.

Решение — AMVL (Asymmetric Mutual Variational Learning): обучают два KL в обе стороны асимметрично. Forward KL тянет прайор к постериору. Reverse KL не даёт постериору уходить в зоны, недостижимые для прайора на инференсе. Никакой ручной разметки латентных шагов — только сигнал от ответа.

Результат: стабильное превосходство над дискретными CoT-методами и другими latent reasoning подходами на мультимодальных бенчмарках.

https://arxiv.org/abs/2607.00461

WorldDirector: видеогенерация с памятью об объектах за кадром

Представьте: камера отворачивается от человека, он уходит за угол, а потом возвращается — и генеративная модель "помнит", как он выглядел и где находился. Большинство видеомоделей с этим не справляются: объекты за кадром "замерзают" или теряют внешность.

WorldDirector решает это через явное разделение планирования движений и рендеринга. LLM выступает дирижёром: переводит инструкции пользователя в 3D-траектории боксов, которые проецируются в 2D-условия для генерации. Отдельный механизм Appearance Binding вытаскивает RGB-фичи объекта из исторического контекста и инжектит их как визуальный якорь при повторном появлении. Spatial-aware cross-attention направляет текстовые промпты к нужным регионам кадра.

Итог: несколько независимых объектов могут одновременно двигаться по своим траекториям, пропадать и возвращаться без потери идентичности — шаг от пассивной генерации видео к настоящему интерактивному симулятору мира.

https://arxiv.org/abs/2607.02517

Как объединить несколько специализированных LLM в одну, не теряя ни одного навыка?

Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.

MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL

Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.

На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).

https://arxiv.org/abs/2606.30406

Apple ML ускоряет поиск по векторным базам данных

Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.

Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).

На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.

Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.

Код открыт: github.com/apple/ml-amips

https://machinelearning.apple.com/research/amortizing-inner-product-search

Apple ML опубликовала исследование на ICML 2026 о слабых местах VLM-моделей, обученных с помощью RL.

Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.

Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.

Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.

https://machinelearning.apple.com/research/robustness-chain-thought-consistency

Apple ML на ICML 2026 представила MemoryLLM — новый подход к интерпретируемости трансформеров.

Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.

В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.

Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.

Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.

https://machinelearning.apple.com/research/memoryllm

LLM научили управлять памятью как навыку — и это дало 2-4x прирост без смены весов задачи

Обычно внешняя память в LLM-агентах — это фиксированный модуль: векторный стор, суммаризатор. AutoMem предлагает другое: сделать операции с файловой системой (read, write, search, append) частью пространства действий агента — наравне с игровыми действиями. Хочешь запомнить — пишешь файл. Хочешь вспомнить — ищешь по нему.

Дальше два вложенных цикла оптимизации. Первый — мета-LLM читает полный трейс эпизода (до 100k шагов!) и переписывает скаффолд: код, промпты, схему файлов. Второй — тот же мета-LLM отбирает хорошие примеры работы с памятью и дообучает отдельную "memory specialist" модель через LoRA, не трогая веса задачи.

Результат на Crafter, MiniHack и NetHack: Qwen2.5-32B с AutoMem обходит Qwen2.5-72B и дотягивается до уровня Claude Opus 4.5 и Gemini 2.5 Pro. Память оказалась важнее масштаба модели.

https://arxiv.org/abs/2607.01224

Мировая модель, которая учится прямо во время планирования

Классическая проблема world model для робототехники: обучил модель, заморозил, запустил — и она ошибается, потому что реальность чуть отличается от обучающей выборки. Ошибки накапливаются по горизонту планирования, и робот делает глупости.

AdaJEPA решает это элегантно: после каждого шага MPC модель получает реальный переход (o_t, a_t, o_t+1) и делает один градиентный шаг адаптации прямо внутри цикла планирования. Никаких меток, никаких экспертных данных — только self-supervised латентная ошибка предсказания.

Цикл: спланировал → выполнил → адаптировал → переспланировал.

Обновляется только небольшое подмножество параметров, поэтому это дёшево по compute. Результат — заметный прирост на out-of-distribution задачах, особенно когда обучающих данных мало.

https://arxiv.org/abs/2606.32026

Дистилляция LLM: когда учитель с подсказками вредит больше, чем помогает

Стандартная on-policy дистилляция (OPD) — это когда студент-модель генерирует траектории, а учитель даёт пословные сигналы. Казалось бы, дай учителю подсказки (верифицированные хинты, bounding boxes) — и потолок дистилляции вырастет. Но нет!

Авторы вводят понятие "privilege illusion": часть преимущества учителя объясняется не реальными способностями, а информационной асимметрией. Слепо дистиллировать такого учителя — студент учится имитировать привилегированные исходы, а не реальные навыки. Итог: энтропийный коллапс и деградация.

Решение — DOPD: для каждого токена динамически выбирается источник супервизии (учитель или сам студент) на основе "privilege advantage gap". Там, где учитель реально лучше — учимся у него. Там, где разрыв от информации — лёгкая само-дистилляция.

Результат: +7.5 и +6.0 пунктов над Vanilla OPD на LLM и VLM задачах.

https://arxiv.org/abs/2606.30626

Один слой трансформера вместо полного RL-файнтюнинга — и результат лучше?

Исследователи задались вопросом: где именно в сети "живут" улучшения от RL post-training? Для этого они обучали по одному слою трансформера, замораживая все остальные, и измеряли, какую долю прироста от полного RL удаётся восстановить.

Результат шокирует: один средний слой способен восстановить до 114% улучшений полного RL-обучения. То есть буквально превзойти полный файнтюнинг, трогая лишь один из десятков слоёв!

Паттерн стабильный: высококонтрибутивные слои всегда в середине сети (40–60% глубины), независимо от модели (Qwen3, Qwen2.5), алгоритма (GRPO и др.) и задачи (математика, код, агентные задачи).

Практический вывод: обучение только топ-10 слоёв Qwen3-8B даёт 69.1% против 66.4% у полного RL. А ансамблирование моделей, обученных на разных слоях, даёт ещё больший прирост.

https://arxiv.org/abs/2607.01232

Мировая модель, которая учится на своих ошибках без переобучения

LLM-агенты умеют планировать, используя "модель мира" — предсказания о том, что произойдёт после действия. Проблема: мир меняется, а замороженная модель мира начинает врать. Переобучать её онлайн дорого и опасно (catastrophic forgetting).

Авторы предлагают WORLDEVOLVER: вместо обновления весов — обновляй контекст. Система ведёт два вида памяти: эпизодическую (конкретные переходы "действие → наблюдение") и семантическую (правила, выведенные из расхождений предсказания с реальностью). Когда предсказание не совпало с тем, что случилось — это фиксируется как эвристика для следующих шагов.

Плюс Selective Foresight: ненадёжные предсказания просто не передаются агенту, чтобы не навредить. Oracle-эксперимент подтверждает: шумное предсказание хуже, чем никакого.

Бенчмарки: ALFWorld, ScienceWorld, Word2World — улучшение качества планирования без единого градиентного шага.

https://arxiv.org/abs/2606.30639

В RL для агентов важно не только "выиграл/проиграл", но и что именно сделал агент на каждом шаге.

GRPO усредняет кредит по всем действиям в траектории: если агент победил — все действия поощряются, если проиграл — все наказываются. Но это создаёт два слепых пятна: полезные исследовательские действия в проигрышных траекториях незаслуженно штрафуются, а вредные действия в выигрышных — незаслуженно поощряются.

TRIAGE решает это через ролевую типизацию сегментов. LLM-судья классифицирует каждое действие агента по одной из четырёх ролей: decisive progress (прямой прогресс к цели), useful exploration (сбор информации), no-progress (безвредный холостой ход), regression (вред или повтор). Дальше для каждой роли применяются разные правила начисления кредита.

Результат: стабильный прирост на ALFWorld, SearchQA и WebShop поверх GRPO-базелайна, причём TRIAGE обходит и скалярные process reward модели, и value-бейзлайны с общим бэкбоном.

https://arxiv.org/abs/2606.32017

Скомпилируй нечёткую функцию один раз — запускай локально навсегда

Вместо того чтобы при каждом вызове дёргать GPT-API для задач вроде «отфильтруй важные строки лога» или «исправь кривой JSON», авторы предлагают парадигму Program-as-Weights (PAW): описываешь функцию на естественном языке, нейросетевой компилятор генерирует LoRA-адаптер (~23 МБ), и дальше маленькая замороженная модель-интерпретатор запускает его локально без интернета.

Схема: LLM-компилятор (Qwen3-4B) делает forward pass и через специальный LoRA mapper генерирует веса адаптера для интерпретатора (Qwen3-0.6B). Компилируешь один раз в облаке — запускаешь хоть в браузере через WebAssembly.

Результат: 0.6B-интерпретатор с PAW-программой бьёт прямой промптинг Qwen3-32B (73.78% vs 68.70% exact match) при потреблении памяти в 50 раз меньше. На MacBook M3 — 30 токенов/сек.

https://arxiv.org/abs/2607.02512

RL для LLM оптимизирует не то, что нужно — и вот почему это проблема

В современных LLM-пайплайнах с RL есть скрытый баг: модель обучается одним движком (training engine), а генерирует ответы другим (inference engine, например vLLM). Из-за разницы в квантизации и реализации эти два движка дают разные вероятности на одних и тех же токенах. Итог: улучшение training policy не гарантирует улучшение inference policy — той, что реально деплоится!

Авторы называют это objective misalignment и предлагают новый принцип MIPI: оптимизировать нужно именно inference policy монотонно. Их метод MIPU работает в два шага: сначала обновляет веса с учётом inference sampler, затем проверяет, действительно ли синхронизация улучшила inference policy, и при необходимости откатывает апдейт.

На Qwen3-1.7B и Qwen3-4B с FP8-квантизацией MIPU даёт лучшую точность и более стабильное обучение по сравнению с GRPO/DAPO.

https://arxiv.org/abs/2606.29526

Nvidia представила технологию Nonuniform Tensor Parallelism (NTP) для повышения эффективности обучения больших языковых моделей на тысячах GPU.

Суть проблемы: при обучении LLM на крупных кластерах даже временный сбой одного GPU может затормозить весь процесс из-за тесной синхронизации между устройствами.

Что делает NTP: технология динамически перераспределяет нагрузку между оставшимися рабочими GPU при выходе одного из строя. Если в группе из 8 GPU один отказал — система автоматически перестраивается на 7. Дополнительно активируется разгон оставшихся GPU по питанию и частоте, чтобы они не отставали от других реплик. Перераспределение данных происходит параллельно с вычислениями — накладные расходы менее 1%.

Почему важно: вместо полной остановки обучения или потери прогресса кластер продолжает работу почти без потерь производительности. Технология проверена на системах Blackwell и Blackwell Ultra с NVLink-доменами до 72 GPU.

https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism/

IBM Research совместно с Oak Ridge National Laboratory и Cleveland Clinic сделали шаг к решению ключевой проблемы термоядерной энергетики.

Суть: термоядерный реактор должен сам производить топливо — тритий. Его можно получать из расплавленной соли вокруг реактора, но химия этого процесса настолько сложна, что классические компьютеры не справляются с точным моделированием.

Исследователи применили квантово-классический гибридный подход: классические компьютеры решают простые фрагменты молекул, квантовый компьютер берёт на себя сложные кластеры с высоким уровнем запутанности. Результаты совпали с лучшими классическими методами.

Пока это ранний proof of concept на кластерах из 21 иона, а реальный реактор — триллионы триллионов частиц. Но направление задано: квантовые компьютеры, суперкомпьютеры и ИИ в одном цикле для проектирования оптимальных материалов реактора.

https://research.ibm.com/blog/molten-salts-fusion-quantum?utm_medium=rss&utm_source=rss

Apple ML опубликовала исследование по исправлению ошибок в распознавании речи (ASR).

Проблема: большинство языковых моделей не знают о специфических паттернах ошибок ASR, а большие LLM хоть и помогают, но медленные и склонны к галлюцинациям.

Решение Apple: компактная seq2seq-модель, обученная на реальных и синтетических ASR-ошибках. Ключевая находка — важна не просто синтетика, а разнообразие ошибок, близкое к реальному. Также предложен новый подход correction-first decoding, где кандидаты перевзвешиваются акустическими оценками ASR.

Результат: модель в 15 раз меньше LLM, но достигает WER 1.5/3.3% на LibriSpeech и обходит LLM-конкурентов. Работает с разными архитектурами ASR и особенно хороша там, где LLM традиционно буксуют — в режиме малого числа ошибок.

Для пользователей это значит: более точный и быстрый голосовой ввод на устройствах Apple без лишней нагрузки на железо.

https://machinelearning.apple.com/research/asr-error-correction