PyTorch: RadixArk выпустила Miles — фреймворк для RL-дообучения больших языковых моделей

Miles решает реальную боль: обучение с подкреплением для LLM — это уже не просто цикл обучения, а полноценная задача распределённых систем. Фреймворк объединяет SGLang для генерации, Megatron-LM для обучения и Ray для оркестрации, держа PyTorch как общий слой.

Что внутри: быстрая синхронизация весов через NCCL/RDMA, поддержка MoE-моделей (DeepSeek-V3/V4, Qwen3), low-precision рецепты, fault tolerance и асинхронный режим — rollout и обучение больше не блокируют друг друга.

Главная идея — маленькое ядро с подключаемыми модулями: логику роллаута, функции вознаграждения, лоссы и хуки можно менять без форка фреймворка.

Для исследователей и ML-инфраструктурных команд, работающих с frontier-моделями на кластерах Blackwell/Hopper, это готовая база вместо написания всего с нуля.

Проект открытый, на GitHub.

https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training/

ELDR: умный роутинг для MoE-моделей в продакшне (by Microsoft Research)

В MoE-моделях (Mixtral, Qwen, Gemma MoE) токены раскидываются по разным "экспертам". При decode-фазе узкое место — не вычисления, а загрузка весов экспертов из памяти. Ключевой инсайт: латентность зависит не от размера батча, а от числа уникальных активированных экспертов. Рост с 16 до 128 активных экспертов даёт 4.7x замедление!

Идея ELDR: запросы из одного домена (код, математика, медицина) активируют схожие эксперты. Это видно уже на этапе prefill — корреляция prefill/decode активаций 0.70–0.92. Значит, можно умно маршрутизировать похожие запросы на один decode-воркер ещё до генерации!

ELDR строит компактную "экспертную сигнатуру" из prefill-активаций, кластеризует воркеры офлайн, а онлайн балансирует locality и нагрузку. Реализовано поверх vLLM без изменения модели.

Результат: снижение медианного TPOT на 7–14% на Qwen3-30B, GPT-OSS-120B, Gemma-4-26B.

https://arxiv.org/abs/2607.00466

ASPIRE: робот учится на ошибках и не забывает уроки (by NVIDIA)

Представьте программиста-робота, который каждый раз начинает с нуля — даже после сотни задач. Именно так работают существующие robotic coding agents. ASPIRE это исправляет.

Система состоит из трёх частей:
1. Robot Execution Engine — вместо грубого "задача провалена" даёт детальные трейсы по каждому примитиву (восприятие, планирование, захват).
2. Skill Library — успешные фиксы сохраняются как переиспользуемые навыки для будущих задач.
3. Evolutionary Search — параллельно исследует разные программы и скрещивает выжившие.

Результаты впечатляют: +77 пунктов на LIBERO-Pro, +72 на Robosuite, +32 на BEHAVIOR-1K. Zero-shot трансфер на длинные задачи: 31% vs 4% у конкурентов. Навыки из симуляции работают на реальном роботе.

Ключевая идея: опыт должен накапливаться, а не выбрасываться после каждой задачи.

https://arxiv.org/abs/2607.00272

Генерация картинок 10-25× быстрее без обучения — как?

Диффузионные модели типа FLUX или Qwen-Image тратят десятки секунд на одно изображение. Авторы предложили MrFlow — многоступенчатый пайплайн, который обходит это без какого-либо дообучения.

Идея проста и элегантна: сначала генерируем изображение на низком разрешении (это в ~4× быстрее за шаг и требует меньше шагов), потом апскейлим через лёгкую GAN-сетку (Real-ESRGAN) прямо в пиксельном пространстве, добавляем слабый шум чтобы "стереть" артефакты апскейла, и финально делаем буквально 1 шаг диффузии на высоком разрешении для доработки деталей.

Ключевой инсайт: траектория flow matching почти прямая вблизи чистого изображения — поэтому на финальном этапе достаточно одного шага. В итоге: 10× ускорение при потере качества менее 1%, а в связке с distillation-моделями — до 25×.

https://arxiv.org/abs/2607.01642

NVIDIA: аппаратная защита AI без потери скорости

NVIDIA представила результаты тестов Confidential Computing (CC) — технологии, которая защищает данные, код и веса моделей прямо во время инференса, на уровне железа.

Суть: GPU Blackwell хранит приватный ключ, зашитый при производстве. Перед запуском рабочей нагрузки система проходит удалённую аттестацию — и только потом получает доступ к секретам вроде ключей расшифровки модели.

Главный результат: на HGX B300 с моделью Qwen 3.5-397B включение CC даёт потери производительности всего до 8% — то есть система работает на уровне 98% от незащищённого режима.

Почему важно: компании, работающие с чувствительными данными (медицина, финансы, госсектор), теперь могут запускать большие модели в защищённой среде без серьёзного ущерба для скорости. Раньше безопасность и производительность были трудносовместимы.

https://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/

Apple ML на ICML 2026: мультиагентные команды тормозят экспертов

Исследователи Apple ML опубликовали неудобную правду о мультиагентных LLM-системах: команды агентов стабильно проигрывают лучшему участнику в одиночку, теряя до 41% производительности на ML-задачах.

Главная проблема не в том, что агенты не могут определить эксперта — они его видят. Проблема в том, что они не умеют на него опираться. Вместо этого агенты усредняют мнения всех участников, игнорируя разницу в компетентности. Чем больше команда — тем сильнее этот эффект.

Есть и неожиданный плюс: такое «консенсусное» поведение делает систему устойчивее к вредоносным агентам. Но это слабое утешение, когда коллективный разум хуже одного специалиста.

Вывод: текущие мультиагентные архитектуры не умеют по-настоящему использовать экспертизу внутри команды. Это серьёзный вызов для всех, кто строит автономные AI-системы на основе взаимодействия агентов.

https://machinelearning.apple.com/research/multi-agent-teams-experts

Apple ML представила VideoFlexTok — новый метод токенизации видео для генеративных моделей.

Суть в том, что вместо стандартной 3D-сетки токенов (где каждый токен отвечает за локальный фрагмент кадра) видео кодируется в переменную последовательность: первые токены захватывают семантику и движение, последующие добавляют детали. Это позволяет модели не предсказывать каждый пиксель вслепую.

Что это даёт на практике:
— Сопоставимое качество генерации при модели в 5 раз меньше (1.1B против 5.2B параметров)
— Генерация 10-секундных видео (81 кадр) всего в 672 токенах — в 8 раз меньше, чем у аналогов
— Гибкость: токенов можно брать столько, сколько нужно задаче

Проще говоря, видеомодели теперь могут быть дешевле в обучении и работать с длинными роликами без взрывного роста вычислений. Статья выйдет на ICML 2026.

https://machinelearning.apple.com/research/videoflextok

Рассуждения в непрерывном пространстве без языкового бутылочного горлышка

Когда мультимодальная LLM рассуждает текстом, она теряет пространственные и визуальные нюансы — всё сжимается в дискретные токены. Авторы предлагают рассуждать прямо в непрерывном латентном пространстве, вставляя k латентных слотов в последовательность.

Ключевая проблема: при обучении постериор видит правильный ответ и учится на "утечке" — а прайор на инференсе этого не знает. Возникает train-inference mismatch.

Решение — AMVL (Asymmetric Mutual Variational Learning): обучают два KL в обе стороны асимметрично. Forward KL тянет прайор к постериору. Reverse KL не даёт постериору уходить в зоны, недостижимые для прайора на инференсе. Никакой ручной разметки латентных шагов — только сигнал от ответа.

Результат: стабильное превосходство над дискретными CoT-методами и другими latent reasoning подходами на мультимодальных бенчмарках.

https://arxiv.org/abs/2607.00461

WorldDirector: видеогенерация с памятью об объектах за кадром

Представьте: камера отворачивается от человека, он уходит за угол, а потом возвращается — и генеративная модель "помнит", как он выглядел и где находился. Большинство видеомоделей с этим не справляются: объекты за кадром "замерзают" или теряют внешность.

WorldDirector решает это через явное разделение планирования движений и рендеринга. LLM выступает дирижёром: переводит инструкции пользователя в 3D-траектории боксов, которые проецируются в 2D-условия для генерации. Отдельный механизм Appearance Binding вытаскивает RGB-фичи объекта из исторического контекста и инжектит их как визуальный якорь при повторном появлении. Spatial-aware cross-attention направляет текстовые промпты к нужным регионам кадра.

Итог: несколько независимых объектов могут одновременно двигаться по своим траекториям, пропадать и возвращаться без потери идентичности — шаг от пассивной генерации видео к настоящему интерактивному симулятору мира.

https://arxiv.org/abs/2607.02517

Как объединить несколько специализированных LLM в одну, не теряя ни одного навыка?

Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.

MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL

Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.

На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).

https://arxiv.org/abs/2606.30406

Apple ML ускоряет поиск по векторным базам данных

Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.

Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).

На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.

Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.

Код открыт: github.com/apple/ml-amips

https://machinelearning.apple.com/research/amortizing-inner-product-search

Apple ML опубликовала исследование на ICML 2026 о слабых местах VLM-моделей, обученных с помощью RL.

Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.

Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.

Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.

https://machinelearning.apple.com/research/robustness-chain-thought-consistency

Apple ML на ICML 2026 представила MemoryLLM — новый подход к интерпретируемости трансформеров.

Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.

В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.

Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.

Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.

https://machinelearning.apple.com/research/memoryllm

LLM научили управлять памятью как навыку — и это дало 2-4x прирост без смены весов задачи

Обычно внешняя память в LLM-агентах — это фиксированный модуль: векторный стор, суммаризатор. AutoMem предлагает другое: сделать операции с файловой системой (read, write, search, append) частью пространства действий агента — наравне с игровыми действиями. Хочешь запомнить — пишешь файл. Хочешь вспомнить — ищешь по нему.

Дальше два вложенных цикла оптимизации. Первый — мета-LLM читает полный трейс эпизода (до 100k шагов!) и переписывает скаффолд: код, промпты, схему файлов. Второй — тот же мета-LLM отбирает хорошие примеры работы с памятью и дообучает отдельную "memory specialist" модель через LoRA, не трогая веса задачи.

Результат на Crafter, MiniHack и NetHack: Qwen2.5-32B с AutoMem обходит Qwen2.5-72B и дотягивается до уровня Claude Opus 4.5 и Gemini 2.5 Pro. Память оказалась важнее масштаба модели.

https://arxiv.org/abs/2607.01224

Мировая модель, которая учится прямо во время планирования

Классическая проблема world model для робототехники: обучил модель, заморозил, запустил — и она ошибается, потому что реальность чуть отличается от обучающей выборки. Ошибки накапливаются по горизонту планирования, и робот делает глупости.

AdaJEPA решает это элегантно: после каждого шага MPC модель получает реальный переход (o_t, a_t, o_t+1) и делает один градиентный шаг адаптации прямо внутри цикла планирования. Никаких меток, никаких экспертных данных — только self-supervised латентная ошибка предсказания.

Цикл: спланировал → выполнил → адаптировал → переспланировал.

Обновляется только небольшое подмножество параметров, поэтому это дёшево по compute. Результат — заметный прирост на out-of-distribution задачах, особенно когда обучающих данных мало.

https://arxiv.org/abs/2606.32026

Дистилляция LLM: когда учитель с подсказками вредит больше, чем помогает

Стандартная on-policy дистилляция (OPD) — это когда студент-модель генерирует траектории, а учитель даёт пословные сигналы. Казалось бы, дай учителю подсказки (верифицированные хинты, bounding boxes) — и потолок дистилляции вырастет. Но нет!

Авторы вводят понятие "privilege illusion": часть преимущества учителя объясняется не реальными способностями, а информационной асимметрией. Слепо дистиллировать такого учителя — студент учится имитировать привилегированные исходы, а не реальные навыки. Итог: энтропийный коллапс и деградация.

Решение — DOPD: для каждого токена динамически выбирается источник супервизии (учитель или сам студент) на основе "privilege advantage gap". Там, где учитель реально лучше — учимся у него. Там, где разрыв от информации — лёгкая само-дистилляция.

Результат: +7.5 и +6.0 пунктов над Vanilla OPD на LLM и VLM задачах.

https://arxiv.org/abs/2606.30626

Один слой трансформера вместо полного RL-файнтюнинга — и результат лучше?

Исследователи задались вопросом: где именно в сети "живут" улучшения от RL post-training? Для этого они обучали по одному слою трансформера, замораживая все остальные, и измеряли, какую долю прироста от полного RL удаётся восстановить.

Результат шокирует: один средний слой способен восстановить до 114% улучшений полного RL-обучения. То есть буквально превзойти полный файнтюнинг, трогая лишь один из десятков слоёв!

Паттерн стабильный: высококонтрибутивные слои всегда в середине сети (40–60% глубины), независимо от модели (Qwen3, Qwen2.5), алгоритма (GRPO и др.) и задачи (математика, код, агентные задачи).

Практический вывод: обучение только топ-10 слоёв Qwen3-8B даёт 69.1% против 66.4% у полного RL. А ансамблирование моделей, обученных на разных слоях, даёт ещё больший прирост.

https://arxiv.org/abs/2607.01232

Мировая модель, которая учится на своих ошибках без переобучения

LLM-агенты умеют планировать, используя "модель мира" — предсказания о том, что произойдёт после действия. Проблема: мир меняется, а замороженная модель мира начинает врать. Переобучать её онлайн дорого и опасно (catastrophic forgetting).

Авторы предлагают WORLDEVOLVER: вместо обновления весов — обновляй контекст. Система ведёт два вида памяти: эпизодическую (конкретные переходы "действие → наблюдение") и семантическую (правила, выведенные из расхождений предсказания с реальностью). Когда предсказание не совпало с тем, что случилось — это фиксируется как эвристика для следующих шагов.

Плюс Selective Foresight: ненадёжные предсказания просто не передаются агенту, чтобы не навредить. Oracle-эксперимент подтверждает: шумное предсказание хуже, чем никакого.

Бенчмарки: ALFWorld, ScienceWorld, Word2World — улучшение качества планирования без единого градиентного шага.

https://arxiv.org/abs/2606.30639

В RL для агентов важно не только "выиграл/проиграл", но и что именно сделал агент на каждом шаге.

GRPO усредняет кредит по всем действиям в траектории: если агент победил — все действия поощряются, если проиграл — все наказываются. Но это создаёт два слепых пятна: полезные исследовательские действия в проигрышных траекториях незаслуженно штрафуются, а вредные действия в выигрышных — незаслуженно поощряются.

TRIAGE решает это через ролевую типизацию сегментов. LLM-судья классифицирует каждое действие агента по одной из четырёх ролей: decisive progress (прямой прогресс к цели), useful exploration (сбор информации), no-progress (безвредный холостой ход), regression (вред или повтор). Дальше для каждой роли применяются разные правила начисления кредита.

Результат: стабильный прирост на ALFWorld, SearchQA и WebShop поверх GRPO-базелайна, причём TRIAGE обходит и скалярные process reward модели, и value-бейзлайны с общим бэкбоном.

https://arxiv.org/abs/2606.32017

Скомпилируй нечёткую функцию один раз — запускай локально навсегда

Вместо того чтобы при каждом вызове дёргать GPT-API для задач вроде «отфильтруй важные строки лога» или «исправь кривой JSON», авторы предлагают парадигму Program-as-Weights (PAW): описываешь функцию на естественном языке, нейросетевой компилятор генерирует LoRA-адаптер (~23 МБ), и дальше маленькая замороженная модель-интерпретатор запускает его локально без интернета.

Схема: LLM-компилятор (Qwen3-4B) делает forward pass и через специальный LoRA mapper генерирует веса адаптера для интерпретатора (Qwen3-0.6B). Компилируешь один раз в облаке — запускаешь хоть в браузере через WebAssembly.

Результат: 0.6B-интерпретатор с PAW-программой бьёт прямой промптинг Qwen3-32B (73.78% vs 68.70% exact match) при потреблении памяти в 50 раз меньше. На MacBook M3 — 30 токенов/сек.

https://arxiv.org/abs/2607.02512

RL для LLM оптимизирует не то, что нужно — и вот почему это проблема

В современных LLM-пайплайнах с RL есть скрытый баг: модель обучается одним движком (training engine), а генерирует ответы другим (inference engine, например vLLM). Из-за разницы в квантизации и реализации эти два движка дают разные вероятности на одних и тех же токенах. Итог: улучшение training policy не гарантирует улучшение inference policy — той, что реально деплоится!

Авторы называют это objective misalignment и предлагают новый принцип MIPI: оптимизировать нужно именно inference policy монотонно. Их метод MIPU работает в два шага: сначала обновляет веса с учётом inference sampler, затем проверяет, действительно ли синхронизация улучшила inference policy, и при необходимости откатывает апдейт.

На Qwen3-1.7B и Qwen3-4B с FP8-квантизацией MIPU даёт лучшую точность и более стабильное обучение по сравнению с GRPO/DAPO.

https://arxiv.org/abs/2606.29526