Apple ML представила SpecMD — фреймворк для оптимизации MoE-моделей.

Mixture-of-Experts модели активируют только часть параметров при каждом запросе, но эффективно использовать эту разреженность мешает отсутствие умного кэширования. Предыдущие решения работали вслепую — никто толком не понимал, как разные стратегии кэша ведут себя на разном железе.

SpecMD — стандартизированный бенчмарк для сравнения политик кэширования экспертов. Главный вывод: классические алгоритмы LRU и LFU не работают для MoE, потому что доступ к экспертам не подчиняется временной локальности.

Команда предложила новую политику вытеснения Least-Stale, которая использует предсказуемые паттерны MoE. Результат: до 85x меньше коллизий по сравнению с LRU, 88% попаданий в кэш и сокращение времени до первого токена на 34,7% — при использовании всего 0,6 ГБ VRAM.

Статья принята на ICML 2026.

https://machinelearning.apple.com/research/specmd-expert-prefetching

Apple ML представила iTARFlow — улучшенную версию генеративных моделей на основе Normalizing Flows.

Суть: исследователи взяли архитектуру TARFlow и добавили к ней итеративное шумоподавление в стиле диффузионных моделей — но без отказа от ключевого преимущества NF, а именно полноценного likelihood-based обучения.

Что важно: диффузионные модели сейчас доминируют в генерации изображений, но iTARFlow показывает конкурентные результаты на ImageNet при разрешениях 64, 128 и 256 пикселей, оставаясь при этом математически более прозрачным и обучаемым end-to-end.

Для кого это важно: прежде всего для исследователей — работа показывает, что Normalizing Flows ещё не исчерпали свой потенциал и могут стать реальной альтернативой диффузии. Код уже открыт на GitHub.

Статья выйдет на ICML 2026.

https://machinelearning.apple.com/research/normalizing-flows-iterative-denoising

RLDX-1: робот-манипулятор, который видит, чувствует и помнит (by RLWRLD)

Современные VLA-модели (Vision-Language-Action) умеют понимать сцены и следовать инструкциям, но плохо справляются с динамическими задачами — ловить движущиеся объекты, чувствовать контакт, помнить прошлые действия. RLDX-1 решает это через архитектуру Multi-Stream Action Transformer (MSAT): отдельные потоки для каждой модальности (видео, тактильность, память) с joint self-attention между ними.

Три ключевых фишки: motion awareness (сжатие прошлых кадров в один токен), long-term memory (очередь прошлых наблюдений), physical sensing (предсказание тактильных/торковых сигналов).

Результат: на задачах с гуманоидом ALLEX — 86.8% против ~40% у π0.5 и GR00T N1.6. Ловля объектов на конвейере: 87.5% vs 29.2% у π0.5.

Ещё оптимизировали инференс через CUDA Graph + кастомные kernel fusion — с 71.2 мс до реального времени на RTX 5090.

https://arxiv.org/abs/2605.03269

OpenSearch-VL: открытый рецепт мультимодального поискового агента (by Tencent)

Большинство сильных мультимодальных поисковых агентов — закрытые разработки крупных корпораций. Tencent Hunyuan выкладывает полный открытый рецепт: данные, код, модели.

Три ключевые идеи:

1. Данные из Wikipedia-графа. Агент строит многошаговые VQA-задачи по цепочкам сущностей, переписывая промежуточные узлы в «размытые» описания — чтобы нельзя было срезать путь одним поиском.

2. Инструменты не только поиск. Помимо TextSearch/ImageSearch агент умеет кропать, повышать резкость, делать суперрезолюцию и исправлять перспективу — для работы с реальными кривыми фото и скриншотами.

3. Fatal-aware GRPO. При обучении с RL токены после «фатального» сбоя инструмента маскируются, а полезные рассуждения до сбоя сохраняются через одностороннее зажатие advantage.

Итог: +13.8 пунктов в среднем по 7 бенчмаркам над Qwen3-VL-30B-A3B.

https://arxiv.org/abs/2605.05185

Test-Time Scaling для стриминговой генерации видео — теперь чанк за чанком

Генерировать длинные видео качественно всё ещё больно: диффузионные модели жрут память, теряют консистентность, а любой артефакт в середине ломает всё целиком. Stream-T1 (by FrameX-AI) предлагает применить Test-Time Scaling не ко всему видео сразу, а к потоковой генерации чанк за чанком.

Три ключевых механизма:
1. Noise Propagation — инициализируем шум текущего чанка из лучших траекторий предыдущего
2. Reward Pruning — отбираем кандидатов по комбинированной метрике: локальная эстетика + глобальная темпоральная связность
3. Memory Sinking — вместо тупого sliding window или статичного sink-фрейма, динамически маршрутизируем вытесненный KV-cache в три пути (Discard / EMA-Sink / Append-Sink) через детекцию семантических границ

Идея элегантная: стриминговая генерация с 4 шагами денойзинга на чанк естественно образует "мелкое дерево поиска с широкими ветками" — идеально для beam search без космических затрат.

Google DeepMind расширяет применение AlphaEvolve — своего агента на базе Gemini, который эволюционно улучшает алгоритмы и код.

Новый кейс: геномика. AlphaEvolve оптимизировал DeepConsensus — модель Google Research для исправления ошибок в секвенировании ДНК. Результат: на 30% меньше ошибок при определении генетических вариантов.

Это уже используется в реальной науке: компания PacBio применяет улучшенную модель для анализа генетических данных — точнее и дешевле. По словам директора PacBio, это может помочь обнаружить мутации, вызывающие болезни, которые раньше оставались незамеченными.

AlphaEvolve продолжает доказывать, что AI-агенты способны не просто писать код, а двигать науку вперёд.

https://deepmind.google/blog/alphaevolve-impact/

Microsoft Research на NSDI 2026

Microsoft представила 11 научных работ на одной из главных конференций по сетевым системам — NSDI 2026. Темы охватывают AI-инфраструктуру, облачные сети и датацентры.

Несколько ключевых результатов: DroidSpeak позволяет языковым моделям делиться KV-кешем между вариантами — скорость вырастает в 4 раза. HarvestContainers использует простаивающие ядра CPU для фоновых задач, сохраняя задержку в пределах 4% от нормы. SONiC DASH SmartSwitch уже развёрнут в Azure и значительно снижает энергопотребление и занимаемое место.

Это не просто академия — часть решений уже работает в продакшне. Microsoft системно инвестирует в фундаментальные исследования, которые напрямую влияют на производительность облака и AI-сервисов.

https://www.microsoft.com/en-us/research/blog/microsoft-at-nsdi-2026-advances-in-large-scale-networked-systems/

Nvidia Tech обновила подход к планированию задач на кластерах GB200 NVL72.

GB200 NVL72 — это целый стойка из 72 GPU Blackwell с единой памятью через NVLink и пропускной способностью 130 ТБ/с. Проблема: если задача выходит за пределы одного домена NVLink, производительность падает в разы — с 1,8 ТБ/с до 50 ГБ/с через InfiniBand.

Решение — плагин topology/block для Slurm. Он воспринимает каждый NVLink-домен (18 узлов) как жёсткий блок и не разбивает задачи через его границы. Новый аргумент --segment позволяет точнее управлять размещением: например, задача на 12 узлов с --segment=4 может быть разбита на три блока по 4, что ускоряет старт без потери локальности.

Это важно для больших AI-кластеров: правильная оркестрация напрямую влияет на скорость обучения моделей и утилизацию дорогого железа.

https://developer.nvidia.com/blog/achieving-peak-system-and-workload-efficiency-on-nvidia-gb200-nvl72-with-slurm-block-scheduling/

Зачем нужен RAG, если есть grep?

Стандартный поиск в агентских системах работает через эмбеддинги и top-k ретривер. Но что если это сам по себе бутылочное горлышко? Авторы из TIGER-Lab предлагают Direct Corpus Interaction (DCI): агент не идёт к ретриверу, а напрямую шарится по корпусу через grep, find, bash-скрипты и head/tail.

Идея проста: зачем сжимать смысл документов в векторы, если сильная LLM сама может искать по паттернам, проверять гипотезы и локализовать нужные куски? Семантика делегируется модели, а не индексу.

Результаты впечатляют: на BrowseComp-Plus точность выросла с 69% до 80%, а стоимость упала на 29%. На multi-hop QA — +30 пунктов над лучшим ретривер-агентом.

Авторы вводят понятие "retrieval interface resolution" — чем точнее интерфейс доступа к корпусу, тем лучше агент рассуждает. Вывод: для умных агентов вопрос не "какой ретривер", а "какой интерфейс доступа к данным".

https://arxiv.org/abs/2605.05242

SkillOS: агент, который учится учиться на собственном опыте (by Google)

Обычные LLM-агенты решают задачи с нуля каждый раз. А что если агент мог бы накапливать «навыки» из прошлого опыта и умнеть со временем?

SkillOS разделяет агента на две части: замороженный executor решает задачи, а trainable skill curator управляет репозиторием навыков в виде Markdown-файлов — вставляет новые, обновляет устаревшие, удаляет бесполезные.

Ключевая идея обучения: куратор тренируется через RL на группах связанных задач. Навык, извлечённый из ранних задач, оценивается по тому, насколько он помогает в более поздних. Так отложенная и косвенная обратная связь превращается в обучающий сигнал.

Результат: +9.8% к качеству и -6% шагов взаимодействия против лучших baseline. 8B-куратор обгоняет Gemini-2.5-Pro в роли куратора навыков.

https://arxiv.org/abs/2605.06614

Чем сложнее логика в обучении — тем лучше рассуждает LLM

RL-дообучение языковых моделей на математике работает, но плохо масштабируется на длинные цепочки рассуждений. Авторы предложили SCALELOGIC — синтетическую среду с явным контролем двух параметров сложности: глубины дерева доказательств и логической выразительности (от простых импликаций до кванторов и дизъюнкций).

Главная находка: число шагов RL-обучения до достижения 90% точности растёт как степенной закон от глубины доказательства (T ∝ D^γ, R²>0.99), причём показатель γ монотонно растёт с выразительностью — от 1.04 до 2.60. То есть более богатая логика требует непропорционально больше обучения.

Но зато и отдача выше: обучение на самых выразительных задачах даёт +10.66 п.п. на реальных бенчмарках, тогда как менее выразительные варианты быстро выходят на плато. Вывод: важно не только сколько обучать, но и на чём.

https://arxiv.org/abs/2605.06638

Microsoft Research выпустила открытый датасет энергосетей США

Исследователи Microsoft опубликовали масштабный открытый датасет, описывающий электрические сети передачи для всех 48 штатов США — включая межрегиональные соединения до 21 697 узлов.

Проблема была серьёзной: реальные данные о сетях в США засекречены как критическая инфраструктура. Учёным приходилось работать с игрушечными моделями или ждать годами одобрения доступа.

Microsoft собрала датасет из публичных источников — OpenStreetMap, статистики EIA и данных переписи — и построила физически корректные модели, которые проходят тест AC-OPF (расчёт оптимального потока мощности). Это не просто топология, а рабочие электрические модели.

Применение: анализ перегрузок сетей, планирование расширения, оценка размещения новых дата-центров и ИИ-нагрузок.

Для разработчиков ИИ-инструментов в энергетике это особенно важно — теперь есть реалистичные данные для обучения моделей без NDA и лицензионных платежей.

https://www.microsoft.com/en-us/research/blog/building-realistic-electric-transmission-grid-dataset-at-scale-a-pipeline-from-open-dataset/

Nvidia Tech улучшила генерацию Bash-команд в маленьких языковых моделях с помощью грамматически ограниченного декодирования.

Исследователи AI Red Team протестировали 13 небольших моделей на 299 задачах. Средний процент успешного выполнения вырос с 62,5% до 75,2%. Самый впечатляющий результат — у Qwen3-0.6B: с 16,7% до 59,2%.

Суть метода: при генерации токенов применяется формальная грамматика конкретной команды (grep, openssl и др.), которая блокирует синтаксически недопустимые варианты. Маленькие модели часто знают нужную команду, но ошибаются в аргументах, кавычках или завершении — грамматика это исправляет.

Почему важно: агентные системы всё активнее выполняют shell-команды напрямую. Синтаксическая ошибка — это сбой задачи, а неправильная команда — потенциальная угроза безопасности. Метод делает малые модели пригодными для продакшн-агентов там, где раньше требовались более крупные.

https://developer.nvidia.com/blog/improving-bash-generation-in-small-language-models-with-grammar-constrained-decoding/

Nvidia Tech обновила NVIDIA Dynamo — инфраструктуру для агентного AI-инференса.

Главное: движок теперь корректно поддерживает многоходовые агентные сессии с чередованием рассуждений и вызовов инструментов. Это критично для таких клиентов, как Claude Code или Codex.

Три ключевых улучшения:

1. Флаг --strip-anthropic-preamble убирает сессионные заголовки Anthropic перед токенизацией. Результат — KV-кэш снова работает, а время до первого токена падает в 5 раз: с 912 мс до 169 мс на промптах в 52К токенов.

2. Стриминг вызовов инструментов теперь идёт сразу по мере декодирования, а не после завершения хода — агент реагирует быстрее.

3. Рассуждения правильно привязываются к конкретным вызовам инструментов внутри одного хода, а не сваливаются в один блок — модель сохраняет контекст точнее.

Для разработчиков, строящих агентные пайплайны на собственной инфраструктуре, — важное обновление.

https://developer.nvidia.com/blog/streaming-tokens-and-tools-multi-turn-agentic-harness-support-in-nvidia-dynamo/

Cola DLM: диффузия не для токенов, а для смысла

Авторегрессивные модели генерируют текст слева направо — это удобно, но создаёт жёсткий порядок и медленный инференс. Диффузионные LLM (типа LLaDA) работают прямо в пространстве токенов, что тоже не идеально для глобальной семантики.

Cola DLM предлагает другой путь: сначала Text VAE сжимает текст в непрерывные латентные векторы, затем block-causal DiT моделирует prior через Flow Matching в этом латентном пространстве, и наконец декодер восстанавливает текст из латента.

Ключевая идея: диффузия используется не для восстановления токенов из шума, а для транспорта латентного prior — то есть модель учится глобальной семантической структуре отдельно от локальной текстовой реализации.

Эксперименты на ~2B параметрах показывают конкурентное качество с AR и LLaDA базелайнами, плюс хорошее масштабирование. Бонус: архитектура естественно расширяется на другие модальности (например, изображения).

https://arxiv.org/abs/2605.06548

Одна модель, все награды сразу — и без ручной настройки

Когда хочешь, чтобы диффузионная модель была одновременно эстетичной, точной по тексту и правильно рендерила надписи — простое взвешенное суммирование наград не работает. Почему? Потому что большинство сэмплов "специализированы": картинка с котом ничего не говорит OCR-reward, а красивая типографика может быть посредственной эстетически. В итоге градиенты конфликтуют — в 80% мини-батчей взвешенная сумма активно тянет модель против хотя бы одной из наград.

MARBLE решает это в пространстве градиентов: для каждой награды считается отдельный advantage и отдельный градиент политики, затем они нормализуются и гармонизируются в единое направление обновления. Плюс EMA-сглаживание коэффициентов, чтобы редкие сигналы не глушились случайным мини-батчем. Вычислительная стоимость — почти как у однонаградного baseline за счёт аффинной структуры DiffusionNFT loss.

Результат: одна модель, все цели одновременно, без ручного расписания этапов обучения.

MiniCPM-o 4.5: ИИ, который слушает и говорит одновременно

Все существующие мультимодальные модели работают в режиме "воспринимай — отвечай — воспринимай". Это как разговор по рации: пока говоришь, не слышишь. MiniCPM-o 4.5 от OpenBMB ломает эту схему.

Ключевая идея — фреймворк Omni-Flow: восприятие и генерация ответа идут параллельно по единой временной оси. Взято из техники мультиплексирования с разделением по времени — поток разбивается на мелкие окна, в каждом модель одновременно читает новые сигналы и генерирует вывод.

Архитектура: Whisper-энкодер для аудио, SigLIP для видео, Qwen3-8B как backbone (генерирует только текст, 3-4 токена/сек), отдельный лёгкий декодер речи на базе Llama (~0.3B). Всё соединено на уровне токенов, обучается end-to-end.

Результат: 9B параметров, работает на устройствах с <12GB RAM, по vision-language догоняет Gemini 2.5 Flash, обгоняет Qwen3-Omni-30B в omni-понимании. Плюс поддержка клонирования голоса через мультимодальный system prompt.

https://arxiv.org/abs/2604.27393

Nvidia Tech выпустила подробное руководство по квантизации AI-моделей с помощью NVIDIA Model Optimizer.

Что это значит на практике: инструмент ModelOpt позволяет сжимать модели вроде CLIP до формата FP8 без заметной потери качества. Тесты на ImageNet и MS-COCO показали: квантизованная модель работает почти так же хорошо, как оригинальная FP16-версия.

Зачем это нужно? Меньше памяти GPU, быстрее инференс — модели становятся доступны на обычных потребительских картах GeForce RTX. ModelOpt поддерживает форматы FP4, FP8, INT4, INT8 и работает с моделями из Hugging Face, PyTorch и ONNX.

Особенность подхода: квантизация происходит после обучения (PTQ), без переобучения модели. Достаточно калибровочного датасета из 8 тысяч примеров.

https://developer.nvidia.com/blog/model-quantization-post-training-quantization-using-nvidia-model-optimizer/

Nvidia Tech обновила инструмент NCCL Inspector — теперь он работает в реальном времени.

NCCL 2.30 получил режим Prometheus Mode: метрики GPU-коммуникаций при обучении нейросетей теперь можно смотреть вживую через дашборды Grafana, а не ждать офлайн-анализа JSON-файлов.

Что это даёт на практике: когда обучение большой модели замедляется, раньше было сложно понять — виновата сеть, железо или конкретный GPU. Теперь инженеры видят просадку bandwidth прямо в момент её возникновения. В тестах удалось поймать сетевую деградацию, снизившую производительность с 310 до 268 TFLOPs/GPU, то есть минус 13%.

Бонус: новый режим не требует большого хранилища — файлы метрик перезаписываются непрерывно и сразу уходят в Prometheus.

Полезно всем, кто занимается распределённым обучением на GPU-кластерах и хочет быстрее находить узкие места.

https://developer.nvidia.com/blog/real-time-performance-monitoring-and-faster-debugging-with-nccl-inspector-and-prometheus/

Apple ML представила RVPO — новый метод обучения языковых моделей с учётом рисков.

Проблема: существующие методы RLHF усредняют несколько метрик вознаграждения арифметически. Из-за этого модель может отлично справляться с одними задачами, полностью игнорируя критически важные — например, безопасность или форматирование.

RVPO решает это через штраф за разброс между наградами. Вместо "максимизируй сумму" цель становится "максимизируй стабильность по всем критериям". Математически это реализовано через оператор LogSumExp, который работает как сглаженный вариационный штраф.

На практике: модель Qwen2.5-14B с RVPO набрала 0.261 на медицинском бенчмарке HealthBench против 0.215 у конкурирующего метода GDPO. При этом общие способности не деградируют.

Почему важно: это шаг к более надёжным AI-ассистентам, которые не жертвуют безопасностью ради производительности в других областях.

https://machinelearning.apple.com/research/rvpo-risk-sensitive-alignment