Как объединить несколько специализированных LLM в одну, не теряя ни одного навыка?
Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.
MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL
Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.
На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).
https://arxiv.org/abs/2606.30406
Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.
MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL
Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.
На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).
https://arxiv.org/abs/2606.30406
Apple ML ускоряет поиск по векторным базам данных
Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.
Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).
На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.
Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.
Код открыт: github.com/apple/ml-amips
https://machinelearning.apple.com/research/amortizing-inner-product-search
Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.
Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).
На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.
Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.
Код открыт: github.com/apple/ml-amips
https://machinelearning.apple.com/research/amortizing-inner-product-search
Apple Machine Learning Research
Amortizing Maximum Inner Product Search with Learned Support Functions
Maximum inner product search (MIPS) is a crucial subroutine in machine learning, requiring the identification of a vector taken within a…
Apple ML опубликовала исследование на ICML 2026 о слабых местах VLM-моделей, обученных с помощью RL.
Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.
Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.
Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.
https://machinelearning.apple.com/research/robustness-chain-thought-consistency
Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.
Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.
Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.
https://machinelearning.apple.com/research/robustness-chain-thought-consistency
Apple Machine Learning Research
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
Reinforcement learning (RL) finetuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks…
Apple ML на ICML 2026 представила MemoryLLM — новый подход к интерпретируемости трансформеров.
Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.
В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.
Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.
Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.
https://machinelearning.apple.com/research/memoryllm
Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.
В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.
Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.
Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.
https://machinelearning.apple.com/research/memoryllm
Apple Machine Learning Research
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
Understanding how transformer components operate in LLMs is important, as it is at the core of recent technological advances in artificial…
LLM научили управлять памятью как навыку — и это дало 2-4x прирост без смены весов задачи
Обычно внешняя память в LLM-агентах — это фиксированный модуль: векторный стор, суммаризатор. AutoMem предлагает другое: сделать операции с файловой системой (read, write, search, append) частью пространства действий агента — наравне с игровыми действиями. Хочешь запомнить — пишешь файл. Хочешь вспомнить — ищешь по нему.
Дальше два вложенных цикла оптимизации. Первый — мета-LLM читает полный трейс эпизода (до 100k шагов!) и переписывает скаффолд: код, промпты, схему файлов. Второй — тот же мета-LLM отбирает хорошие примеры работы с памятью и дообучает отдельную "memory specialist" модель через LoRA, не трогая веса задачи.
Результат на Crafter, MiniHack и NetHack: Qwen2.5-32B с AutoMem обходит Qwen2.5-72B и дотягивается до уровня Claude Opus 4.5 и Gemini 2.5 Pro. Память оказалась важнее масштаба модели.
https://arxiv.org/abs/2607.01224
Обычно внешняя память в LLM-агентах — это фиксированный модуль: векторный стор, суммаризатор. AutoMem предлагает другое: сделать операции с файловой системой (read, write, search, append) частью пространства действий агента — наравне с игровыми действиями. Хочешь запомнить — пишешь файл. Хочешь вспомнить — ищешь по нему.
Дальше два вложенных цикла оптимизации. Первый — мета-LLM читает полный трейс эпизода (до 100k шагов!) и переписывает скаффолд: код, промпты, схему файлов. Второй — тот же мета-LLM отбирает хорошие примеры работы с памятью и дообучает отдельную "memory specialist" модель через LoRA, не трогая веса задачи.
Результат на Crafter, MiniHack и NetHack: Qwen2.5-32B с AutoMem обходит Qwen2.5-72B и дотягивается до уровня Claude Opus 4.5 и Gemini 2.5 Pro. Память оказалась важнее масштаба модели.
https://arxiv.org/abs/2607.01224
👍2
Мировая модель, которая учится прямо во время планирования
Классическая проблема world model для робототехники: обучил модель, заморозил, запустил — и она ошибается, потому что реальность чуть отличается от обучающей выборки. Ошибки накапливаются по горизонту планирования, и робот делает глупости.
AdaJEPA решает это элегантно: после каждого шага MPC модель получает реальный переход (o_t, a_t, o_t+1) и делает один градиентный шаг адаптации прямо внутри цикла планирования. Никаких меток, никаких экспертных данных — только self-supervised латентная ошибка предсказания.
Цикл: спланировал → выполнил → адаптировал → переспланировал.
Обновляется только небольшое подмножество параметров, поэтому это дёшево по compute. Результат — заметный прирост на out-of-distribution задачах, особенно когда обучающих данных мало.
https://arxiv.org/abs/2606.32026
Классическая проблема world model для робототехники: обучил модель, заморозил, запустил — и она ошибается, потому что реальность чуть отличается от обучающей выборки. Ошибки накапливаются по горизонту планирования, и робот делает глупости.
AdaJEPA решает это элегантно: после каждого шага MPC модель получает реальный переход (o_t, a_t, o_t+1) и делает один градиентный шаг адаптации прямо внутри цикла планирования. Никаких меток, никаких экспертных данных — только self-supervised латентная ошибка предсказания.
Цикл: спланировал → выполнил → адаптировал → переспланировал.
Обновляется только небольшое подмножество параметров, поэтому это дёшево по compute. Результат — заметный прирост на out-of-distribution задачах, особенно когда обучающих данных мало.
https://arxiv.org/abs/2606.32026
Дистилляция LLM: когда учитель с подсказками вредит больше, чем помогает
Стандартная on-policy дистилляция (OPD) — это когда студент-модель генерирует траектории, а учитель даёт пословные сигналы. Казалось бы, дай учителю подсказки (верифицированные хинты, bounding boxes) — и потолок дистилляции вырастет. Но нет!
Авторы вводят понятие "privilege illusion": часть преимущества учителя объясняется не реальными способностями, а информационной асимметрией. Слепо дистиллировать такого учителя — студент учится имитировать привилегированные исходы, а не реальные навыки. Итог: энтропийный коллапс и деградация.
Решение — DOPD: для каждого токена динамически выбирается источник супервизии (учитель или сам студент) на основе "privilege advantage gap". Там, где учитель реально лучше — учимся у него. Там, где разрыв от информации — лёгкая само-дистилляция.
Результат: +7.5 и +6.0 пунктов над Vanilla OPD на LLM и VLM задачах.
https://arxiv.org/abs/2606.30626
Стандартная on-policy дистилляция (OPD) — это когда студент-модель генерирует траектории, а учитель даёт пословные сигналы. Казалось бы, дай учителю подсказки (верифицированные хинты, bounding boxes) — и потолок дистилляции вырастет. Но нет!
Авторы вводят понятие "privilege illusion": часть преимущества учителя объясняется не реальными способностями, а информационной асимметрией. Слепо дистиллировать такого учителя — студент учится имитировать привилегированные исходы, а не реальные навыки. Итог: энтропийный коллапс и деградация.
Решение — DOPD: для каждого токена динамически выбирается источник супервизии (учитель или сам студент) на основе "privilege advantage gap". Там, где учитель реально лучше — учимся у него. Там, где разрыв от информации — лёгкая само-дистилляция.
Результат: +7.5 и +6.0 пунктов над Vanilla OPD на LLM и VLM задачах.
https://arxiv.org/abs/2606.30626
Один слой трансформера вместо полного RL-файнтюнинга — и результат лучше?
Исследователи задались вопросом: где именно в сети "живут" улучшения от RL post-training? Для этого они обучали по одному слою трансформера, замораживая все остальные, и измеряли, какую долю прироста от полного RL удаётся восстановить.
Результат шокирует: один средний слой способен восстановить до 114% улучшений полного RL-обучения. То есть буквально превзойти полный файнтюнинг, трогая лишь один из десятков слоёв!
Паттерн стабильный: высококонтрибутивные слои всегда в середине сети (40–60% глубины), независимо от модели (Qwen3, Qwen2.5), алгоритма (GRPO и др.) и задачи (математика, код, агентные задачи).
Практический вывод: обучение только топ-10 слоёв Qwen3-8B даёт 69.1% против 66.4% у полного RL. А ансамблирование моделей, обученных на разных слоях, даёт ещё больший прирост.
https://arxiv.org/abs/2607.01232
Исследователи задались вопросом: где именно в сети "живут" улучшения от RL post-training? Для этого они обучали по одному слою трансформера, замораживая все остальные, и измеряли, какую долю прироста от полного RL удаётся восстановить.
Результат шокирует: один средний слой способен восстановить до 114% улучшений полного RL-обучения. То есть буквально превзойти полный файнтюнинг, трогая лишь один из десятков слоёв!
Паттерн стабильный: высококонтрибутивные слои всегда в середине сети (40–60% глубины), независимо от модели (Qwen3, Qwen2.5), алгоритма (GRPO и др.) и задачи (математика, код, агентные задачи).
Практический вывод: обучение только топ-10 слоёв Qwen3-8B даёт 69.1% против 66.4% у полного RL. А ансамблирование моделей, обученных на разных слоях, даёт ещё больший прирост.
https://arxiv.org/abs/2607.01232
👍2
Мировая модель, которая учится на своих ошибках без переобучения
LLM-агенты умеют планировать, используя "модель мира" — предсказания о том, что произойдёт после действия. Проблема: мир меняется, а замороженная модель мира начинает врать. Переобучать её онлайн дорого и опасно (catastrophic forgetting).
Авторы предлагают WORLDEVOLVER: вместо обновления весов — обновляй контекст. Система ведёт два вида памяти: эпизодическую (конкретные переходы "действие → наблюдение") и семантическую (правила, выведенные из расхождений предсказания с реальностью). Когда предсказание не совпало с тем, что случилось — это фиксируется как эвристика для следующих шагов.
Плюс Selective Foresight: ненадёжные предсказания просто не передаются агенту, чтобы не навредить. Oracle-эксперимент подтверждает: шумное предсказание хуже, чем никакого.
Бенчмарки: ALFWorld, ScienceWorld, Word2World — улучшение качества планирования без единого градиентного шага.
https://arxiv.org/abs/2606.30639
LLM-агенты умеют планировать, используя "модель мира" — предсказания о том, что произойдёт после действия. Проблема: мир меняется, а замороженная модель мира начинает врать. Переобучать её онлайн дорого и опасно (catastrophic forgetting).
Авторы предлагают WORLDEVOLVER: вместо обновления весов — обновляй контекст. Система ведёт два вида памяти: эпизодическую (конкретные переходы "действие → наблюдение") и семантическую (правила, выведенные из расхождений предсказания с реальностью). Когда предсказание не совпало с тем, что случилось — это фиксируется как эвристика для следующих шагов.
Плюс Selective Foresight: ненадёжные предсказания просто не передаются агенту, чтобы не навредить. Oracle-эксперимент подтверждает: шумное предсказание хуже, чем никакого.
Бенчмарки: ALFWorld, ScienceWorld, Word2World — улучшение качества планирования без единого градиентного шага.
https://arxiv.org/abs/2606.30639
В RL для агентов важно не только "выиграл/проиграл", но и что именно сделал агент на каждом шаге.
GRPO усредняет кредит по всем действиям в траектории: если агент победил — все действия поощряются, если проиграл — все наказываются. Но это создаёт два слепых пятна: полезные исследовательские действия в проигрышных траекториях незаслуженно штрафуются, а вредные действия в выигрышных — незаслуженно поощряются.
TRIAGE решает это через ролевую типизацию сегментов. LLM-судья классифицирует каждое действие агента по одной из четырёх ролей: decisive progress (прямой прогресс к цели), useful exploration (сбор информации), no-progress (безвредный холостой ход), regression (вред или повтор). Дальше для каждой роли применяются разные правила начисления кредита.
Результат: стабильный прирост на ALFWorld, SearchQA и WebShop поверх GRPO-базелайна, причём TRIAGE обходит и скалярные process reward модели, и value-бейзлайны с общим бэкбоном.
https://arxiv.org/abs/2606.32017
GRPO усредняет кредит по всем действиям в траектории: если агент победил — все действия поощряются, если проиграл — все наказываются. Но это создаёт два слепых пятна: полезные исследовательские действия в проигрышных траекториях незаслуженно штрафуются, а вредные действия в выигрышных — незаслуженно поощряются.
TRIAGE решает это через ролевую типизацию сегментов. LLM-судья классифицирует каждое действие агента по одной из четырёх ролей: decisive progress (прямой прогресс к цели), useful exploration (сбор информации), no-progress (безвредный холостой ход), regression (вред или повтор). Дальше для каждой роли применяются разные правила начисления кредита.
Результат: стабильный прирост на ALFWorld, SearchQA и WebShop поверх GRPO-базелайна, причём TRIAGE обходит и скалярные process reward модели, и value-бейзлайны с общим бэкбоном.
https://arxiv.org/abs/2606.32017
Скомпилируй нечёткую функцию один раз — запускай локально навсегда
Вместо того чтобы при каждом вызове дёргать GPT-API для задач вроде «отфильтруй важные строки лога» или «исправь кривой JSON», авторы предлагают парадигму Program-as-Weights (PAW): описываешь функцию на естественном языке, нейросетевой компилятор генерирует LoRA-адаптер (~23 МБ), и дальше маленькая замороженная модель-интерпретатор запускает его локально без интернета.
Схема: LLM-компилятор (Qwen3-4B) делает forward pass и через специальный LoRA mapper генерирует веса адаптера для интерпретатора (Qwen3-0.6B). Компилируешь один раз в облаке — запускаешь хоть в браузере через WebAssembly.
Результат: 0.6B-интерпретатор с PAW-программой бьёт прямой промптинг Qwen3-32B (73.78% vs 68.70% exact match) при потреблении памяти в 50 раз меньше. На MacBook M3 — 30 токенов/сек.
https://arxiv.org/abs/2607.02512
Вместо того чтобы при каждом вызове дёргать GPT-API для задач вроде «отфильтруй важные строки лога» или «исправь кривой JSON», авторы предлагают парадигму Program-as-Weights (PAW): описываешь функцию на естественном языке, нейросетевой компилятор генерирует LoRA-адаптер (~23 МБ), и дальше маленькая замороженная модель-интерпретатор запускает его локально без интернета.
Схема: LLM-компилятор (Qwen3-4B) делает forward pass и через специальный LoRA mapper генерирует веса адаптера для интерпретатора (Qwen3-0.6B). Компилируешь один раз в облаке — запускаешь хоть в браузере через WebAssembly.
Результат: 0.6B-интерпретатор с PAW-программой бьёт прямой промптинг Qwen3-32B (73.78% vs 68.70% exact match) при потреблении памяти в 50 раз меньше. На MacBook M3 — 30 токенов/сек.
https://arxiv.org/abs/2607.02512
👍2
RL для LLM оптимизирует не то, что нужно — и вот почему это проблема
В современных LLM-пайплайнах с RL есть скрытый баг: модель обучается одним движком (training engine), а генерирует ответы другим (inference engine, например vLLM). Из-за разницы в квантизации и реализации эти два движка дают разные вероятности на одних и тех же токенах. Итог: улучшение training policy не гарантирует улучшение inference policy — той, что реально деплоится!
Авторы называют это objective misalignment и предлагают новый принцип MIPI: оптимизировать нужно именно inference policy монотонно. Их метод MIPU работает в два шага: сначала обновляет веса с учётом inference sampler, затем проверяет, действительно ли синхронизация улучшила inference policy, и при необходимости откатывает апдейт.
На Qwen3-1.7B и Qwen3-4B с FP8-квантизацией MIPU даёт лучшую точность и более стабильное обучение по сравнению с GRPO/DAPO.
https://arxiv.org/abs/2606.29526
В современных LLM-пайплайнах с RL есть скрытый баг: модель обучается одним движком (training engine), а генерирует ответы другим (inference engine, например vLLM). Из-за разницы в квантизации и реализации эти два движка дают разные вероятности на одних и тех же токенах. Итог: улучшение training policy не гарантирует улучшение inference policy — той, что реально деплоится!
Авторы называют это objective misalignment и предлагают новый принцип MIPI: оптимизировать нужно именно inference policy монотонно. Их метод MIPU работает в два шага: сначала обновляет веса с учётом inference sampler, затем проверяет, действительно ли синхронизация улучшила inference policy, и при необходимости откатывает апдейт.
На Qwen3-1.7B и Qwen3-4B с FP8-квантизацией MIPU даёт лучшую точность и более стабильное обучение по сравнению с GRPO/DAPO.
https://arxiv.org/abs/2606.29526
Nvidia представила технологию Nonuniform Tensor Parallelism (NTP) для повышения эффективности обучения больших языковых моделей на тысячах GPU.
Суть проблемы: при обучении LLM на крупных кластерах даже временный сбой одного GPU может затормозить весь процесс из-за тесной синхронизации между устройствами.
Что делает NTP: технология динамически перераспределяет нагрузку между оставшимися рабочими GPU при выходе одного из строя. Если в группе из 8 GPU один отказал — система автоматически перестраивается на 7. Дополнительно активируется разгон оставшихся GPU по питанию и частоте, чтобы они не отставали от других реплик. Перераспределение данных происходит параллельно с вычислениями — накладные расходы менее 1%.
Почему важно: вместо полной остановки обучения или потери прогресса кластер продолжает работу почти без потерь производительности. Технология проверена на системах Blackwell и Blackwell Ultra с NVLink-доменами до 72 GPU.
https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism/
Суть проблемы: при обучении LLM на крупных кластерах даже временный сбой одного GPU может затормозить весь процесс из-за тесной синхронизации между устройствами.
Что делает NTP: технология динамически перераспределяет нагрузку между оставшимися рабочими GPU при выходе одного из строя. Если в группе из 8 GPU один отказал — система автоматически перестраивается на 7. Дополнительно активируется разгон оставшихся GPU по питанию и частоте, чтобы они не отставали от других реплик. Перераспределение данных происходит параллельно с вычислениями — накладные расходы менее 1%.
Почему важно: вместо полной остановки обучения или потери прогресса кластер продолжает работу почти без потерь производительности. Технология проверена на системах Blackwell и Blackwell Ultra с NVLink-доменами до 72 GPU.
https://developer.nvidia.com/blog/enhancing-goodput-in-large-scale-llm-training-with-nonuniform-tensor-parallelism/
NVIDIA Technical Blog
Enhancing Goodput in Large-Scale LLM Training with Nonuniform Tensor Parallelism
Training LLMs at massive scale brings unique infrastructure challenges, especially as jobs span thousands of GPUs and run for extended periods. The longer these jobs run, the greater the likelihood of…
IBM Research совместно с Oak Ridge National Laboratory и Cleveland Clinic сделали шаг к решению ключевой проблемы термоядерной энергетики.
Суть: термоядерный реактор должен сам производить топливо — тритий. Его можно получать из расплавленной соли вокруг реактора, но химия этого процесса настолько сложна, что классические компьютеры не справляются с точным моделированием.
Исследователи применили квантово-классический гибридный подход: классические компьютеры решают простые фрагменты молекул, квантовый компьютер берёт на себя сложные кластеры с высоким уровнем запутанности. Результаты совпали с лучшими классическими методами.
Пока это ранний proof of concept на кластерах из 21 иона, а реальный реактор — триллионы триллионов частиц. Но направление задано: квантовые компьютеры, суперкомпьютеры и ИИ в одном цикле для проектирования оптимальных материалов реактора.
https://research.ibm.com/blog/molten-salts-fusion-quantum?utm_medium=rss&utm_source=rss
Суть: термоядерный реактор должен сам производить топливо — тритий. Его можно получать из расплавленной соли вокруг реактора, но химия этого процесса настолько сложна, что классические компьютеры не справляются с точным моделированием.
Исследователи применили квантово-классический гибридный подход: классические компьютеры решают простые фрагменты молекул, квантовый компьютер берёт на себя сложные кластеры с высоким уровнем запутанности. Результаты совпали с лучшими классическими методами.
Пока это ранний proof of concept на кластерах из 21 иона, а реальный реактор — триллионы триллионов частиц. Но направление задано: квантовые компьютеры, суперкомпьютеры и ИИ в одном цикле для проектирования оптимальных материалов реактора.
https://research.ibm.com/blog/molten-salts-fusion-quantum?utm_medium=rss&utm_source=rss
🔥3
Apple ML опубликовала исследование по исправлению ошибок в распознавании речи (ASR).
Проблема: большинство языковых моделей не знают о специфических паттернах ошибок ASR, а большие LLM хоть и помогают, но медленные и склонны к галлюцинациям.
Решение Apple: компактная seq2seq-модель, обученная на реальных и синтетических ASR-ошибках. Ключевая находка — важна не просто синтетика, а разнообразие ошибок, близкое к реальному. Также предложен новый подход correction-first decoding, где кандидаты перевзвешиваются акустическими оценками ASR.
Результат: модель в 15 раз меньше LLM, но достигает WER 1.5/3.3% на LibriSpeech и обходит LLM-конкурентов. Работает с разными архитектурами ASR и особенно хороша там, где LLM традиционно буксуют — в режиме малого числа ошибок.
Для пользователей это значит: более точный и быстрый голосовой ввод на устройствах Apple без лишней нагрузки на железо.
https://machinelearning.apple.com/research/asr-error-correction
Проблема: большинство языковых моделей не знают о специфических паттернах ошибок ASR, а большие LLM хоть и помогают, но медленные и склонны к галлюцинациям.
Решение Apple: компактная seq2seq-модель, обученная на реальных и синтетических ASR-ошибках. Ключевая находка — важна не просто синтетика, а разнообразие ошибок, близкое к реальному. Также предложен новый подход correction-first decoding, где кандидаты перевзвешиваются акустическими оценками ASR.
Результат: модель в 15 раз меньше LLM, но достигает WER 1.5/3.3% на LibriSpeech и обходит LLM-конкурентов. Работает с разными архитектурами ASR и особенно хороша там, где LLM традиционно буксуют — в режиме малого числа ошибок.
Для пользователей это значит: более точный и быстрый голосовой ввод на устройствах Apple без лишней нагрузки на железо.
https://machinelearning.apple.com/research/asr-error-correction
Apple Machine Learning Research
Revisiting ASR Error Correction with Specialized Models
Language models play a central role in automatic speech recognition (ASR), yet most methods rely on text-only models unaware of ASR error…
Один фреймворк вместо сотни CV-моделей (by SenseNova)
Детекция, сегментация, глубина, нормали, 3D-геометрия — каждая задача компьютерного зрения традиционно требует своей архитектуры и своих декодеров. SenseNova-Vision предлагает радикальное упрощение: все эти задачи — просто multimodal generation.
Идея проста: текстовые инструкции описывают задачу и схему вывода, текстовая генерация отдаёт символьные ответы (боксы, координаты, позы камер), а image generation — плотные карты (маски, depth, нормали). Никаких task-specific голов — один декодер на всё.
Модель обучается на едином корпусе из разнородных CV-аннотаций, преобразованных в instruction-response пары. Результат: конкурентные метрики сразу в четырёх семействах задач, плюс zero-shot обобщение на комбинации задач, которых не было в обучении.
По сути, это «GPT-момент» для компьютерного зрения.
https://arxiv.org/abs/2607.06560
Детекция, сегментация, глубина, нормали, 3D-геометрия — каждая задача компьютерного зрения традиционно требует своей архитектуры и своих декодеров. SenseNova-Vision предлагает радикальное упрощение: все эти задачи — просто multimodal generation.
Идея проста: текстовые инструкции описывают задачу и схему вывода, текстовая генерация отдаёт символьные ответы (боксы, координаты, позы камер), а image generation — плотные карты (маски, depth, нормали). Никаких task-specific голов — один декодер на всё.
Модель обучается на едином корпусе из разнородных CV-аннотаций, преобразованных в instruction-response пары. Результат: конкурентные метрики сразу в четырёх семействах задач, плюс zero-shot обобщение на комбинации задач, которых не было в обучении.
По сути, это «GPT-момент» для компьютерного зрения.
https://arxiv.org/abs/2607.06560
Мировая модель для 4 игроков в реальном времени — это реально!
MIRA — первая мультиплеерная world model: 5B параметров, Rocket League, 4 игрока одновременно, 20 fps на одном GPU (Nvidia B200). Модель работает в латентном пространстве видеокодека: энкодер сжимает кадры, трансформер предсказывает следующий латент по действиям всех 4 игроков, декодер рендерит обратно в видео.
Ключевые находки: предобученный feature extractor в кодеке резко улучшает качество роллаутов; диффузионное обучение с few-step дистилляцией даёт стабильные длинные горизонты; мультиплеерная модель заметно лучше однопользовательской — доп. виды снижают неопределённость. Интересно: модель сначала учится делать визуально правдоподобные кадры, и только потом — правильно реагировать на действия игроков.
Датасет: 10 000 часов игры RL-агентов, код и данные открыты. Демо: mira-wm.com
https://arxiv.org/abs/2607.05352
MIRA — первая мультиплеерная world model: 5B параметров, Rocket League, 4 игрока одновременно, 20 fps на одном GPU (Nvidia B200). Модель работает в латентном пространстве видеокодека: энкодер сжимает кадры, трансформер предсказывает следующий латент по действиям всех 4 игроков, декодер рендерит обратно в видео.
Ключевые находки: предобученный feature extractor в кодеке резко улучшает качество роллаутов; диффузионное обучение с few-step дистилляцией даёт стабильные длинные горизонты; мультиплеерная модель заметно лучше однопользовательской — доп. виды снижают неопределённость. Интересно: модель сначала учится делать визуально правдоподобные кадры, и только потом — правильно реагировать на действия игроков.
Датасет: 10 000 часов игры RL-агентов, код и данные открыты. Демо: mira-wm.com
https://arxiv.org/abs/2607.05352
Nvidia Tech выпустила обновлённую платформу Isaac GR00T для разработки политик управления человекоподобными роботами.
Главное обновление — модель GR00T 1.7, первая открытая VLA-модель (vision-language-action) под лицензией Apache 2.0. Она обучена на 32 000 часов реальных демонстраций и 8 000 часов симуляций. Новый бэкбон Cosmos-Reason2-2B заменил предыдущий Eagle, добавлена поддержка экспорта в ONNX и TensorRT.
Платформа закрывает главную боль разработчиков — фрагментированность пайплайна. Теперь весь цикл от сбора данных через телеоперацию до деплоя на реальный робот собран в единый инструментарий: Isaac Lab-Arena, Isaac Teleop, Isaac ROS и Jetson Thor.
Модель весит 3 млрд параметров, доступна на GitHub и Hugging Face. Бенчмарки улучшились: DROID-F6 вырос на 61% по сравнению с N1.6.
https://developer.nvidia.com/blog/develop-humanoid-robot-policies-end-to-end-with-nvidia-isaac-gr00t/
Главное обновление — модель GR00T 1.7, первая открытая VLA-модель (vision-language-action) под лицензией Apache 2.0. Она обучена на 32 000 часов реальных демонстраций и 8 000 часов симуляций. Новый бэкбон Cosmos-Reason2-2B заменил предыдущий Eagle, добавлена поддержка экспорта в ONNX и TensorRT.
Платформа закрывает главную боль разработчиков — фрагментированность пайплайна. Теперь весь цикл от сбора данных через телеоперацию до деплоя на реальный робот собран в единый инструментарий: Isaac Lab-Arena, Isaac Teleop, Isaac ROS и Jetson Thor.
Модель весит 3 млрд параметров, доступна на GitHub и Hugging Face. Бенчмарки улучшились: DROID-F6 вырос на 61% по сравнению с N1.6.
https://developer.nvidia.com/blog/develop-humanoid-robot-policies-end-to-end-with-nvidia-isaac-gr00t/
NVIDIA Technical Blog
Develop Humanoid Robot Policies End-to-End with NVIDIA Isaac GR00T
As more teams move from humanoid robot bring-up to task-specific skill development, the need for repeatable development workflows is growing. Building humanoids remains complex…
Nvidia Tech выпустила подробное руководство по созданию AI-агента для управления промышленными авариями на базе NVIDIA Nemotron.
Суть: промышленное оборудование генерирует сотни тревог в час, и техники просто не успевают их разбирать вручную. Новый агент берёт на себя рутину — сам собирает контекст из баз данных и документации, запускает специализированные проверки сигналов и выдаёт готовую рекомендацию с описанием причины и способа устранения.
Под капотом — модели Nemotron 3 Nano и Super, GPU-ускоренные библиотеки cuDF, cuVS, cuFFT, инструменты NeMo Retriever и безопасная среда выполнения OpenShell. Всё это упаковано в один HTTP-эндпоинт.
Почему важно: агент работает за секунды, а не минуты, и освобождает инженеров для действительно сложных задач. Решение масштабируется и дообучается по мере накопления опыта.
https://developer.nvidia.com/blog/building-an-analysis-ai-agent-for-industrial-alarm-management-with-nvidia-nemotron/
Суть: промышленное оборудование генерирует сотни тревог в час, и техники просто не успевают их разбирать вручную. Новый агент берёт на себя рутину — сам собирает контекст из баз данных и документации, запускает специализированные проверки сигналов и выдаёт готовую рекомендацию с описанием причины и способа устранения.
Под капотом — модели Nemotron 3 Nano и Super, GPU-ускоренные библиотеки cuDF, cuVS, cuFFT, инструменты NeMo Retriever и безопасная среда выполнения OpenShell. Всё это упаковано в один HTTP-эндпоинт.
Почему важно: агент работает за секунды, а не минуты, и освобождает инженеров для действительно сложных задач. Решение масштабируется и дообучается по мере накопления опыта.
https://developer.nvidia.com/blog/building-an-analysis-ai-agent-for-industrial-alarm-management-with-nvidia-nemotron/
NVIDIA Technical Blog
Building an Analysis AI Agent for Industrial Alarm Management with NVIDIA Nemotron
Industrial machinery generates more alarms than technicians can triage. For each important alarm requiring follow-up, the technician pulls historical context, determines the correct procedure…
Nvidia Tech запустила AI-Native RAN платформу NVIDIA AI Aerial для сетей 5G/6G.
Суть: GPU-ускорение позволяет переосмыслить алгоритмы радиосетей вместо того, чтобы "втискивать" их в ограниченные CPU-ресурсы. Результаты впечатляют — прирост пропускной способности до 1,62x в AI-бимформинге и 1,3x в адаптации канала на основе глубокого обучения по сравнению с классическими методами.
Почему это важно: операторы потратили свыше $240 млрд на радиочастотный спектр в США за 30 лет, но реальная отдача от Massive MIMO далека от теоретической. AI-Native RAN закрывает этот разрыв прямо сейчас. SoftBank уже подтвердил 3-кратный рост спектральной эффективности в полевых испытаниях.
Для пользователей это означает меньше обрывов связи, больше ёмкости сети и лучшее качество при пиковых нагрузках. Партнёры — Nokia и SoftBank.
https://developer.nvidia.com/blog/maximize-spectral-efficiency-with-ai-native-ran-and-nvidia-ai-aerial/
Суть: GPU-ускорение позволяет переосмыслить алгоритмы радиосетей вместо того, чтобы "втискивать" их в ограниченные CPU-ресурсы. Результаты впечатляют — прирост пропускной способности до 1,62x в AI-бимформинге и 1,3x в адаптации канала на основе глубокого обучения по сравнению с классическими методами.
Почему это важно: операторы потратили свыше $240 млрд на радиочастотный спектр в США за 30 лет, но реальная отдача от Massive MIMO далека от теоретической. AI-Native RAN закрывает этот разрыв прямо сейчас. SoftBank уже подтвердил 3-кратный рост спектральной эффективности в полевых испытаниях.
Для пользователей это означает меньше обрывов связи, больше ёмкости сети и лучшее качество при пиковых нагрузках. Партнёры — Nokia и SoftBank.
https://developer.nvidia.com/blog/maximize-spectral-efficiency-with-ai-native-ran-and-nvidia-ai-aerial/
NVIDIA Technical Blog
Maximize Spectral Efficiency with AI-Native RAN and NVIDIA AI Aerial
Spectrum is one of the most valuable assets in wireless communications. Over the last 30 years, telecom operators in the US have spent more than $240B to acquire wireless spectrum. A goal of a radio…
👍1
4D-мир для роботов: глубина + оптический поток вместо пикселей
Видеомодели для роботов страдают от одной проблемы: они предсказывают будущее в 2D-пикселях, теряя геометрию и точные 3D-позиции объектов. RynnWorld-4D решает это изящно: вместо чистого RGB генерирует синхронно три потока — RGB, карту глубины и оптический поток. Из этой тройки можно напрямую восстановить 3D scene flow (куда и как движется каждая точка сцены).
Архитектура — tri-branch трансформер поверх претренированной видеодиффузии, ветки связаны через Joint Cross-Modal Attention. Данных для обучения не было — собрали Rynn4DDataset 1.0: 254 млн кадров с псевдо-аннотациями глубины и потока.
Бонус: политика RynnWorld-4D-Policy читает внутренние 4D-фичи модели напрямую (без повторного денойзинга), что даёт высокочастотное управление в реальном времени.
https://arxiv.org/abs/2607.06559
Видеомодели для роботов страдают от одной проблемы: они предсказывают будущее в 2D-пикселях, теряя геометрию и точные 3D-позиции объектов. RynnWorld-4D решает это изящно: вместо чистого RGB генерирует синхронно три потока — RGB, карту глубины и оптический поток. Из этой тройки можно напрямую восстановить 3D scene flow (куда и как движется каждая точка сцены).
Архитектура — tri-branch трансформер поверх претренированной видеодиффузии, ветки связаны через Joint Cross-Modal Attention. Данных для обучения не было — собрали Rynn4DDataset 1.0: 254 млн кадров с псевдо-аннотациями глубины и потока.
Бонус: политика RynnWorld-4D-Policy читает внутренние 4D-фичи модели напрямую (без повторного денойзинга), что даёт высокочастотное управление в реальном времени.
https://arxiv.org/abs/2607.06559