Microsoft Research выпустила Data Formulator 0.7 — open-source инструмент для корпоративной аналитики данных на базе ИИ.
Что нового: система подключается к базам данных, хранилищам, BI-системам и локальным файлам через единый механизм Data Connectors — без повторных ручных загрузок. ИИ-агенты видят весь контекст анализа: подключённые источники, таблицы, предыдущие графики и цель пользователя. Они пишут и запускают код, строят визуализации и задают уточняющие вопросы при неоднозначных запросах.
Почему важно: аналитики без навыков SQL или программирования теперь могут вести сложные многоэтапные исследования. История анализа сохраняется в Data Thread — можно вернуться к любому шагу, создать альтернативную ветку и сравнить результаты.
Графики можно редактировать прямо на канвасе или описывать изменения текстом. Проект открытый — компании могут адаптировать его под свои нужды.
https://www.microsoft.com/en-us/research/blog/data-formulator-0-7-ai-powered-data-analytics-for-enterprise-data/
Что нового: система подключается к базам данных, хранилищам, BI-системам и локальным файлам через единый механизм Data Connectors — без повторных ручных загрузок. ИИ-агенты видят весь контекст анализа: подключённые источники, таблицы, предыдущие графики и цель пользователя. Они пишут и запускают код, строят визуализации и задают уточняющие вопросы при неоднозначных запросах.
Почему важно: аналитики без навыков SQL или программирования теперь могут вести сложные многоэтапные исследования. История анализа сохраняется в Data Thread — можно вернуться к любому шагу, создать альтернативную ветку и сравнить результаты.
Графики можно редактировать прямо на канвасе или описывать изменения текстом. Проект открытый — компании могут адаптировать его под свои нужды.
https://www.microsoft.com/en-us/research/blog/data-formulator-0-7-ai-powered-data-analytics-for-enterprise-data/
Microsoft Research
Data Formulator 0.7: AI-powered data analytics for enterprise data
Data Formulator introduces AI-powered analytics for enterprise data workflows. Data teams can easily bring enterprise data into an AI-ready workspace where users can explore, analyze, and visualize data with AI agents to turn raw data into actionable insights:
Nvidia Tech запустила DynoSim — симулятор для оптимизации развёртывания LLM-моделей.
Суть проста: настройка серверов для больших языковых моделей — это боль. Нужно одновременно подбирать десятки параметров (маршрутизацию, кэш, планировщик, число воркеров), и каждый эксперимент на реальном железе стоит огромных ресурсов.
DynoSim решает это через дискретно-событийную симуляцию всего стека Dynamo. Написан на Rust, работает молниеносно: трассировка из 23 608 запросов, которая в реальности заняла бы 60 минут, симулируется за 2,4 секунды — это в 1500 раз быстрее реального времени.
Что это даёт на практике: можно перебрать тысячи конфигураций виртуально, найти оптимальный баланс между задержкой и пропускной способностью, и только потом тратить GPU-время на проверку лучших вариантов. Уже показано, что умная маршрутизация с учётом KV-кэша поднимает переиспользование префиксов с 38% до 45%.
https://developer.nvidia.com/blog/dynosim-simulating-the-pareto-frontier/
Суть проста: настройка серверов для больших языковых моделей — это боль. Нужно одновременно подбирать десятки параметров (маршрутизацию, кэш, планировщик, число воркеров), и каждый эксперимент на реальном железе стоит огромных ресурсов.
DynoSim решает это через дискретно-событийную симуляцию всего стека Dynamo. Написан на Rust, работает молниеносно: трассировка из 23 608 запросов, которая в реальности заняла бы 60 минут, симулируется за 2,4 секунды — это в 1500 раз быстрее реального времени.
Что это даёт на практике: можно перебрать тысячи конфигураций виртуально, найти оптимальный баланс между задержкой и пропускной способностью, и только потом тратить GPU-время на проверку лучших вариантов. Уже показано, что умная маршрутизация с учётом KV-кэша поднимает переиспользование префиксов с 38% до 45%.
https://developer.nvidia.com/blog/dynosim-simulating-the-pareto-frontier/
NVIDIA Technical Blog
DynoSim: Simulating the Pareto Frontier
Modern LLM serving is hard to tune because each deployment is a stack of interacting choices: model backend, tensor-parallel shape, prefill/decode split, worker counts, scheduler settings…
Nvidia представила MCG Toolkit — инструмент для автоматической генерации документации к AI-моделям.
Создавать модельные карточки вручную — долго и скучно. Nvidia решила эту проблему: MCG Toolkit читает исходный код модели и за минуту генерирует полный пакет документов в формате Model Card++, включая разделы по безопасности, приватности, предвзятости и объяснимости.
Как это работает: три этапа — загрузка источника (GitHub, HuggingFace, PDF), извлечение данных через RAG-пайплайн на базе NIM и GPT-OSS-120B, затем рендеринг в Markdown. Точность — 76–92% в зависимости от качества исходной документации.
Важно: если данных не хватает, система честно помечает пробелы, а не придумывает. Первым крупным пользователем стал Oracle — интегрировал инструмент в OCI AI инфраструктуру.
Актуально в условиях EU AI Act и других регуляторных требований, где аудируемая документация становится обязательной.
https://developer.nvidia.com/blog/how-to-automate-ai-model-documentation-with-the-nvidia-mcg-toolkit/
Создавать модельные карточки вручную — долго и скучно. Nvidia решила эту проблему: MCG Toolkit читает исходный код модели и за минуту генерирует полный пакет документов в формате Model Card++, включая разделы по безопасности, приватности, предвзятости и объяснимости.
Как это работает: три этапа — загрузка источника (GitHub, HuggingFace, PDF), извлечение данных через RAG-пайплайн на базе NIM и GPT-OSS-120B, затем рендеринг в Markdown. Точность — 76–92% в зависимости от качества исходной документации.
Важно: если данных не хватает, система честно помечает пробелы, а не придумывает. Первым крупным пользователем стал Oracle — интегрировал инструмент в OCI AI инфраструктуру.
Актуально в условиях EU AI Act и других регуляторных требований, где аудируемая документация становится обязательной.
https://developer.nvidia.com/blog/how-to-automate-ai-model-documentation-with-the-nvidia-mcg-toolkit/
NVIDIA Technical Blog
How to Automate AI Model Documentation with the NVIDIA MCG Toolkit
As AI models grow in complexity and regulatory scrutiny intensifies under frameworks including California’s AB-2013 and the EU AI Act, software teams face a challenge beyond delivering great code…
50 LoRA-эффектов в одном — без конфликтов и задержек
Хочешь добавить в диффузионную модель 50 разных визуальных эффектов? Обычный путь: обучить 50 отдельных LoRA, хранить их все, маршрутизировать нужную при инференсе и как-то скомбинировать с acceleration LoRA. Итог: огромный storage, задержки роутинга и конфликты между весами.
CollectionLoRA предлагает радикальное решение: дистиллировать всех этих "учителей" в одну единственную LoRA через Multi-Teacher On-Policy Distillation на базе DMD.
Три ключевых трюка:
1. Probabilistic Dual-Stream Routing — подмешивает общие данные как регуляризацию, чтобы не забыть "мир за пределами эффектов"
2. Asymmetric Orthogonal Prompting — учитель и студент видят разные промпты с ортогональными триггерами, изолируя концепты в латентном пространстве
3. Coarse-to-Fine Distillation Objective — комбинирует flow matching с Target Simulation для стабильного обучения
Хочешь добавить в диффузионную модель 50 разных визуальных эффектов? Обычный путь: обучить 50 отдельных LoRA, хранить их все, маршрутизировать нужную при инференсе и как-то скомбинировать с acceleration LoRA. Итог: огромный storage, задержки роутинга и конфликты между весами.
CollectionLoRA предлагает радикальное решение: дистиллировать всех этих "учителей" в одну единственную LoRA через Multi-Teacher On-Policy Distillation на базе DMD.
Три ключевых трюка:
1. Probabilistic Dual-Stream Routing — подмешивает общие данные как регуляризацию, чтобы не забыть "мир за пределами эффектов"
2. Asymmetric Orthogonal Prompting — учитель и студент видят разные промпты с ортогональными триггерами, изолируя концепты в латентном пространстве
3. Coarse-to-Fine Distillation Objective — комбинирует flow matching с Target Simulation для стабильного обучения
(by NVIDIA) VLM думает, что "дальше" = "выше в кадре" — и это не баг, а фича перспективы
Оказывается, большинство VLM решают задачи глубины через грязный лайфхак: если объект выше в кадре — значит он дальше. Это работает на реальных фото (перспектива!), но ломается на контрпримерах.
Авторы из NVIDIA вскрыли это через contrastive probing внутренних эмбеддингов: у слабых моделей оси "вертикаль" и "глубина" перепутаны в пространстве представлений, у сильных — разделены. Горизонтальные отношения (лево/право) при этом всегда кодируются чисто.
Плюс создали SpatialTunnel — синтетический бенчмарк с туннельной геометрией, где вертикальная позиция объекта не коррелирует с глубиной. Модели, которые казались сильными на стандартных бенчмарках, там сыпятся.
Вывод: высокий accuracy на пространственных задачах может просто означать, что модель выучила статистику перспективы, а не научилась рассуждать о 3D.
https://arxiv.org/abs/2605.30161
Оказывается, большинство VLM решают задачи глубины через грязный лайфхак: если объект выше в кадре — значит он дальше. Это работает на реальных фото (перспектива!), но ломается на контрпримерах.
Авторы из NVIDIA вскрыли это через contrastive probing внутренних эмбеддингов: у слабых моделей оси "вертикаль" и "глубина" перепутаны в пространстве представлений, у сильных — разделены. Горизонтальные отношения (лево/право) при этом всегда кодируются чисто.
Плюс создали SpatialTunnel — синтетический бенчмарк с туннельной геометрией, где вертикальная позиция объекта не коррелирует с глубиной. Модели, которые казались сильными на стандартных бенчмарках, там сыпятся.
Вывод: высокий accuracy на пространственных задачах может просто означать, что модель выучила статистику перспективы, а не научилась рассуждать о 3D.
https://arxiv.org/abs/2605.30161
GenClaw: ИИ-агент рисует как художник — сначала скетч кодом, потом раскрашивает нейросетью (by Tencent)
Главная проблема агентных систем генерации изображений: агент умеет только переписывать промпты, а итоговую картинку рисует чёрный ящик. Никакого реального контроля над пространством, слоями, текстом.
GenClaw предлагает трёхшаговый пайплайн по аналогии с работой художника:
1. Conceptualize — поиск и рассуждение для сбора контекста
2. Sketch — LLM пишет SVG/HTML/Three.js код как "цифровую кисть", задавая координаты, z-order, физику
3. Color — диффузионная модель раскрашивает структурированный скетч, добавляя текстуры и реализм
Итог: точное позиционирование объектов, надёжный рендеринг текста, симуляция физики, послойное редактирование. И главное — прозрачность: при ошибке сразу видно, на каком шаге сломалось.
https://arxiv.org/abs/2605.30248
Главная проблема агентных систем генерации изображений: агент умеет только переписывать промпты, а итоговую картинку рисует чёрный ящик. Никакого реального контроля над пространством, слоями, текстом.
GenClaw предлагает трёхшаговый пайплайн по аналогии с работой художника:
1. Conceptualize — поиск и рассуждение для сбора контекста
2. Sketch — LLM пишет SVG/HTML/Three.js код как "цифровую кисть", задавая координаты, z-order, физику
3. Color — диффузионная модель раскрашивает структурированный скетч, добавляя текстуры и реализм
Итог: точное позиционирование объектов, надёжный рендеринг текста, симуляция физики, послойное редактирование. И главное — прозрачность: при ошибке сразу видно, на каком шаге сломалось.
https://arxiv.org/abs/2605.30248
Representation Forcing: избавляемся от VAE в мультимодальных моделях (by ByteDance Seed)
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
SANA-Streaming: редактирование видео в реальном времени прямо на потребительском GPU (by NVIDIA)
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
dMoE: как ускорить диффузионные LLM с MoE в 1.66× без потерь качества
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Google Gemini показал 9 демо новых моделей Omni и 3.5 Flash
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google
9 demos of Gemini Omni and Gemini 3.5 in action
Watch 9 videos showing the capabilities of Gemini Omni and Gemini 3.5, announced at Google I/O 2026.
Nvidia Tech запустила AlpaGym — фреймворк для замкнутого обучения моделей автопилота.
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
NVIDIA Technical Blog
How to Post-Train Autonomous Vehicle Models in Closed-Loop with NVIDIA Alpamayo
Developing autonomous vehicle (AV) policies requires bridging an important gap between training and deployment. Vision-language-action (VLA) models that can reason over more complex driving scenes and…
Nvidia выпустила Cosmos 3 — единую открытую модель для физического ИИ
Nvidia открыла доступ к Cosmos 3 — фундаментальной модели, которая объединяет физическое мышление, генерацию мирового контекста и управление действиями в одной архитектуре. Раньше всё это требовало отдельных моделей и сложной оркестровки.
Модель построена на архитектуре Mixture-of-Transformers с двумя башнями: одна анализирует происходящее, вторая генерирует видео и действия. Доступны две версии — Nano (8B параметров, для рабочих станций) и Super (32B, для датацентров).
Всё выложено в открытый доступ: веса на Hugging Face, код на GitHub, шесть датасетов для роботики, автопилота и складской автоматизации, плюс скрипты для дообучения.
Cosmos 3 уже лидирует в открытых бенчмарках по генерации видео и физическому рассуждению. Это реальный инструмент для команд, строящих роботов, беспилотники и умные пространства.
https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/
Nvidia открыла доступ к Cosmos 3 — фундаментальной модели, которая объединяет физическое мышление, генерацию мирового контекста и управление действиями в одной архитектуре. Раньше всё это требовало отдельных моделей и сложной оркестровки.
Модель построена на архитектуре Mixture-of-Transformers с двумя башнями: одна анализирует происходящее, вторая генерирует видео и действия. Доступны две версии — Nano (8B параметров, для рабочих станций) и Super (32B, для датацентров).
Всё выложено в открытый доступ: веса на Hugging Face, код на GitHub, шесть датасетов для роботики, автопилота и складской автоматизации, плюс скрипты для дообучения.
Cosmos 3 уже лидирует в открытых бенчмарках по генерации видео и физическому рассуждению. Это реальный инструмент для команд, строящих роботов, беспилотники и умные пространства.
https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/
NVIDIA Technical Blog
Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3
Physical AI systems must understand the real world before they can act within it. Robots, autonomous vehicles, and smart spaces need to understand what’s happening in their world…
Mellum 2 от JetBrains: 12B параметров, но летит как 2.5B (by JetBrains)
JetBrains выкатили открытую MoE-модель для кода — Mellum 2. Идея: взять архитектуру Qwen3-MoE, но заточить под реальный деплой в IDE.
Ключевые трюки:
— 64 эксперта, 8 активных: больше знаний, но платишь только за 2.5B параметров за токен
— Sliding Window Attention на 3/4 слоёв (окно 1024) — латентность как у Qwen2.5-7B даже на длинных контекстах
— Всего 4 KV-головы в GQA — критично для пропускной способности при параллельных запросах
— MTP-голова: одновременно auxiliary loss при обучении и черновик для speculative decoding
Обучение: 10.6T токенов с постепенным сдвигом от веба к коду (23%→59%), оптимизатор Muon + FP8, контекст растянули до 128K через YaRN.
Результат конкурентен с моделями 4–14B при скорости инференса 7B-dense. Веса открыты под Apache 2.0.
https://arxiv.org/abs/2605.31268
JetBrains выкатили открытую MoE-модель для кода — Mellum 2. Идея: взять архитектуру Qwen3-MoE, но заточить под реальный деплой в IDE.
Ключевые трюки:
— 64 эксперта, 8 активных: больше знаний, но платишь только за 2.5B параметров за токен
— Sliding Window Attention на 3/4 слоёв (окно 1024) — латентность как у Qwen2.5-7B даже на длинных контекстах
— Всего 4 KV-головы в GQA — критично для пропускной способности при параллельных запросах
— MTP-голова: одновременно auxiliary loss при обучении и черновик для speculative decoding
Обучение: 10.6T токенов с постепенным сдвигом от веба к коду (23%→59%), оптимизатор Muon + FP8, контекст растянули до 128K через YaRN.
Результат конкурентен с моделями 4–14B при скорости инференса 7B-dense. Веса открыты под Apache 2.0.
https://arxiv.org/abs/2605.31268
VideoMLA: сжимаем KV-кэш видеодиффузии в 13 раз
Генерация длинных видео авторегрессивными диффузионными моделями упирается в один bottleneck — KV-кэш растёт линейно и жрёт память. На модели Wan-1.3B при 21 кэшированном латентном фрейме это ~6 ГБ только под KV.
Авторы из Virginia Tech взяли идею MLA (Multi-Head Latent Attention) из DeepSeek и применили её к видеодиффузии. Вместо хранения полных KV на каждую голову — один shared низкоранговый латент на токен, из которого все головы восстанавливают ключи и значения через up-проекции. Позиционная информация вынесена отдельно через decoupled 3D-RoPE ключ.
Результат: с 3072 скаляров на токен до 224 — сжатие 92.7%. Забавный момент: авторы честно показывают, что KV-матрицы видеомодели вовсе не низкоранговые (ранг >1300), но это не мешает — архитектурный bottleneck сам задаёт эффективный ранг.
На VBench — лучший long-horizon score, ускорение 1.23x на одном B200.
https://arxiv.org/abs/2605.30351
Генерация длинных видео авторегрессивными диффузионными моделями упирается в один bottleneck — KV-кэш растёт линейно и жрёт память. На модели Wan-1.3B при 21 кэшированном латентном фрейме это ~6 ГБ только под KV.
Авторы из Virginia Tech взяли идею MLA (Multi-Head Latent Attention) из DeepSeek и применили её к видеодиффузии. Вместо хранения полных KV на каждую голову — один shared низкоранговый латент на токен, из которого все головы восстанавливают ключи и значения через up-проекции. Позиционная информация вынесена отдельно через decoupled 3D-RoPE ключ.
Результат: с 3072 скаляров на токен до 224 — сжатие 92.7%. Забавный момент: авторы честно показывают, что KV-матрицы видеомодели вовсе не низкоранговые (ранг >1300), но это не мешает — архитектурный bottleneck сам задаёт эффективный ранг.
На VBench — лучший long-horizon score, ускорение 1.23x на одном B200.
https://arxiv.org/abs/2605.30351
NTP предсказывает токены, но не следит за геометрией представлений — и это проблема
Стандартный next-token prediction (NTP) обучает LLM угадывать следующий токен, но почти не контролирует, как устроены скрытые состояния модели. В итоге — representation degeneration: эмбеддинги схлопываются в узкий анизотропный конус, теряя выразительность.
Авторы из Shanghai Jiao Tong University предлагают NITP (Next Implicit Token Prediction): добавить вспомогательную цель — предсказывать не дискретный токен, а его «неявное представление» из мелких слоёв модели (shallow layers). Эти представления богаче семантически и служат как якоря. Лосс — косинусное сходство между последним скрытым состоянием и shifted shallow-layer представлением следующего токена.
Ключевой плюс: цели генерируются самой моделью на лету (stop-gradient), никаких внешних энкодеров, накладные расходы минимальны. Результат — выше effective rank, меньше анизотропия, и +3.3 пунктов на downstream задачах для 9B MoE и 2B dense моделей.
Стандартный next-token prediction (NTP) обучает LLM угадывать следующий токен, но почти не контролирует, как устроены скрытые состояния модели. В итоге — representation degeneration: эмбеддинги схлопываются в узкий анизотропный конус, теряя выразительность.
Авторы из Shanghai Jiao Tong University предлагают NITP (Next Implicit Token Prediction): добавить вспомогательную цель — предсказывать не дискретный токен, а его «неявное представление» из мелких слоёв модели (shallow layers). Эти представления богаче семантически и служат как якоря. Лосс — косинусное сходство между последним скрытым состоянием и shifted shallow-layer представлением следующего токена.
Ключевой плюс: цели генерируются самой моделью на лету (stop-gradient), никаких внешних энкодеров, накладные расходы минимальны. Результат — выше effective rank, меньше анизотропия, и +3.3 пунктов на downstream задачах для 9B MoE и 2B dense моделей.
Nvidia выпустила JetPack 7.2 — крупное обновление для устройств Jetson, заточенное под агентный ИИ на краю сети.
Главное: теперь можно развернуть NemoClaw (защищённый агентный стек с контролем приватности) одной командой. Никакой ручной настройки окружения.
Что ещё нового:
Jetson agent skills — ИИ-агенты берут на себя рутину: настройку Linux, оптимизацию памяти, бенчмаркинг моделей. Недели ручной работы заменяются автоматическими инструкциями.
MIG на Jetson Thor — GPU теперь делится на изолированные разделы. Роботизированные задачи реального времени и генеративный ИИ работают параллельно без взаимных помех.
Super Mode для Jetson AGX Orin 32 GB — выше производительность при той же стоимости железа.
Официальная поддержка Yocto Project для создания кастомных Linux-дистрибутивов.
Для кого важно: разработчики роботов, промышленной автоматики и edge-AI систем получают больше возможностей без замены оборудования.
https://developer.nvidia.com/blog/deploy-agentic-ready-ai-at-the-edge-with-memory-efficiency-in-nvidia-jetpack-7-2/
Главное: теперь можно развернуть NemoClaw (защищённый агентный стек с контролем приватности) одной командой. Никакой ручной настройки окружения.
Что ещё нового:
Jetson agent skills — ИИ-агенты берут на себя рутину: настройку Linux, оптимизацию памяти, бенчмаркинг моделей. Недели ручной работы заменяются автоматическими инструкциями.
MIG на Jetson Thor — GPU теперь делится на изолированные разделы. Роботизированные задачи реального времени и генеративный ИИ работают параллельно без взаимных помех.
Super Mode для Jetson AGX Orin 32 GB — выше производительность при той же стоимости железа.
Официальная поддержка Yocto Project для создания кастомных Linux-дистрибутивов.
Для кого важно: разработчики роботов, промышленной автоматики и edge-AI систем получают больше возможностей без замены оборудования.
https://developer.nvidia.com/blog/deploy-agentic-ready-ai-at-the-edge-with-memory-efficiency-in-nvidia-jetpack-7-2/
NVIDIA Technical Blog
Deploy Agentic-Ready AI at the Edge with Memory Efficiency in NVIDIA JetPack 7.2
As AI agents move from the digital world to the physical environment, they can readily use NVIDIA Jetson to accelerate real-world deployment with optimized memory and performance. NVIDIA JetPack 7.2…
Nvidia обновила DGX Spark: локальные AI-агенты теперь запускаются за минуты
На Computex 2026 Nvidia представила обновления для DGX Spark — персонального суперкомпьютера для запуска AI-агентов без облака. Главное: новый инструмент NemoClaw разворачивает полноценного агента одной командой в терминале — модель, среду выполнения и интерфейс сразу в комплекте.
Что нового: модель Qwen3.6-35B теперь работает в 2,6 раза быстрее благодаря NVFP4-квантизации. Добавлен ассистент кластеризации — можно объединить до 4 устройств DGX Spark и получить до 512 ГБ единой памяти для запуска моделей на 400+ млрд параметров.
Почему важно: агенты работают полностью локально — никаких утечек данных в облако, никакой платы за токены. Из коробки доступны готовые сценарии: утренний дайджест новостей, агент для код-ревью, планировщик встреч.
Для кого: разработчики и команды, которым нужна приватность и контроль над AI без зависимости от внешних сервисов.
https://developer.nvidia.com/blog/run-local-ai-agents-with-faster-models-and-multi-node-clustering-on-nvidia-dgx-spark/
На Computex 2026 Nvidia представила обновления для DGX Spark — персонального суперкомпьютера для запуска AI-агентов без облака. Главное: новый инструмент NemoClaw разворачивает полноценного агента одной командой в терминале — модель, среду выполнения и интерфейс сразу в комплекте.
Что нового: модель Qwen3.6-35B теперь работает в 2,6 раза быстрее благодаря NVFP4-квантизации. Добавлен ассистент кластеризации — можно объединить до 4 устройств DGX Spark и получить до 512 ГБ единой памяти для запуска моделей на 400+ млрд параметров.
Почему важно: агенты работают полностью локально — никаких утечек данных в облако, никакой платы за токены. Из коробки доступны готовые сценарии: утренний дайджест новостей, агент для код-ревью, планировщик встреч.
Для кого: разработчики и команды, которым нужна приватность и контроль над AI без зависимости от внешних сервисов.
https://developer.nvidia.com/blog/run-local-ai-agents-with-faster-models-and-multi-node-clustering-on-nvidia-dgx-spark/
NVIDIA Technical Blog
Run Local AI Agents with Faster Models and Multi-Node Clustering on NVIDIA DGX Spark
The rise of autonomous, long-running AI agents has introduced a new class of compute demand, namely tasks that maintain large context windows, spawn concurrent subagents…
Nvidia Tech обновила защиту AI-инфраструктуры
Nvidia представила новый стек безопасности NVIDIA DOCA для защиты агентного AI на уровне железа. Ключевое — технология In-Silicon Security на базе чипов BlueField-4 DPU, встроенных прямо в каждый узел AI-фабрики.
Что это значит на практике: безопасность работает независимо от хостовой системы. Даже если сервер скомпрометирован, защита продолжает функционировать. Обнаружение угроз — до 1000 раз быстрее, чем у программных решений, а сетевые политики применяются на скорости до 800 Гбит/с.
В стек входят три компонента: DOCA Argus (мониторинг угроз в реальном времени через анализ памяти без агентов), DOCA Vault (zero-trust доступ к файловым хранилищам) и DOCA Flow (высокоскоростное сетевое управление политиками).
Почему важно: агентный AI получает всё больше прав и доступов — и становится лакомой целью для атак. Nvidia встраивает защиту прямо в кремний, не жертвуя производительностью GPU-кластеров.
https://developer.nvidia.com/blog/advancing-ai-infrastructure-for-agentic-ai-with-nvidia-doca-in-silicon-security/
Nvidia представила новый стек безопасности NVIDIA DOCA для защиты агентного AI на уровне железа. Ключевое — технология In-Silicon Security на базе чипов BlueField-4 DPU, встроенных прямо в каждый узел AI-фабрики.
Что это значит на практике: безопасность работает независимо от хостовой системы. Даже если сервер скомпрометирован, защита продолжает функционировать. Обнаружение угроз — до 1000 раз быстрее, чем у программных решений, а сетевые политики применяются на скорости до 800 Гбит/с.
В стек входят три компонента: DOCA Argus (мониторинг угроз в реальном времени через анализ памяти без агентов), DOCA Vault (zero-trust доступ к файловым хранилищам) и DOCA Flow (высокоскоростное сетевое управление политиками).
Почему важно: агентный AI получает всё больше прав и доступов — и становится лакомой целью для атак. Nvidia встраивает защиту прямо в кремний, не жертвуя производительностью GPU-кластеров.
https://developer.nvidia.com/blog/advancing-ai-infrastructure-for-agentic-ai-with-nvidia-doca-in-silicon-security/
NVIDIA Technical Blog
Advancing AI Infrastructure for Agentic AI with NVIDIA DOCA In-Silicon Security
The AI era is driving a new class of infrastructure: AI factories that transform data into intelligence for autonomous AI agents operating at unprecedented scale. Powered by accelerated computing…
Humanoid-GPT: масштабирование как лекарство от дилеммы «ловкость vs. обобщение»
Все трекеры движений для гуманоидных роботов страдают одной болезнью: либо точно повторяют сложные движения, но ломаются на незнакомых, либо обобщают — но теряют в точности. Авторы утверждают: это не фундаментальный компромисс, а просто недостаток масштаба.
Их рецепт: собрать корпус из 2 миллиардов кадров движений (в 200+ раз больше предшественников), заменить MLP на GPT-style Transformer с каузальным вниманием, и обучить ~300 RL-экспертов по кластерам движений, а потом дистиллировать их в единую модель.
Ключевая идея для балансировки данных — Harmonic Motion Embedding: периодические автоэнкодеры извлекают амплитуды и частоты по каждому суставу, потом K-Means кластеризует весь корпус. Без этого редкие движения тонут в море ходьбы и бега.
Результат: первая система, которая одновременно agile и zero-shot на реальном роботе Unitree G1. Плюс — авторы вывели scaling law для трекинга движений гуманоидов.
Все трекеры движений для гуманоидных роботов страдают одной болезнью: либо точно повторяют сложные движения, но ломаются на незнакомых, либо обобщают — но теряют в точности. Авторы утверждают: это не фундаментальный компромисс, а просто недостаток масштаба.
Их рецепт: собрать корпус из 2 миллиардов кадров движений (в 200+ раз больше предшественников), заменить MLP на GPT-style Transformer с каузальным вниманием, и обучить ~300 RL-экспертов по кластерам движений, а потом дистиллировать их в единую модель.
Ключевая идея для балансировки данных — Harmonic Motion Embedding: периодические автоэнкодеры извлекают амплитуды и частоты по каждому суставу, потом K-Means кластеризует весь корпус. Без этого редкие движения тонут в море ходьбы и бега.
Результат: первая система, которая одновременно agile и zero-shot на реальном роботе Unitree G1. Плюс — авторы вывели scaling law для трекинга движений гуманоидов.
Почему Math деградирует после обучения на QA, если градиенты почти ортогональны?
При последовательном RL-файнтюнинге LLM на нескольких доменах возникает странный эффект: Math-перформанс растёт до 66.49 после Math-обучения, но падает до 57.66 после последующих QA и CW этапов. При этом глобальный косинус градиентов между доменами близок к нулю — конфликта как будто нет!
Авторы показывают: проблема не в глобальном конфликте градиентов, а в локальных "активных маршрутах" внутри модели. RL вносит разреженные, малые изменения в параметры (~79% весов меняются менее чем на 1e-7), но reasoning-домены (Math, Code, QA) разделяют общие активные нейроны. Именно на этих общих маршрутах возникает second-order damage — новый домен "загибает" параметры в чувствительных направлениях предыдущего.
Решение элегантное: короткий refresh на Math после CW-обучения восстанавливает перформанс до 66.04, почти не трогая остальные домены. Итоговый средний скор 66.39 — лучший среди всех baseline.
https://arxiv.org/abs/2606.02398
При последовательном RL-файнтюнинге LLM на нескольких доменах возникает странный эффект: Math-перформанс растёт до 66.49 после Math-обучения, но падает до 57.66 после последующих QA и CW этапов. При этом глобальный косинус градиентов между доменами близок к нулю — конфликта как будто нет!
Авторы показывают: проблема не в глобальном конфликте градиентов, а в локальных "активных маршрутах" внутри модели. RL вносит разреженные, малые изменения в параметры (~79% весов меняются менее чем на 1e-7), но reasoning-домены (Math, Code, QA) разделяют общие активные нейроны. Именно на этих общих маршрутах возникает second-order damage — новый домен "загибает" параметры в чувствительных направлениях предыдущего.
Решение элегантное: короткий refresh на Math после CW-обучения восстанавливает перформанс до 66.04, почти не трогая остальные домены. Итоговый средний скор 66.39 — лучший среди всех baseline.
https://arxiv.org/abs/2606.02398