Representation Forcing: избавляемся от VAE в мультимодальных моделях (by ByteDance Seed)
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
Все крутые мультимодальные модели (Transfusion, Show-o и др.) генерируют картинки через замороженный VAE — внешний энкодер/декодер, обученный отдельно. Это структурный bottleneck: VAE оптимизирован под реконструкцию, а не под задачи модели.
Идея Representation Forcing: убрать VAE совсем и генерировать прямо в пространстве пикселей, но с умным scaffold-ом. Декодер учится сначала авторегрессивно предсказывать визуальные токены (дискретизированные фичи собственного энкодера понимания), а потом уже диффузией рендерит пиксели. Представления берутся не снаружи, а из совместно обученного энкодера той же модели.
Результат: pixel-space модель с RF догоняет VAE-based baseline на генерации и обгоняет его на понимании. Полностью end-to-end, без внешних компонентов.
https://arxiv.org/abs/2605.31604
SANA-Streaming: редактирование видео в реальном времени прямо на потребительском GPU (by NVIDIA)
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
Главная боль стриминговых видеоредакторов: softmax attention жрёт память пропорционально длине видео, а linear attention даёт дрожание на границах чанков. NVIDIA решила не выбирать — взяли гибрид.
SANA-Streaming чередует два типа блоков: Gated DeltaNet (линейное внимание с коррекцией по delta-rule) для глобальной памяти и softmax-блоки с window attention + sink-токен для локальной детализации. Память остаётся константной при любой длине видео.
Для обучения без парных длинных видео придумали Cycle-Reverse Regularization: модель сначала редактирует чанк, потом восстанавливает оригинал по обратному промпту. Это форсирует долгосрочную консистентность.
Плюс системная оптимизация: фьюзинг GDN-ядер и AutoML-поиск смешанной точности (FP4/FP8/BF16 по слоям) дали +59% скорости над BF16.
Итог: 24 FPS end-to-end на RTX 5090 при 5.56 GB VRAM против 20+ GB у all-softmax варианта.
https://arxiv.org/abs/2605.30409
dMoE: как ускорить диффузионные LLM с MoE в 1.66× без потерь качества
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Диффузионные LLM (dLLMs) — крутая альтернатива авторегрессионным моделям: они генерируют токены параллельно, а не слева направо. Но когда туда добавляют MoE-архитектуру, возникает проблема: за один проход модель активирует огромное число уникальных экспертов, и память становится главным узким местом.
Авторы из NUS предлагают dMoE — простую идею: вместо того чтобы каждый токен независимо выбирал экспертов, агрегируем скоры всех токенов блока в единый блочный скор, и уже по нему ограничиваем набор активных экспертов через top-p критерий. Дообучение через self-distillation.
Результат на LLaDA2.0-mini: уникальных экспертов меньше в 4.77×, память экономится на 77-80%, скорость растёт в 1.14-1.66×, а качество падает лишь на 0.89%. Работает на MATH500, GSM8K, ARC-C, MMLU.
https://arxiv.org/abs/2605.30876
Google Gemini показал 9 демо новых моделей Omni и 3.5 Flash
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google представила два больших обновления на I/O 2026. Gemini Omni умеет создавать видео из любого типа контента — текста, фото, аудио. Главная фишка: редактирование видео через обычный разговор. Говоришь "сделай скрипача невидимым" — модель понимает контекст, сохраняет физику сцены и персонажей.
Gemini 3.5 Flash заточен под агентные задачи. Теперь это дефолтная модель в приложении Gemini и в Search по всему миру. В поиске появятся информационные агенты, которые работают 24/7 и сами находят нужное — например, следят за коллабами любимых спортсменов. Летом — для подписчиков AI Pro и Ultra.
Отдельно запустили Gemini Spark — персональный агент, интегрированный с Gmail, Docs и Slides. Доступен для подписчиков AI Ultra в США.
Omni Flash уже катится для Plus/Pro/Ultra-подписчиков и бесплатно на YouTube Shorts.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-omni-3-5-videos/
Google
9 demos of Gemini Omni and Gemini 3.5 in action
Watch 9 videos showing the capabilities of Gemini Omni and Gemini 3.5, announced at Google I/O 2026.
Nvidia Tech запустила AlpaGym — фреймворк для замкнутого обучения моделей автопилота.
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
Раньше модели для автономных автомобилей обучали в «открытом цикле»: просто сравнивали действия модели с эталонными. Проблема в том, что в реальности каждое решение водителя влияет на следующее — ошибки накапливаются.
AlpaGym решает это через замкнутый цикл: модель учится прямо в симуляторе AlpaSim, получая обратную связь от собственных действий (торможение, руление, навигация). Используется метод обучения с подкреплением на базе GRPO и фреймворка Cosmos-RL.
Что важно для разработчиков: система масштабируется от одного GPU до многоузловых кластеров, включает готовые функции наград (прогресс, избегание столкновений, выезд за разметку) и открытый датасет NuRec. Весь стек — open source.
Это критически важно для безопасности автопилота: сценарии, которые статичные датасеты пропускают, симулятор выявляет до выезда на дорогу.
https://developer.nvidia.com/blog/how-to-post-train-autonomous-vehicle-models-in-closed-loop-with-nvidia-alpamayo/
NVIDIA Technical Blog
How to Post-Train Autonomous Vehicle Models in Closed-Loop with NVIDIA Alpamayo
Developing autonomous vehicle (AV) policies requires bridging an important gap between training and deployment. Vision-language-action (VLA) models that can reason over more complex driving scenes and…
Nvidia выпустила Cosmos 3 — единую открытую модель для физического ИИ
Nvidia открыла доступ к Cosmos 3 — фундаментальной модели, которая объединяет физическое мышление, генерацию мирового контекста и управление действиями в одной архитектуре. Раньше всё это требовало отдельных моделей и сложной оркестровки.
Модель построена на архитектуре Mixture-of-Transformers с двумя башнями: одна анализирует происходящее, вторая генерирует видео и действия. Доступны две версии — Nano (8B параметров, для рабочих станций) и Super (32B, для датацентров).
Всё выложено в открытый доступ: веса на Hugging Face, код на GitHub, шесть датасетов для роботики, автопилота и складской автоматизации, плюс скрипты для дообучения.
Cosmos 3 уже лидирует в открытых бенчмарках по генерации видео и физическому рассуждению. Это реальный инструмент для команд, строящих роботов, беспилотники и умные пространства.
https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/
Nvidia открыла доступ к Cosmos 3 — фундаментальной модели, которая объединяет физическое мышление, генерацию мирового контекста и управление действиями в одной архитектуре. Раньше всё это требовало отдельных моделей и сложной оркестровки.
Модель построена на архитектуре Mixture-of-Transformers с двумя башнями: одна анализирует происходящее, вторая генерирует видео и действия. Доступны две версии — Nano (8B параметров, для рабочих станций) и Super (32B, для датацентров).
Всё выложено в открытый доступ: веса на Hugging Face, код на GitHub, шесть датасетов для роботики, автопилота и складской автоматизации, плюс скрипты для дообучения.
Cosmos 3 уже лидирует в открытых бенчмарках по генерации видео и физическому рассуждению. Это реальный инструмент для команд, строящих роботов, беспилотники и умные пространства.
https://developer.nvidia.com/blog/develop-physical-ai-reasoning-world-and-action-models-with-nvidia-cosmos-3/
NVIDIA Technical Blog
Develop Physical AI Reasoning, World, and Action Models with NVIDIA Cosmos 3
Physical AI systems must understand the real world before they can act within it. Robots, autonomous vehicles, and smart spaces need to understand what’s happening in their world…
Mellum 2 от JetBrains: 12B параметров, но летит как 2.5B (by JetBrains)
JetBrains выкатили открытую MoE-модель для кода — Mellum 2. Идея: взять архитектуру Qwen3-MoE, но заточить под реальный деплой в IDE.
Ключевые трюки:
— 64 эксперта, 8 активных: больше знаний, но платишь только за 2.5B параметров за токен
— Sliding Window Attention на 3/4 слоёв (окно 1024) — латентность как у Qwen2.5-7B даже на длинных контекстах
— Всего 4 KV-головы в GQA — критично для пропускной способности при параллельных запросах
— MTP-голова: одновременно auxiliary loss при обучении и черновик для speculative decoding
Обучение: 10.6T токенов с постепенным сдвигом от веба к коду (23%→59%), оптимизатор Muon + FP8, контекст растянули до 128K через YaRN.
Результат конкурентен с моделями 4–14B при скорости инференса 7B-dense. Веса открыты под Apache 2.0.
https://arxiv.org/abs/2605.31268
JetBrains выкатили открытую MoE-модель для кода — Mellum 2. Идея: взять архитектуру Qwen3-MoE, но заточить под реальный деплой в IDE.
Ключевые трюки:
— 64 эксперта, 8 активных: больше знаний, но платишь только за 2.5B параметров за токен
— Sliding Window Attention на 3/4 слоёв (окно 1024) — латентность как у Qwen2.5-7B даже на длинных контекстах
— Всего 4 KV-головы в GQA — критично для пропускной способности при параллельных запросах
— MTP-голова: одновременно auxiliary loss при обучении и черновик для speculative decoding
Обучение: 10.6T токенов с постепенным сдвигом от веба к коду (23%→59%), оптимизатор Muon + FP8, контекст растянули до 128K через YaRN.
Результат конкурентен с моделями 4–14B при скорости инференса 7B-dense. Веса открыты под Apache 2.0.
https://arxiv.org/abs/2605.31268
VideoMLA: сжимаем KV-кэш видеодиффузии в 13 раз
Генерация длинных видео авторегрессивными диффузионными моделями упирается в один bottleneck — KV-кэш растёт линейно и жрёт память. На модели Wan-1.3B при 21 кэшированном латентном фрейме это ~6 ГБ только под KV.
Авторы из Virginia Tech взяли идею MLA (Multi-Head Latent Attention) из DeepSeek и применили её к видеодиффузии. Вместо хранения полных KV на каждую голову — один shared низкоранговый латент на токен, из которого все головы восстанавливают ключи и значения через up-проекции. Позиционная информация вынесена отдельно через decoupled 3D-RoPE ключ.
Результат: с 3072 скаляров на токен до 224 — сжатие 92.7%. Забавный момент: авторы честно показывают, что KV-матрицы видеомодели вовсе не низкоранговые (ранг >1300), но это не мешает — архитектурный bottleneck сам задаёт эффективный ранг.
На VBench — лучший long-horizon score, ускорение 1.23x на одном B200.
https://arxiv.org/abs/2605.30351
Генерация длинных видео авторегрессивными диффузионными моделями упирается в один bottleneck — KV-кэш растёт линейно и жрёт память. На модели Wan-1.3B при 21 кэшированном латентном фрейме это ~6 ГБ только под KV.
Авторы из Virginia Tech взяли идею MLA (Multi-Head Latent Attention) из DeepSeek и применили её к видеодиффузии. Вместо хранения полных KV на каждую голову — один shared низкоранговый латент на токен, из которого все головы восстанавливают ключи и значения через up-проекции. Позиционная информация вынесена отдельно через decoupled 3D-RoPE ключ.
Результат: с 3072 скаляров на токен до 224 — сжатие 92.7%. Забавный момент: авторы честно показывают, что KV-матрицы видеомодели вовсе не низкоранговые (ранг >1300), но это не мешает — архитектурный bottleneck сам задаёт эффективный ранг.
На VBench — лучший long-horizon score, ускорение 1.23x на одном B200.
https://arxiv.org/abs/2605.30351
NTP предсказывает токены, но не следит за геометрией представлений — и это проблема
Стандартный next-token prediction (NTP) обучает LLM угадывать следующий токен, но почти не контролирует, как устроены скрытые состояния модели. В итоге — representation degeneration: эмбеддинги схлопываются в узкий анизотропный конус, теряя выразительность.
Авторы из Shanghai Jiao Tong University предлагают NITP (Next Implicit Token Prediction): добавить вспомогательную цель — предсказывать не дискретный токен, а его «неявное представление» из мелких слоёв модели (shallow layers). Эти представления богаче семантически и служат как якоря. Лосс — косинусное сходство между последним скрытым состоянием и shifted shallow-layer представлением следующего токена.
Ключевой плюс: цели генерируются самой моделью на лету (stop-gradient), никаких внешних энкодеров, накладные расходы минимальны. Результат — выше effective rank, меньше анизотропия, и +3.3 пунктов на downstream задачах для 9B MoE и 2B dense моделей.
Стандартный next-token prediction (NTP) обучает LLM угадывать следующий токен, но почти не контролирует, как устроены скрытые состояния модели. В итоге — representation degeneration: эмбеддинги схлопываются в узкий анизотропный конус, теряя выразительность.
Авторы из Shanghai Jiao Tong University предлагают NITP (Next Implicit Token Prediction): добавить вспомогательную цель — предсказывать не дискретный токен, а его «неявное представление» из мелких слоёв модели (shallow layers). Эти представления богаче семантически и служат как якоря. Лосс — косинусное сходство между последним скрытым состоянием и shifted shallow-layer представлением следующего токена.
Ключевой плюс: цели генерируются самой моделью на лету (stop-gradient), никаких внешних энкодеров, накладные расходы минимальны. Результат — выше effective rank, меньше анизотропия, и +3.3 пунктов на downstream задачах для 9B MoE и 2B dense моделей.
Nvidia выпустила JetPack 7.2 — крупное обновление для устройств Jetson, заточенное под агентный ИИ на краю сети.
Главное: теперь можно развернуть NemoClaw (защищённый агентный стек с контролем приватности) одной командой. Никакой ручной настройки окружения.
Что ещё нового:
Jetson agent skills — ИИ-агенты берут на себя рутину: настройку Linux, оптимизацию памяти, бенчмаркинг моделей. Недели ручной работы заменяются автоматическими инструкциями.
MIG на Jetson Thor — GPU теперь делится на изолированные разделы. Роботизированные задачи реального времени и генеративный ИИ работают параллельно без взаимных помех.
Super Mode для Jetson AGX Orin 32 GB — выше производительность при той же стоимости железа.
Официальная поддержка Yocto Project для создания кастомных Linux-дистрибутивов.
Для кого важно: разработчики роботов, промышленной автоматики и edge-AI систем получают больше возможностей без замены оборудования.
https://developer.nvidia.com/blog/deploy-agentic-ready-ai-at-the-edge-with-memory-efficiency-in-nvidia-jetpack-7-2/
Главное: теперь можно развернуть NemoClaw (защищённый агентный стек с контролем приватности) одной командой. Никакой ручной настройки окружения.
Что ещё нового:
Jetson agent skills — ИИ-агенты берут на себя рутину: настройку Linux, оптимизацию памяти, бенчмаркинг моделей. Недели ручной работы заменяются автоматическими инструкциями.
MIG на Jetson Thor — GPU теперь делится на изолированные разделы. Роботизированные задачи реального времени и генеративный ИИ работают параллельно без взаимных помех.
Super Mode для Jetson AGX Orin 32 GB — выше производительность при той же стоимости железа.
Официальная поддержка Yocto Project для создания кастомных Linux-дистрибутивов.
Для кого важно: разработчики роботов, промышленной автоматики и edge-AI систем получают больше возможностей без замены оборудования.
https://developer.nvidia.com/blog/deploy-agentic-ready-ai-at-the-edge-with-memory-efficiency-in-nvidia-jetpack-7-2/
NVIDIA Technical Blog
Deploy Agentic-Ready AI at the Edge with Memory Efficiency in NVIDIA JetPack 7.2
As AI agents move from the digital world to the physical environment, they can readily use NVIDIA Jetson to accelerate real-world deployment with optimized memory and performance. NVIDIA JetPack 7.2…
Nvidia обновила DGX Spark: локальные AI-агенты теперь запускаются за минуты
На Computex 2026 Nvidia представила обновления для DGX Spark — персонального суперкомпьютера для запуска AI-агентов без облака. Главное: новый инструмент NemoClaw разворачивает полноценного агента одной командой в терминале — модель, среду выполнения и интерфейс сразу в комплекте.
Что нового: модель Qwen3.6-35B теперь работает в 2,6 раза быстрее благодаря NVFP4-квантизации. Добавлен ассистент кластеризации — можно объединить до 4 устройств DGX Spark и получить до 512 ГБ единой памяти для запуска моделей на 400+ млрд параметров.
Почему важно: агенты работают полностью локально — никаких утечек данных в облако, никакой платы за токены. Из коробки доступны готовые сценарии: утренний дайджест новостей, агент для код-ревью, планировщик встреч.
Для кого: разработчики и команды, которым нужна приватность и контроль над AI без зависимости от внешних сервисов.
https://developer.nvidia.com/blog/run-local-ai-agents-with-faster-models-and-multi-node-clustering-on-nvidia-dgx-spark/
На Computex 2026 Nvidia представила обновления для DGX Spark — персонального суперкомпьютера для запуска AI-агентов без облака. Главное: новый инструмент NemoClaw разворачивает полноценного агента одной командой в терминале — модель, среду выполнения и интерфейс сразу в комплекте.
Что нового: модель Qwen3.6-35B теперь работает в 2,6 раза быстрее благодаря NVFP4-квантизации. Добавлен ассистент кластеризации — можно объединить до 4 устройств DGX Spark и получить до 512 ГБ единой памяти для запуска моделей на 400+ млрд параметров.
Почему важно: агенты работают полностью локально — никаких утечек данных в облако, никакой платы за токены. Из коробки доступны готовые сценарии: утренний дайджест новостей, агент для код-ревью, планировщик встреч.
Для кого: разработчики и команды, которым нужна приватность и контроль над AI без зависимости от внешних сервисов.
https://developer.nvidia.com/blog/run-local-ai-agents-with-faster-models-and-multi-node-clustering-on-nvidia-dgx-spark/
NVIDIA Technical Blog
Run Local AI Agents with Faster Models and Multi-Node Clustering on NVIDIA DGX Spark
The rise of autonomous, long-running AI agents has introduced a new class of compute demand, namely tasks that maintain large context windows, spawn concurrent subagents…
Nvidia Tech обновила защиту AI-инфраструктуры
Nvidia представила новый стек безопасности NVIDIA DOCA для защиты агентного AI на уровне железа. Ключевое — технология In-Silicon Security на базе чипов BlueField-4 DPU, встроенных прямо в каждый узел AI-фабрики.
Что это значит на практике: безопасность работает независимо от хостовой системы. Даже если сервер скомпрометирован, защита продолжает функционировать. Обнаружение угроз — до 1000 раз быстрее, чем у программных решений, а сетевые политики применяются на скорости до 800 Гбит/с.
В стек входят три компонента: DOCA Argus (мониторинг угроз в реальном времени через анализ памяти без агентов), DOCA Vault (zero-trust доступ к файловым хранилищам) и DOCA Flow (высокоскоростное сетевое управление политиками).
Почему важно: агентный AI получает всё больше прав и доступов — и становится лакомой целью для атак. Nvidia встраивает защиту прямо в кремний, не жертвуя производительностью GPU-кластеров.
https://developer.nvidia.com/blog/advancing-ai-infrastructure-for-agentic-ai-with-nvidia-doca-in-silicon-security/
Nvidia представила новый стек безопасности NVIDIA DOCA для защиты агентного AI на уровне железа. Ключевое — технология In-Silicon Security на базе чипов BlueField-4 DPU, встроенных прямо в каждый узел AI-фабрики.
Что это значит на практике: безопасность работает независимо от хостовой системы. Даже если сервер скомпрометирован, защита продолжает функционировать. Обнаружение угроз — до 1000 раз быстрее, чем у программных решений, а сетевые политики применяются на скорости до 800 Гбит/с.
В стек входят три компонента: DOCA Argus (мониторинг угроз в реальном времени через анализ памяти без агентов), DOCA Vault (zero-trust доступ к файловым хранилищам) и DOCA Flow (высокоскоростное сетевое управление политиками).
Почему важно: агентный AI получает всё больше прав и доступов — и становится лакомой целью для атак. Nvidia встраивает защиту прямо в кремний, не жертвуя производительностью GPU-кластеров.
https://developer.nvidia.com/blog/advancing-ai-infrastructure-for-agentic-ai-with-nvidia-doca-in-silicon-security/
NVIDIA Technical Blog
Advancing AI Infrastructure for Agentic AI with NVIDIA DOCA In-Silicon Security
The AI era is driving a new class of infrastructure: AI factories that transform data into intelligence for autonomous AI agents operating at unprecedented scale. Powered by accelerated computing…
Humanoid-GPT: масштабирование как лекарство от дилеммы «ловкость vs. обобщение»
Все трекеры движений для гуманоидных роботов страдают одной болезнью: либо точно повторяют сложные движения, но ломаются на незнакомых, либо обобщают — но теряют в точности. Авторы утверждают: это не фундаментальный компромисс, а просто недостаток масштаба.
Их рецепт: собрать корпус из 2 миллиардов кадров движений (в 200+ раз больше предшественников), заменить MLP на GPT-style Transformer с каузальным вниманием, и обучить ~300 RL-экспертов по кластерам движений, а потом дистиллировать их в единую модель.
Ключевая идея для балансировки данных — Harmonic Motion Embedding: периодические автоэнкодеры извлекают амплитуды и частоты по каждому суставу, потом K-Means кластеризует весь корпус. Без этого редкие движения тонут в море ходьбы и бега.
Результат: первая система, которая одновременно agile и zero-shot на реальном роботе Unitree G1. Плюс — авторы вывели scaling law для трекинга движений гуманоидов.
Все трекеры движений для гуманоидных роботов страдают одной болезнью: либо точно повторяют сложные движения, но ломаются на незнакомых, либо обобщают — но теряют в точности. Авторы утверждают: это не фундаментальный компромисс, а просто недостаток масштаба.
Их рецепт: собрать корпус из 2 миллиардов кадров движений (в 200+ раз больше предшественников), заменить MLP на GPT-style Transformer с каузальным вниманием, и обучить ~300 RL-экспертов по кластерам движений, а потом дистиллировать их в единую модель.
Ключевая идея для балансировки данных — Harmonic Motion Embedding: периодические автоэнкодеры извлекают амплитуды и частоты по каждому суставу, потом K-Means кластеризует весь корпус. Без этого редкие движения тонут в море ходьбы и бега.
Результат: первая система, которая одновременно agile и zero-shot на реальном роботе Unitree G1. Плюс — авторы вывели scaling law для трекинга движений гуманоидов.
Почему Math деградирует после обучения на QA, если градиенты почти ортогональны?
При последовательном RL-файнтюнинге LLM на нескольких доменах возникает странный эффект: Math-перформанс растёт до 66.49 после Math-обучения, но падает до 57.66 после последующих QA и CW этапов. При этом глобальный косинус градиентов между доменами близок к нулю — конфликта как будто нет!
Авторы показывают: проблема не в глобальном конфликте градиентов, а в локальных "активных маршрутах" внутри модели. RL вносит разреженные, малые изменения в параметры (~79% весов меняются менее чем на 1e-7), но reasoning-домены (Math, Code, QA) разделяют общие активные нейроны. Именно на этих общих маршрутах возникает second-order damage — новый домен "загибает" параметры в чувствительных направлениях предыдущего.
Решение элегантное: короткий refresh на Math после CW-обучения восстанавливает перформанс до 66.04, почти не трогая остальные домены. Итоговый средний скор 66.39 — лучший среди всех baseline.
https://arxiv.org/abs/2606.02398
При последовательном RL-файнтюнинге LLM на нескольких доменах возникает странный эффект: Math-перформанс растёт до 66.49 после Math-обучения, но падает до 57.66 после последующих QA и CW этапов. При этом глобальный косинус градиентов между доменами близок к нулю — конфликта как будто нет!
Авторы показывают: проблема не в глобальном конфликте градиентов, а в локальных "активных маршрутах" внутри модели. RL вносит разреженные, малые изменения в параметры (~79% весов меняются менее чем на 1e-7), но reasoning-домены (Math, Code, QA) разделяют общие активные нейроны. Именно на этих общих маршрутах возникает second-order damage — новый домен "загибает" параметры в чувствительных направлениях предыдущего.
Решение элегантное: короткий refresh на Math после CW-обучения восстанавливает перформанс до 66.04, почти не трогая остальные домены. Итоговый средний скор 66.39 — лучший среди всех baseline.
https://arxiv.org/abs/2606.02398
Domino: параллельный драфтинг + немного причинности = быстро и точно
Speculative decoding — популярный способ ускорить LLM: маленькая модель предлагает токены, большая проверяет. Но есть дилемма: авторегрессионные драфтеры (типа EAGLE) дают длинные принятые цепочки, но работают медленно — k токенов требуют k последовательных шагов. Параллельные драфтеры (DFlash) быстрее, но хуже угадывают.
Авторы из Shanghai Jiao Tong University предложили Domino: генерируем весь блок токенов параллельно, а потом прогоняем лёгкую "Domino head" — каузальный энкодер + low-rank коррекция, которая дописывает причинно-следственные зависимости между токенами без повторных дорогих forward-проходов.
Результат: +56M параметров (+5.3%), +2.8% к латентности драфтинга, но +16.6% к acceptance length и +12.3% к итоговому ускорению vs DFlash. На GSM8K — 7.92× против 5.21× у DFlash и 3.28× у EAGLE-3.
https://arxiv.org/abs/2605.29707
Speculative decoding — популярный способ ускорить LLM: маленькая модель предлагает токены, большая проверяет. Но есть дилемма: авторегрессионные драфтеры (типа EAGLE) дают длинные принятые цепочки, но работают медленно — k токенов требуют k последовательных шагов. Параллельные драфтеры (DFlash) быстрее, но хуже угадывают.
Авторы из Shanghai Jiao Tong University предложили Domino: генерируем весь блок токенов параллельно, а потом прогоняем лёгкую "Domino head" — каузальный энкодер + low-rank коррекция, которая дописывает причинно-следственные зависимости между токенами без повторных дорогих forward-проходов.
Результат: +56M параметров (+5.3%), +2.8% к латентности драфтинга, но +16.6% к acceptance length и +12.3% к итоговому ускорению vs DFlash. На GSM8K — 7.92× против 5.21× у DFlash и 3.28× у EAGLE-3.
https://arxiv.org/abs/2605.29707
NVIDIA и Microsoft представили новые инструменты для создания локальных AI-агентов на Windows-ПК.
Главное: Microsoft eXecution Containers (MXC) обеспечивает безопасную изоляцию агентов — теперь они не могут бесконтрольно лезть в ваши файлы. NVIDIA OpenShell строится поверх MXC и упрощает развёртывание автономных агентов с управлением политиками и защитой персональных данных.
Производительность: llama.cpp стал в 2х быстрее на моделях Qwen, vLLM получил прирост 2,6х. Добавлена поддержка двух GPU в llama.cpp и ComfyUI — до 1,8х больше вычислительной мощности.
Железо: RTX Spark — новые компактные ПК и ноутбуки с 1 петафлопом AI-мощности и до 128 ГБ памяти. Microsoft выпустит специальный девелоперский Surface на базе RTX Spark.
Итог: локальный стек для агентного AI наконец дорос до серьёзных задач — безопасность, скорость и поддержка крупных моделей прямо на вашем компьютере.
https://developer.nvidia.com/blog/build-personal-ai-agents-on-windows-pcs-with-new-tools-from-microsoft-and-nvidia/
Главное: Microsoft eXecution Containers (MXC) обеспечивает безопасную изоляцию агентов — теперь они не могут бесконтрольно лезть в ваши файлы. NVIDIA OpenShell строится поверх MXC и упрощает развёртывание автономных агентов с управлением политиками и защитой персональных данных.
Производительность: llama.cpp стал в 2х быстрее на моделях Qwen, vLLM получил прирост 2,6х. Добавлена поддержка двух GPU в llama.cpp и ComfyUI — до 1,8х больше вычислительной мощности.
Железо: RTX Spark — новые компактные ПК и ноутбуки с 1 петафлопом AI-мощности и до 128 ГБ памяти. Microsoft выпустит специальный девелоперский Surface на базе RTX Spark.
Итог: локальный стек для агентного AI наконец дорос до серьёзных задач — безопасность, скорость и поддержка крупных моделей прямо на вашем компьютере.
https://developer.nvidia.com/blog/build-personal-ai-agents-on-windows-pcs-with-new-tools-from-microsoft-and-nvidia/
NVIDIA Technical Blog
Build Personal AI Agents on Windows PCs with New Tools from Microsoft and NVIDIA
AI agents are changing how you interact with your PC. Creators, developers, and AI enthusiasts are already using these agents extensively to assist with day-to-day tasks such as coding, video editing…
Nvidia Tech выпустила связку Hermes Agent + NVIDIA NemoClaw — открытый стек для самообучающихся AI-агентов, которые работают с корпоративными данными без риска утечки.
Что умеет: агент подключается к Slack, Outlook и GitHub, учится на предпочтениях пользователя и сохраняет новые навыки в виде файлов-скиллов. Однажды показал нужный формат ответа — запомнит его навсегда, даже после перезапуска.
Главная фишка — безопасность. NVIDIA OpenShell изолирует агента в песочнице: он не видит токены авторизации и не может выйти в интернет. Сетевая политика прописана в коде, а не в промпте — обойти нельзя.
Почему важно: это рабочий паттерн для смешивания внутренних и публичных данных без угрозы утечки. Подходит для продаж, поддержки, инженерного триажа и конкурентного анализа.
Стек открытый, поднимается одной командой.
https://developer.nvidia.com/blog/deploy-self-evolving-agents-for-faster-more-secure-research-with-a-hermes-agent-and-nvidia-nemoclaw/
Что умеет: агент подключается к Slack, Outlook и GitHub, учится на предпочтениях пользователя и сохраняет новые навыки в виде файлов-скиллов. Однажды показал нужный формат ответа — запомнит его навсегда, даже после перезапуска.
Главная фишка — безопасность. NVIDIA OpenShell изолирует агента в песочнице: он не видит токены авторизации и не может выйти в интернет. Сетевая политика прописана в коде, а не в промпте — обойти нельзя.
Почему важно: это рабочий паттерн для смешивания внутренних и публичных данных без угрозы утечки. Подходит для продаж, поддержки, инженерного триажа и конкурентного анализа.
Стек открытый, поднимается одной командой.
https://developer.nvidia.com/blog/deploy-self-evolving-agents-for-faster-more-secure-research-with-a-hermes-agent-and-nvidia-nemoclaw/
NVIDIA Technical Blog
Deploy Self-Evolving Agents for Faster, More Secure Research with a Hermes Agent and NVIDIA NemoClaw
AI agents are a powerful tool for synthesizing data to accelerate research, summarize information, and help teams make decisions faster. But combining internal data with public sources poses security…
Nvidia представила процессор Vera CPU — специально разработанный для агентных ИИ-задач.
Суть в том, что современные ИИ-агенты всё больше нагружают именно CPU: запуск кода в песочницах, вызов инструментов, обработка данных, оркестрация задач. GPU ждут, пока процессор не закончит свою часть работы — и это становится узким местом.
Vera CPU построен на 88 ядрах Olympus с пропускной способностью памяти до 1,2 ТБ/с. По сравнению с предыдущим поколением Grace — прирост IPC до 50%. В реальных агентных нагрузках под полной загрузкой Vera показывает более чем 1,8x производительности относительно конкурентов.
Отдельный плюс — энергоэффективность: память потребляет менее 30 Вт против 100+ Вт у стандартных DDR5-конфигураций. TDP настраивается от 250 до 450 Вт.
Для ИИ-фабрик это означает больше завершённых агентных задач, быстрее обученные модели и меньшие счета за электричество.
https://developer.nvidia.com/blog/nvidia-vera-cpu-sets-a-new-standard-for-agentic-workloads-in-ai-factories/
Суть в том, что современные ИИ-агенты всё больше нагружают именно CPU: запуск кода в песочницах, вызов инструментов, обработка данных, оркестрация задач. GPU ждут, пока процессор не закончит свою часть работы — и это становится узким местом.
Vera CPU построен на 88 ядрах Olympus с пропускной способностью памяти до 1,2 ТБ/с. По сравнению с предыдущим поколением Grace — прирост IPC до 50%. В реальных агентных нагрузках под полной загрузкой Vera показывает более чем 1,8x производительности относительно конкурентов.
Отдельный плюс — энергоэффективность: память потребляет менее 30 Вт против 100+ Вт у стандартных DDR5-конфигураций. TDP настраивается от 250 до 450 Вт.
Для ИИ-фабрик это означает больше завершённых агентных задач, быстрее обученные модели и меньшие счета за электричество.
https://developer.nvidia.com/blog/nvidia-vera-cpu-sets-a-new-standard-for-agentic-workloads-in-ai-factories/
NVIDIA Technical Blog
NVIDIA Vera CPU Sets a New Standard for Agentic Workloads in AI Factories
Each wave of AI has created a new scaling law. Pretraining scaled intelligence through larger datasets, more parameters, and massively parallel GPU systems. Post-training scaled usefulness through…
Видео на 24 часа без сбоев — это реально?
Авторы решили главную боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а RoPE-индексы вылетают за пределы обучения и всё ломается. Решение — Echo-Infinity.
Два ключевых трюка:
1. Обучаемые Memory Queries — набор токенов, которые играют роль долговременной памяти. Когда старые фреймы вытесняются из окна, queries обновляются через cross-attention по вытесненным KV-кэшам + sigmoid-гейт фильтрует лишнее. Память фиксированного размера, независимо от длины видео.
2. Unified Relative RoPE — одна и та же схема относительных позиционных индексов и при обучении, и при инференсе. Никакого train-test mismatch, никакого переполнения.
Результат: генерация >1.3M кадров (24 часа!) в реальном времени на одном H100 при 18.5 FPS и всего +10.6% overhead к baseline без памяти.
https://arxiv.org/abs/2606.04527
Авторы решили главную боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а RoPE-индексы вылетают за пределы обучения и всё ломается. Решение — Echo-Infinity.
Два ключевых трюка:
1. Обучаемые Memory Queries — набор токенов, которые играют роль долговременной памяти. Когда старые фреймы вытесняются из окна, queries обновляются через cross-attention по вытесненным KV-кэшам + sigmoid-гейт фильтрует лишнее. Память фиксированного размера, независимо от длины видео.
2. Unified Relative RoPE — одна и та же схема относительных позиционных индексов и при обучении, и при инференсе. Никакого train-test mismatch, никакого переполнения.
Результат: генерация >1.3M кадров (24 часа!) в реальном времени на одном H100 при 18.5 FPS и всего +10.6% overhead к baseline без памяти.
https://arxiv.org/abs/2606.04527
🔥1
Маленькая модель, которая не «помнит» лишнего — и именно поэтому лучше больших
Когда LLM отвечает на вопрос, она часто игнорирует контекст и лезет в свою «память». Для RAG-систем это катастрофа. Авторы OCC-RAG решили проблему радикально: обучили маленькие модели (0.6B и 1.7B) специально на три свойства — многошаговый вывод по контексту, избегание меморизации и отказ отвечать при недостатке информации.
Как: взяли базовые Qwen3-0.6B/1.7B, сгенерировали 3M+ синтетических QA-примеров с явными reasoning-трейсами и цитатами из контекста, добавили «неотвечаемые» примеры для обучения abstention.
Результат: OCC-RAG-0.6B обходит Qwen3-1.7B (в 2.8 раза больше) на +9.5 пунктов по faithfulness и превосходит Pleias-RAG-1.2B на +21.6 на MuSiQue. Модели в 2–6 раз меньше конкурентов, но точнее следуют контексту.
Ключевой инсайт: специализация важнее масштаба, если задача конкретная.
https://arxiv.org/abs/2606.00683
Когда LLM отвечает на вопрос, она часто игнорирует контекст и лезет в свою «память». Для RAG-систем это катастрофа. Авторы OCC-RAG решили проблему радикально: обучили маленькие модели (0.6B и 1.7B) специально на три свойства — многошаговый вывод по контексту, избегание меморизации и отказ отвечать при недостатке информации.
Как: взяли базовые Qwen3-0.6B/1.7B, сгенерировали 3M+ синтетических QA-примеров с явными reasoning-трейсами и цитатами из контекста, добавили «неотвечаемые» примеры для обучения abstention.
Результат: OCC-RAG-0.6B обходит Qwen3-1.7B (в 2.8 раза больше) на +9.5 пунктов по faithfulness и превосходит Pleias-RAG-1.2B на +21.6 на MuSiQue. Модели в 2–6 раз меньше конкурентов, но точнее следуют контексту.
Ключевой инсайт: специализация важнее масштаба, если задача конкретная.
https://arxiv.org/abs/2606.00683
🔥2