Nvidia Tech обновила защиту AI-инфраструктуры

Nvidia представила новый стек безопасности NVIDIA DOCA для защиты агентного AI на уровне железа. Ключевое — технология In-Silicon Security на базе чипов BlueField-4 DPU, встроенных прямо в каждый узел AI-фабрики.

Что это значит на практике: безопасность работает независимо от хостовой системы. Даже если сервер скомпрометирован, защита продолжает функционировать. Обнаружение угроз — до 1000 раз быстрее, чем у программных решений, а сетевые политики применяются на скорости до 800 Гбит/с.

В стек входят три компонента: DOCA Argus (мониторинг угроз в реальном времени через анализ памяти без агентов), DOCA Vault (zero-trust доступ к файловым хранилищам) и DOCA Flow (высокоскоростное сетевое управление политиками).

Почему важно: агентный AI получает всё больше прав и доступов — и становится лакомой целью для атак. Nvidia встраивает защиту прямо в кремний, не жертвуя производительностью GPU-кластеров.

https://developer.nvidia.com/blog/advancing-ai-infrastructure-for-agentic-ai-with-nvidia-doca-in-silicon-security/

Humanoid-GPT: масштабирование как лекарство от дилеммы «ловкость vs. обобщение»

Все трекеры движений для гуманоидных роботов страдают одной болезнью: либо точно повторяют сложные движения, но ломаются на незнакомых, либо обобщают — но теряют в точности. Авторы утверждают: это не фундаментальный компромисс, а просто недостаток масштаба.

Их рецепт: собрать корпус из 2 миллиардов кадров движений (в 200+ раз больше предшественников), заменить MLP на GPT-style Transformer с каузальным вниманием, и обучить ~300 RL-экспертов по кластерам движений, а потом дистиллировать их в единую модель.

Ключевая идея для балансировки данных — Harmonic Motion Embedding: периодические автоэнкодеры извлекают амплитуды и частоты по каждому суставу, потом K-Means кластеризует весь корпус. Без этого редкие движения тонут в море ходьбы и бега.

Результат: первая система, которая одновременно agile и zero-shot на реальном роботе Unitree G1. Плюс — авторы вывели scaling law для трекинга движений гуманоидов.

Почему Math деградирует после обучения на QA, если градиенты почти ортогональны?

При последовательном RL-файнтюнинге LLM на нескольких доменах возникает странный эффект: Math-перформанс растёт до 66.49 после Math-обучения, но падает до 57.66 после последующих QA и CW этапов. При этом глобальный косинус градиентов между доменами близок к нулю — конфликта как будто нет!

Авторы показывают: проблема не в глобальном конфликте градиентов, а в локальных "активных маршрутах" внутри модели. RL вносит разреженные, малые изменения в параметры (~79% весов меняются менее чем на 1e-7), но reasoning-домены (Math, Code, QA) разделяют общие активные нейроны. Именно на этих общих маршрутах возникает second-order damage — новый домен "загибает" параметры в чувствительных направлениях предыдущего.

Решение элегантное: короткий refresh на Math после CW-обучения восстанавливает перформанс до 66.04, почти не трогая остальные домены. Итоговый средний скор 66.39 — лучший среди всех baseline.

https://arxiv.org/abs/2606.02398

Domino: параллельный драфтинг + немного причинности = быстро и точно

Speculative decoding — популярный способ ускорить LLM: маленькая модель предлагает токены, большая проверяет. Но есть дилемма: авторегрессионные драфтеры (типа EAGLE) дают длинные принятые цепочки, но работают медленно — k токенов требуют k последовательных шагов. Параллельные драфтеры (DFlash) быстрее, но хуже угадывают.

Авторы из Shanghai Jiao Tong University предложили Domino: генерируем весь блок токенов параллельно, а потом прогоняем лёгкую "Domino head" — каузальный энкодер + low-rank коррекция, которая дописывает причинно-следственные зависимости между токенами без повторных дорогих forward-проходов.

Результат: +56M параметров (+5.3%), +2.8% к латентности драфтинга, но +16.6% к acceptance length и +12.3% к итоговому ускорению vs DFlash. На GSM8K — 7.92× против 5.21× у DFlash и 3.28× у EAGLE-3.

https://arxiv.org/abs/2605.29707

NVIDIA и Microsoft представили новые инструменты для создания локальных AI-агентов на Windows-ПК.

Главное: Microsoft eXecution Containers (MXC) обеспечивает безопасную изоляцию агентов — теперь они не могут бесконтрольно лезть в ваши файлы. NVIDIA OpenShell строится поверх MXC и упрощает развёртывание автономных агентов с управлением политиками и защитой персональных данных.

Производительность: llama.cpp стал в 2х быстрее на моделях Qwen, vLLM получил прирост 2,6х. Добавлена поддержка двух GPU в llama.cpp и ComfyUI — до 1,8х больше вычислительной мощности.

Железо: RTX Spark — новые компактные ПК и ноутбуки с 1 петафлопом AI-мощности и до 128 ГБ памяти. Microsoft выпустит специальный девелоперский Surface на базе RTX Spark.

Итог: локальный стек для агентного AI наконец дорос до серьёзных задач — безопасность, скорость и поддержка крупных моделей прямо на вашем компьютере.

https://developer.nvidia.com/blog/build-personal-ai-agents-on-windows-pcs-with-new-tools-from-microsoft-and-nvidia/

Nvidia Tech выпустила связку Hermes Agent + NVIDIA NemoClaw — открытый стек для самообучающихся AI-агентов, которые работают с корпоративными данными без риска утечки.

Что умеет: агент подключается к Slack, Outlook и GitHub, учится на предпочтениях пользователя и сохраняет новые навыки в виде файлов-скиллов. Однажды показал нужный формат ответа — запомнит его навсегда, даже после перезапуска.

Главная фишка — безопасность. NVIDIA OpenShell изолирует агента в песочнице: он не видит токены авторизации и не может выйти в интернет. Сетевая политика прописана в коде, а не в промпте — обойти нельзя.

Почему важно: это рабочий паттерн для смешивания внутренних и публичных данных без угрозы утечки. Подходит для продаж, поддержки, инженерного триажа и конкурентного анализа.

Стек открытый, поднимается одной командой.

https://developer.nvidia.com/blog/deploy-self-evolving-agents-for-faster-more-secure-research-with-a-hermes-agent-and-nvidia-nemoclaw/

Nvidia представила процессор Vera CPU — специально разработанный для агентных ИИ-задач.

Суть в том, что современные ИИ-агенты всё больше нагружают именно CPU: запуск кода в песочницах, вызов инструментов, обработка данных, оркестрация задач. GPU ждут, пока процессор не закончит свою часть работы — и это становится узким местом.

Vera CPU построен на 88 ядрах Olympus с пропускной способностью памяти до 1,2 ТБ/с. По сравнению с предыдущим поколением Grace — прирост IPC до 50%. В реальных агентных нагрузках под полной загрузкой Vera показывает более чем 1,8x производительности относительно конкурентов.

Отдельный плюс — энергоэффективность: память потребляет менее 30 Вт против 100+ Вт у стандартных DDR5-конфигураций. TDP настраивается от 250 до 450 Вт.

Для ИИ-фабрик это означает больше завершённых агентных задач, быстрее обученные модели и меньшие счета за электричество.

https://developer.nvidia.com/blog/nvidia-vera-cpu-sets-a-new-standard-for-agentic-workloads-in-ai-factories/

Видео на 24 часа без сбоев — это реально?

Авторы решили главную боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а RoPE-индексы вылетают за пределы обучения и всё ломается. Решение — Echo-Infinity.

Два ключевых трюка:

1. Обучаемые Memory Queries — набор токенов, которые играют роль долговременной памяти. Когда старые фреймы вытесняются из окна, queries обновляются через cross-attention по вытесненным KV-кэшам + sigmoid-гейт фильтрует лишнее. Память фиксированного размера, независимо от длины видео.

2. Unified Relative RoPE — одна и та же схема относительных позиционных индексов и при обучении, и при инференсе. Никакого train-test mismatch, никакого переполнения.

Результат: генерация >1.3M кадров (24 часа!) в реальном времени на одном H100 при 18.5 FPS и всего +10.6% overhead к baseline без памяти.

https://arxiv.org/abs/2606.04527

Маленькая модель, которая не «помнит» лишнего — и именно поэтому лучше больших

Когда LLM отвечает на вопрос, она часто игнорирует контекст и лезет в свою «память». Для RAG-систем это катастрофа. Авторы OCC-RAG решили проблему радикально: обучили маленькие модели (0.6B и 1.7B) специально на три свойства — многошаговый вывод по контексту, избегание меморизации и отказ отвечать при недостатке информации.

Как: взяли базовые Qwen3-0.6B/1.7B, сгенерировали 3M+ синтетических QA-примеров с явными reasoning-трейсами и цитатами из контекста, добавили «неотвечаемые» примеры для обучения abstention.

Результат: OCC-RAG-0.6B обходит Qwen3-1.7B (в 2.8 раза больше) на +9.5 пунктов по faithfulness и превосходит Pleias-RAG-1.2B на +21.6 на MuSiQue. Модели в 2–6 раз меньше конкурентов, но точнее следуют контексту.

Ключевой инсайт: специализация важнее масштаба, если задача конкретная.

https://arxiv.org/abs/2606.00683

Нейронаука встречает причинно-следственный анализ: 70% "открытий" о мозге оказались ложными (by MIT)

Классический подход в нейронауке: найди зону мозга, которая сильно активируется на кошек — значит, она "представляет" кошек. Но что если она реагирует на фон, цвет или позу, а не на саму концепцию?

MIT представили BrainCause — фреймворк, который проверяет причинность, а не просто корреляцию. Идея: для каждой концепции генерируются три типа стимулов — позитивные изображения, семантические негативы (похожие, но другие концепции) и контрфактуалы (то же изображение, но концепция убрана). Затем предсказываются ответы мозга через fMRI-энкодер.

Результат шокирует: более 70% зон, найденных активационными методами — ложные срабатывания. Из 260 проверенных концептов BrainCause надёжно подтвердил представления лиц, тел, мест, рук, еды, инструментов и социальных взаимодействий.

https://arxiv.org/abs/2605.23895

OpenAI представила GPT-Rosalind — специализированную модель для исследований в области биологических наук.

Что нового: улучшенное биологическое мышление, экспертиза в медицинской химии, анализ геномики и поддержка экспериментальных рабочих процессов.

Почему важно: это не универсальный ИИ, а заточенный инструмент для учёных. Модель понимает специфику лабораторных задач — от разработки лекарств до расшифровки генетических данных.

Для пользователей: исследователи получают помощника, который говорит на языке науки — помогает планировать эксперименты, анализировать геномные последовательности и работать с молекулярными структурами. Это может серьёзно ускорить разработки в фармацевтике и биотехе.

https://openai.com/index/introducing-new-capabilities-to-gpt-rosalind

Amazon Science: как правильно проверять факты в AI-отчётах

Команда Amazon AGI столкнулась с неожиданной проблемой: прежде чем научить ИИ проверять факты в длинных исследовательских отчётах, нужно было создать надёжный эталон для оценки самого проверщика.

Оказалось, что эксперты с учёными степенями справлялись с разметкой данных лишь на 60,8% — задача слишком когнитивно сложная. Тогда исследователи предложили протокол audit-then-score: когда ИИ не соглашается с человеческой оценкой, он обязан предоставить доказательства и аргументы. Эксперт не создаёт разметку с нуля, а сравнивает два конкретных случая — это гораздо проще.

Результат: точность выросла с 60,8% до 90,9% за четыре раунда. Система DeepFact-Eval достигла 83,4% против 58,5% у лучших традиционных фактчекеров.

Главный вывод: эталонные датасеты не могут быть статичными — оценка ИИ должна стать живым процессом с постоянным пересмотром и сотрудничеством людей и моделей.

https://www.amazon.science/blog/ground-truth-is-a-process-not-a-dataset

PyTorch / DeepSpeed: поддержка оптимизатора Muon

DeepSpeed теперь поддерживает Muon — оптимизатор, который активно вытесняет AdamW в крупных лабораториях. Его уже используют Kimi-K2 (1T параметров), GLM-5 (744B) и DeepSeek-V4 (1.6T).

Что такое Muon? Вместо двух буферов момента (как у Adam) он использует один, плюс ортогонализирует матрицу градиентов через итерации Ньютона-Шульца. Результат: на 35% быстрее AdamW в бенчмарках NanoGPT, а модель на 1.5B параметров достигает уровня GPT-2 XL на 25% быстрее.

Что это даёт пользователям: экономия памяти ~9% на GPU (около 3 ГБ для Qwen2.5-3B), лучшая сходимость на задачах рассуждения и кода. Muon работает только для 2D-весов, остальные параметры автоматически используют AdamW.

ZeRO Stage 2 и 3 уже поддерживаются. В планах: CPU offloading и MuonClip — вариант из Kimi-K2.

https://pytorch.org/blog/using-muon-optimizer-with-deepspeed/

3DGS без привязки к пикселям — в 6 раз меньше гауссиан, качество лучше (by ETH Zurich)

Стандартные feed-forward методы 3D Gaussian Splatting привязывают каждую гауссиану к пикселю: плоская стена и детальный объект получают одинаковый бюджет, а перекрывающиеся виды дублируют одни и те же поверхности.

ZipSplat ломает эту логику. Вместо пикселей — компактные scene tokens: мультивью-бэкбон извлекает визуальные токены, k-means в пространстве признаков сжимает их до K кластеров, cross- и self-attention уточняют, MLP декодирует каждый токен в группу гауссиан со свободными 3D-позициями.

Ключевые плюсы: гауссианы концентрируются там, где геометрия сложная; дубликаты из перекрывающихся видов сливаются автоматически; один обученный model покрывает весь диапазон quality–efficiency через один параметр r во время инференса.

Результат: SOTA на DL3DV и RealEstate10K при 6× меньшем числе гауссиан, чем у pixel-aligned методов.

https://arxiv.org/abs/2606.05102

Одна модель на 5B параметров вместо 13B+ для генерации и редактирования видео

LoomVideo от Peking University решает главную боль unified video-моделей: когда хочешь редактировать видео, надо подавать исходное видео как условие. Обычно это делают конкатенацией токенов — и длина последовательности удваивается, а вычисления в self-attention растут в 4 раза.

Авторы придумали Scale-and-Add: просто масштабируй латент исходного видео на текущий timestep и прибавляй к зашумлённому целевому латенту. Ноль лишних токенов, зато работает даже для сложных нежёстких правок (смена позы, ракурса камеры).

Ещё два трюка: Deepstack injection — фичи извлекаются из каждого слоя Qwen3-VL и инжектируются в соответствующие слои DiT через cross-attention. И Negative Temporal RoPE — специальные индексы позиционного кодирования для референсных изображений, чтобы они не путались с кадрами видео.

Итог: ускорение инференса в 5.4× по сравнению с конкурентами при сопоставимом качестве.

https://arxiv.org/abs/2606.06042

Видео с химическими опытами учит модели рассуждать, а не просто смотреть

Большинство датасетов для видеопонимания — это бытовые сцены: спорт, готовка, прогулки. Модели отлично распознают действия, но пасуют, когда нужно объяснить, почему в пробирке выделяется газ или что показывает термометр.

VideoKR — первый большой обучающий корпус, заточенный под знания и рассуждения. Авторы собрали 145K CC-licensed видео по 82 профессиональным дисциплинам (химия, инженерия, финансы и др.), причём средняя длина видео — 344 секунды против 37 секунд у конкурентов.

Ключевая идея: skill-oriented генерация данных. Каждый пример привязан к одному из трёх навыков — базовое восприятие, восприятие с опорой на знания, рассуждение с опорой на знания. Плюс строгий контроль качества с участием экспертов.

Результат: Qwen2.5-VL-7B, дообученный на VideoKR, обходит все предыдущие подходы на knowledge-intensive бенчмарках — без каких-либо алгоритмических трюков, только данные.

https://arxiv.org/abs/2606.05259

NVIDIA выпустила Nemotron 3 Ultra — мощную модель для долгосрочных агентов

NVIDIA представила Nemotron 3 Ultra: 550B-параметровую модель типа Mixture-of-Experts с 55B активными параметрами. Она создана специально для сложных агентных систем, где задачи выполняются в десятки и сотни шагов.

Что нового: гибридная архитектура Mamba-Transformer для длинного контекста, квантизация NVFP4 с поддержкой Hopper, Blackwell и Ampere, технология LatentMoE для умной маршрутизации между экспертами. Всё это даёт до 5x прироста скорости и снижает стоимость агентных задач на 30%.

Обучение велось с помощью Multi-Teacher Distillation — более 10 специализированных учителей прокачивали модель по разным доменам. Дополнительно добавлено 212B токенов: юридические данные, Wikipedia, свежий GitHub.

Для разработчиков: веса, рецепты обучения и данные открыты. Модель поддерживает LoRA, SFT и RL-файнтюнинг. Это важно для тех, кто строит корпоративных или суверенных AI-агентов.

https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/

Знание о репозитории — в веса модели, а не в контекст!

RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.

Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!

Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.

Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.

https://arxiv.org/abs/2606.06492

Умеет ли языковая модель играть Гарри Поттера из книги 1 иначе, чем из книги 5?

Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?

Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.

Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.

https://arxiv.org/abs/2606.05553

LLM-агент, который сам находит проблемы — до того, как вы их заметили (by KAIST AI)

Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?

TIDE делает именно это. Два ключевых механизма:

1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.

2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.

На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.

Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.

https://arxiv.org/abs/2606.04743