NVIDIA и Microsoft представили новые инструменты для создания локальных AI-агентов на Windows-ПК.

Главное: Microsoft eXecution Containers (MXC) обеспечивает безопасную изоляцию агентов — теперь они не могут бесконтрольно лезть в ваши файлы. NVIDIA OpenShell строится поверх MXC и упрощает развёртывание автономных агентов с управлением политиками и защитой персональных данных.

Производительность: llama.cpp стал в 2х быстрее на моделях Qwen, vLLM получил прирост 2,6х. Добавлена поддержка двух GPU в llama.cpp и ComfyUI — до 1,8х больше вычислительной мощности.

Железо: RTX Spark — новые компактные ПК и ноутбуки с 1 петафлопом AI-мощности и до 128 ГБ памяти. Microsoft выпустит специальный девелоперский Surface на базе RTX Spark.

Итог: локальный стек для агентного AI наконец дорос до серьёзных задач — безопасность, скорость и поддержка крупных моделей прямо на вашем компьютере.

https://developer.nvidia.com/blog/build-personal-ai-agents-on-windows-pcs-with-new-tools-from-microsoft-and-nvidia/

Nvidia Tech выпустила связку Hermes Agent + NVIDIA NemoClaw — открытый стек для самообучающихся AI-агентов, которые работают с корпоративными данными без риска утечки.

Что умеет: агент подключается к Slack, Outlook и GitHub, учится на предпочтениях пользователя и сохраняет новые навыки в виде файлов-скиллов. Однажды показал нужный формат ответа — запомнит его навсегда, даже после перезапуска.

Главная фишка — безопасность. NVIDIA OpenShell изолирует агента в песочнице: он не видит токены авторизации и не может выйти в интернет. Сетевая политика прописана в коде, а не в промпте — обойти нельзя.

Почему важно: это рабочий паттерн для смешивания внутренних и публичных данных без угрозы утечки. Подходит для продаж, поддержки, инженерного триажа и конкурентного анализа.

Стек открытый, поднимается одной командой.

https://developer.nvidia.com/blog/deploy-self-evolving-agents-for-faster-more-secure-research-with-a-hermes-agent-and-nvidia-nemoclaw/

Nvidia представила процессор Vera CPU — специально разработанный для агентных ИИ-задач.

Суть в том, что современные ИИ-агенты всё больше нагружают именно CPU: запуск кода в песочницах, вызов инструментов, обработка данных, оркестрация задач. GPU ждут, пока процессор не закончит свою часть работы — и это становится узким местом.

Vera CPU построен на 88 ядрах Olympus с пропускной способностью памяти до 1,2 ТБ/с. По сравнению с предыдущим поколением Grace — прирост IPC до 50%. В реальных агентных нагрузках под полной загрузкой Vera показывает более чем 1,8x производительности относительно конкурентов.

Отдельный плюс — энергоэффективность: память потребляет менее 30 Вт против 100+ Вт у стандартных DDR5-конфигураций. TDP настраивается от 250 до 450 Вт.

Для ИИ-фабрик это означает больше завершённых агентных задач, быстрее обученные модели и меньшие счета за электричество.

https://developer.nvidia.com/blog/nvidia-vera-cpu-sets-a-new-standard-for-agentic-workloads-in-ai-factories/

Видео на 24 часа без сбоев — это реально?

Авторы решили главную боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а RoPE-индексы вылетают за пределы обучения и всё ломается. Решение — Echo-Infinity.

Два ключевых трюка:

1. Обучаемые Memory Queries — набор токенов, которые играют роль долговременной памяти. Когда старые фреймы вытесняются из окна, queries обновляются через cross-attention по вытесненным KV-кэшам + sigmoid-гейт фильтрует лишнее. Память фиксированного размера, независимо от длины видео.

2. Unified Relative RoPE — одна и та же схема относительных позиционных индексов и при обучении, и при инференсе. Никакого train-test mismatch, никакого переполнения.

Результат: генерация >1.3M кадров (24 часа!) в реальном времени на одном H100 при 18.5 FPS и всего +10.6% overhead к baseline без памяти.

https://arxiv.org/abs/2606.04527

Маленькая модель, которая не «помнит» лишнего — и именно поэтому лучше больших

Когда LLM отвечает на вопрос, она часто игнорирует контекст и лезет в свою «память». Для RAG-систем это катастрофа. Авторы OCC-RAG решили проблему радикально: обучили маленькие модели (0.6B и 1.7B) специально на три свойства — многошаговый вывод по контексту, избегание меморизации и отказ отвечать при недостатке информации.

Как: взяли базовые Qwen3-0.6B/1.7B, сгенерировали 3M+ синтетических QA-примеров с явными reasoning-трейсами и цитатами из контекста, добавили «неотвечаемые» примеры для обучения abstention.

Результат: OCC-RAG-0.6B обходит Qwen3-1.7B (в 2.8 раза больше) на +9.5 пунктов по faithfulness и превосходит Pleias-RAG-1.2B на +21.6 на MuSiQue. Модели в 2–6 раз меньше конкурентов, но точнее следуют контексту.

Ключевой инсайт: специализация важнее масштаба, если задача конкретная.

https://arxiv.org/abs/2606.00683

Нейронаука встречает причинно-следственный анализ: 70% "открытий" о мозге оказались ложными (by MIT)

Классический подход в нейронауке: найди зону мозга, которая сильно активируется на кошек — значит, она "представляет" кошек. Но что если она реагирует на фон, цвет или позу, а не на саму концепцию?

MIT представили BrainCause — фреймворк, который проверяет причинность, а не просто корреляцию. Идея: для каждой концепции генерируются три типа стимулов — позитивные изображения, семантические негативы (похожие, но другие концепции) и контрфактуалы (то же изображение, но концепция убрана). Затем предсказываются ответы мозга через fMRI-энкодер.

Результат шокирует: более 70% зон, найденных активационными методами — ложные срабатывания. Из 260 проверенных концептов BrainCause надёжно подтвердил представления лиц, тел, мест, рук, еды, инструментов и социальных взаимодействий.

https://arxiv.org/abs/2605.23895

OpenAI представила GPT-Rosalind — специализированную модель для исследований в области биологических наук.

Что нового: улучшенное биологическое мышление, экспертиза в медицинской химии, анализ геномики и поддержка экспериментальных рабочих процессов.

Почему важно: это не универсальный ИИ, а заточенный инструмент для учёных. Модель понимает специфику лабораторных задач — от разработки лекарств до расшифровки генетических данных.

Для пользователей: исследователи получают помощника, который говорит на языке науки — помогает планировать эксперименты, анализировать геномные последовательности и работать с молекулярными структурами. Это может серьёзно ускорить разработки в фармацевтике и биотехе.

https://openai.com/index/introducing-new-capabilities-to-gpt-rosalind

Amazon Science: как правильно проверять факты в AI-отчётах

Команда Amazon AGI столкнулась с неожиданной проблемой: прежде чем научить ИИ проверять факты в длинных исследовательских отчётах, нужно было создать надёжный эталон для оценки самого проверщика.

Оказалось, что эксперты с учёными степенями справлялись с разметкой данных лишь на 60,8% — задача слишком когнитивно сложная. Тогда исследователи предложили протокол audit-then-score: когда ИИ не соглашается с человеческой оценкой, он обязан предоставить доказательства и аргументы. Эксперт не создаёт разметку с нуля, а сравнивает два конкретных случая — это гораздо проще.

Результат: точность выросла с 60,8% до 90,9% за четыре раунда. Система DeepFact-Eval достигла 83,4% против 58,5% у лучших традиционных фактчекеров.

Главный вывод: эталонные датасеты не могут быть статичными — оценка ИИ должна стать живым процессом с постоянным пересмотром и сотрудничеством людей и моделей.

https://www.amazon.science/blog/ground-truth-is-a-process-not-a-dataset

PyTorch / DeepSpeed: поддержка оптимизатора Muon

DeepSpeed теперь поддерживает Muon — оптимизатор, который активно вытесняет AdamW в крупных лабораториях. Его уже используют Kimi-K2 (1T параметров), GLM-5 (744B) и DeepSeek-V4 (1.6T).

Что такое Muon? Вместо двух буферов момента (как у Adam) он использует один, плюс ортогонализирует матрицу градиентов через итерации Ньютона-Шульца. Результат: на 35% быстрее AdamW в бенчмарках NanoGPT, а модель на 1.5B параметров достигает уровня GPT-2 XL на 25% быстрее.

Что это даёт пользователям: экономия памяти ~9% на GPU (около 3 ГБ для Qwen2.5-3B), лучшая сходимость на задачах рассуждения и кода. Muon работает только для 2D-весов, остальные параметры автоматически используют AdamW.

ZeRO Stage 2 и 3 уже поддерживаются. В планах: CPU offloading и MuonClip — вариант из Kimi-K2.

https://pytorch.org/blog/using-muon-optimizer-with-deepspeed/

3DGS без привязки к пикселям — в 6 раз меньше гауссиан, качество лучше (by ETH Zurich)

Стандартные feed-forward методы 3D Gaussian Splatting привязывают каждую гауссиану к пикселю: плоская стена и детальный объект получают одинаковый бюджет, а перекрывающиеся виды дублируют одни и те же поверхности.

ZipSplat ломает эту логику. Вместо пикселей — компактные scene tokens: мультивью-бэкбон извлекает визуальные токены, k-means в пространстве признаков сжимает их до K кластеров, cross- и self-attention уточняют, MLP декодирует каждый токен в группу гауссиан со свободными 3D-позициями.

Ключевые плюсы: гауссианы концентрируются там, где геометрия сложная; дубликаты из перекрывающихся видов сливаются автоматически; один обученный model покрывает весь диапазон quality–efficiency через один параметр r во время инференса.

Результат: SOTA на DL3DV и RealEstate10K при 6× меньшем числе гауссиан, чем у pixel-aligned методов.

https://arxiv.org/abs/2606.05102

Одна модель на 5B параметров вместо 13B+ для генерации и редактирования видео

LoomVideo от Peking University решает главную боль unified video-моделей: когда хочешь редактировать видео, надо подавать исходное видео как условие. Обычно это делают конкатенацией токенов — и длина последовательности удваивается, а вычисления в self-attention растут в 4 раза.

Авторы придумали Scale-and-Add: просто масштабируй латент исходного видео на текущий timestep и прибавляй к зашумлённому целевому латенту. Ноль лишних токенов, зато работает даже для сложных нежёстких правок (смена позы, ракурса камеры).

Ещё два трюка: Deepstack injection — фичи извлекаются из каждого слоя Qwen3-VL и инжектируются в соответствующие слои DiT через cross-attention. И Negative Temporal RoPE — специальные индексы позиционного кодирования для референсных изображений, чтобы они не путались с кадрами видео.

Итог: ускорение инференса в 5.4× по сравнению с конкурентами при сопоставимом качестве.

https://arxiv.org/abs/2606.06042

Видео с химическими опытами учит модели рассуждать, а не просто смотреть

Большинство датасетов для видеопонимания — это бытовые сцены: спорт, готовка, прогулки. Модели отлично распознают действия, но пасуют, когда нужно объяснить, почему в пробирке выделяется газ или что показывает термометр.

VideoKR — первый большой обучающий корпус, заточенный под знания и рассуждения. Авторы собрали 145K CC-licensed видео по 82 профессиональным дисциплинам (химия, инженерия, финансы и др.), причём средняя длина видео — 344 секунды против 37 секунд у конкурентов.

Ключевая идея: skill-oriented генерация данных. Каждый пример привязан к одному из трёх навыков — базовое восприятие, восприятие с опорой на знания, рассуждение с опорой на знания. Плюс строгий контроль качества с участием экспертов.

Результат: Qwen2.5-VL-7B, дообученный на VideoKR, обходит все предыдущие подходы на knowledge-intensive бенчмарках — без каких-либо алгоритмических трюков, только данные.

https://arxiv.org/abs/2606.05259

NVIDIA выпустила Nemotron 3 Ultra — мощную модель для долгосрочных агентов

NVIDIA представила Nemotron 3 Ultra: 550B-параметровую модель типа Mixture-of-Experts с 55B активными параметрами. Она создана специально для сложных агентных систем, где задачи выполняются в десятки и сотни шагов.

Что нового: гибридная архитектура Mamba-Transformer для длинного контекста, квантизация NVFP4 с поддержкой Hopper, Blackwell и Ampere, технология LatentMoE для умной маршрутизации между экспертами. Всё это даёт до 5x прироста скорости и снижает стоимость агентных задач на 30%.

Обучение велось с помощью Multi-Teacher Distillation — более 10 специализированных учителей прокачивали модель по разным доменам. Дополнительно добавлено 212B токенов: юридические данные, Wikipedia, свежий GitHub.

Для разработчиков: веса, рецепты обучения и данные открыты. Модель поддерживает LoRA, SFT и RL-файнтюнинг. Это важно для тех, кто строит корпоративных или суверенных AI-агентов.

https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/

Знание о репозитории — в веса модели, а не в контекст!

RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.

Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!

Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.

Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.

https://arxiv.org/abs/2606.06492

Умеет ли языковая модель играть Гарри Поттера из книги 1 иначе, чем из книги 5?

Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?

Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.

Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.

https://arxiv.org/abs/2606.05553

LLM-агент, который сам находит проблемы — до того, как вы их заметили (by KAIST AI)

Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?

TIDE делает именно это. Два ключевых механизма:

1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.

2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.

На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.

Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.

https://arxiv.org/abs/2606.04743

Как проверить, умеет ли LLM-агент планировать в реальном мире?

Реальные задачи редко бывают без ограничений. Инструмент сломан, пользователь не любит использовать фен — агент должен это учитывать. Но большинство бенчмарков тестируют либо ограничения мира, либо предпочтения пользователя — но не оба сразу.

Авторы из UIUC представили AdaPlanBench: агент получает задачу (например, "высушить мяч"), предлагает план, и только когда нарушает скрытое ограничение — узнаёт о нём. Затем должен перепланировать. Ограничения раскрываются постепенно, по мере ошибок.

307 бытовых задач, у каждой — автоматически сгенерированные мировые ограничения (нет полотенца дома) и пользовательские (не люблю вентиляторы). Результат: лучшая модель набирает лишь 67.75%, open-source модели — ниже 30%. Явное отслеживание ограничений почти не помогает.

https://arxiv.org/abs/2606.05622

Робот в доме: помочь или уважить приватность?

Представьте: пожилая женщина с трудом идёт в ванную. Робот может подойти и помочь, позвать мужа или просто держаться рядом. Каждый вариант правильный — но они противоречат друг другу по ценностям. Существующие бенчмарки для роботов меряют только успех задачи, но не то, как робот выбирает между безопасностью, автономией и приватностью человека.

Авторы из Seoul National University предлагают RobotValues — бенчмарк из 10K реалистичных сценариев для оценки VLM-роботов в ситуациях конфликта ценностей. Данные генерировались автоматически с привязкой к демографике из World Values Survey (64 страны). Ценности аннотируются не напрямую, а через реакции стейкхолдеров на каждое действие.

Результат: модели по умолчанию предпочитают безопасность и услужливость в ущерб приватности. А если попросить модель приоритизировать другую ценность — точность падает на 30+ процентных пунктов.

https://arxiv.org/abs/2606.03312

RL учит модель читать грамматику — и переводить языки, которых она никогда не видела

Перевести текст на язык, которого нет в обучающих данных — казалось бы, невозможно. Но исследователи из Университета Цюриха показали: если обучить LLM через RL с наградой за качество перевода (chrF), модель приобретает мета-навык — умение извлекать смысл из грамматик и словарей прямо в контексте.

Идея: вместо того чтобы запоминать конкретный язык, модель учится рассуждать над лингвистическими описаниями. Контекст — это грамматика + словарь, награда — качество перевода. SFT на тех же данных переобучается на тренировочных языках, а RL обобщается на новые.

Эксперименты на 14 малоресурсных языках (Kalamang, Japhug, Ulwa и др.) подтверждают: RL реально улучшает перевод unseen языков, тогда как файнтюнинг — нет.

https://arxiv.org/abs/2606.06428

Новый датасет для автопилота из Европы — и он реально крутой

Большинство датасетов для автономного вождения сделаны в США или Азии, а европейские городские сцены почти не представлены. Карлсруйский технологический институт выпустил KITScenes Multimodal — датасет с сенсорной платформой уровня роботакси.

Что внутри: 7 лидаров дают >900к точек на кадр (в 3 раза плотнее аналогов) с дальностью до 400 м, 72.5 Мпикс синхронизированных камер с глобальным затвором, 3 радара 4D и HD-карты в формате Lanelet2 на 62 км² с 29 классами дорожной разметки и 120 классами знаков.

Четыре бенчмарка: предсказание HD-карт онлайн, оценка глубины дальше 200 м (где все существующие методы деградируют), neural rendering и мультимодальный end-to-end driving.

Особенность: карты валидированы в стеке Autoware и пригодны для реального автопилота, а не только для исследований.

https://arxiv.org/abs/2606.02956

ToolMaze: LLM-агенты ломаются, когда ломаются инструменты (by Baidu)

Все бенчмарки для LLM-агентов тестируют "счастливый путь" — когда все API работают идеально. Но в реальности инструменты падают с 404, таймаутами или возвращают семантически битые данные (например, отрицательный баланс акций).

Авторы создали TOOLMAZE — бенчмарк с двумя осями: сложность топологии задачи (DAG от линейного до комплексного) и тип поломки (явная/неявная × временная/постоянная). Агент должен не просто выполнить задачу, а детектировать аномалию, откатиться и перепланировать маршрут через альтернативные инструменты.

Вместо бинарного "решил/не решил" вводят PRR (насколько точно агент восстановился) и RC (стоимость восстановления — штраф за бесконечные ретраи).

Вывод: топовые модели часто не замечают семантические сбои и застревают в петлях ретраев. Динамическое перепланирование — это отдельный навык, не отражаемый обычными метриками успеха.

https://arxiv.org/abs/2606.05806