Можно ли измерить, как именно LLM-агент "облажался" — не нашёл нужное или не воспользовался найденным?

Авторы из UW-Madison предлагают фреймворк для разделения ошибок exploration и exploitation у LM-агентов — без доступа к внутренней политике модели, только по траектории действий.

Идея: агент бродит по частично наблюдаемой 2D-карте и решает задачи, заданные символьными DAG-ами (никакой семантики — чтобы исключить читерство через pretrained знания). Метрика, основанная на теории графов, детектирует структурно избыточные действия и приписывает каждую ошибку либо exploration (пошёл туда, где уже был), либо exploitation (знал путь, но не использовал).

Результат: даже топовые модели стабильно ошибаются, причём у разных моделей — разные паттерны провалов. Минимальный harness-инжиниринг заметно улучшает оба типа поведения.

https://arxiv.org/abs/2604.13151

Google DeepMind выпустила Gemini 3.1 Flash TTS — новую модель для генерации речи с улучшенным контролем и выразительностью.

Главное: разработчики теперь могут управлять голосом через аудиотеги прямо в тексте — задавать темп, интонацию, акцент и даже менять подачу прямо посреди фразы. Есть режим "режиссёрского кресла": задаёшь сцену, прописываешь характеры персонажей, и модель держит их "в образе" на протяжении всего диалога.

Модель поддерживает 70+ языков, нативные мультиспикерные диалоги и получила Elo 1211 на лидерборде Artificial Analysis — это топ по соотношению качества и стоимости.

Всё аудио помечается невидимым водяным знаком SynthID для борьбы с дипфейками.

Доступно уже сейчас: для разработчиков через Gemini API и Google AI Studio, для бизнеса через Vertex AI, для пользователей Workspace — в Google Vids.

https://deepmind.google/blog/gemini-3-1-flash-tts-the-next-generation-of-expressive-ai-speech/

Nvidia выпустила обновление NVIDIA Dynamo с оптимизациями для агентного инференса.

Суть проблемы: инструменты вроде Claude Code делают сотни API-вызовов за сессию, каждый раз передавая полную историю диалога. Это создаёт огромную нагрузку на KV-кеш. Stripe генерирует 1300+ PR в неделю через агентов, и за каждым запросом стоит перегруженная инфраструктура.

Что сделала Nvidia:

Три слоя оптимизаций в Dynamo. Фронтенд теперь поддерживает все три API-протокола (включая v1/responses и v1/messages). Роутер научился учитывать кеш при распределении запросов — без этого каждый второй запрос пересчитывал префикс заново. Добавлены «подсказки агента» (agent hints): харнес может передать приоритет запроса, ожидаемую длину ответа и попросить заранее прогреть кеш.

Результат: при работе команды из 4 агентов попадание в кеш достигает 97,2%, а соотношение чтений к записям — 11,7x. Система один раз вычисляет контекст и многократно его переиспользует.

Важно для тех, кто разворачивает open-source модели на своих GPU — раньше такой оптимизации из коробки не было.

https://developer.nvidia.com/blog/full-stack-optimizations-for-agentic-inference-with-nvidia-dynamo/

Nvidia Tech запускает NemoClaw — локальный AI-агент с полной изоляцией данных

Nvidia представила NemoClaw — опенсорсный стек для развёртывания автономного AI-ассистента прямо на своём железе, без отправки данных в облако.

В основе — модель Nemotron 3 Super 120B, которая работает локально через Ollama. Агент умеет читать файлы, вызывать API и выполнять многошаговые задачи. Управление идёт прямо через Telegram.

Главное — безопасность: OpenShell изолирует агента в sandbox, блокирует несанкционированный доступ к сети и файловой системе, а все внешние запросы требуют явного одобрения пользователя.

Работает на NVIDIA DGX Spark. Установка занимает 20–30 минут плюс загрузка модели (~87 ГБ). Код и документация уже на GitHub.

Для кого важно: разработчики и компании, которым нужен мощный AI-агент без утечки корпоративных данных в чужие облака.

https://developer.nvidia.com/blog/build-a-secure-always-on-local-ai-agent-with-nvidia-nemoclaw-and-openclaw/

Google DeepMind показали крутой эксперимент: они подключили свою модель Gemini Robotics к роботу-собаке Spot от Boston Dynamics.

Вместо того чтобы писать сложный код для каждого действия, команда просто общалась со Spot на обычном английском языке. ИИ получил базовый набор инструментов — двигаться, фотографировать и захватывать предметы — и этого оказалось достаточно, чтобы выполнять куда более сложные составные задачи.

По сути, Gemini выступает мозгом, который сам разбирается, как комбинировать простые действия для достижения цели. Управление роботами через естественный язык — это серьёзный шаг к тому, чтобы сделать робототехнику доступной без глубоких технических знаний.

https://x.com/GoogleDeepMind/status/2044763631858909269

RL для беспилотников: зачем оптимизировать траекторию напрямую, если можно схитрить?

Главная боль RL в автономном вождении — разреженные скалярные награды vs. высокоразмерные траектории. Прямая оптимизация нестабильна и страдает от проблемы кредитного присвоения.

RAD-2 решает это через связку генератор-дискриминатор: диффузионная модель генерирует кандидатов, а RL обучает дискриминатор их ранжировать. Дискриминатор работает в низкоразмерном пространстве — туда скалярная награда ложится естественно. Генератор же оптимизируется отдельно только по продольной компоненте траектории (On-policy Generator Optimization), что стабилизирует обучение.

Для симуляции авторы сделали BEV-Warp — лёгкий симулятор на основе пространственного деформирования признаков, без тяжёлых 3D-реконструкций.

Результат: -56% коллизий на бенчмарках и улучшенная безопасность на реальных тестах.

https://arxiv.org/abs/2604.15308

Как честно оценить Deep Research агентов, не завися от живого интернета?

Проблема: большинство бенчмарков для Deep Research агентов либо используют реальный веб (результаты меняются каждый день, воспроизвести невозможно), либо упрощают до «чистых» текстовых задач без шума и мультимодальности.

DR3-Eval предлагает решение: статичный sandbox-корпус, собранный специально под каждую задачу. Внутри — нужные документы, документы-дистракторы и фоновый шум, имитирующий реальный веб. Задачи строятся «в обратную сторону»: сначала берут реальные мультимодальные файлы (текст, картинки, видео, аудио), потом из них выводят запрос — так гарантируется, что ответ существует и однозначен.

Оценка многомерная: Information Recall, Factual Accuracy, Citation Coverage, Instruction Following, Depth Quality.

Итог: современные топовые LLM на DR3-Eval проваливаются там, где обычные бенчмарки их не ловили. Реализм + воспроизводимость одновременно — это редкость.

https://arxiv.org/abs/2604.14683

Как дообучить reasoning-модель, не сломав её стиль?

Когда учишь маленькую модель (Qwen3-8B) на данных от большой (GPT-120B), возникает проблема: большая модель решает задачи правильно, но "думает вслух" иначе — другие переходные фразы, другой стиль рассуждений. Прямое SFT на таких данных даёт деградацию до -10% на бенчмарках.

Авторы из Shanghai AI Lab предлагают TESSY: разделить токены на "capability" (код, числа — суть решения) и "style" (связки типа "Okay, let's see..."). Capability-токены генерирует учитель, style-токены — сам студент. Генерация чередуется: студент → учитель → студент → ..., а специальные boundary predictors (на базе Qwen3-0.6B) обрезают каждый спан до нужного типа токенов.

Результат: +11.25% и +6.68% на LiveCodeBench-Pro и OJBench вместо деградации. Работает и с DeepSeek-R1 в роли учителя.

https://arxiv.org/abs/2604.14164

Nvidia Tech запустила AI-инструменты для проектирования ядерных реакторов.

Компания представила рабочий процесс на базе PhysicsNeMo и CUDA-X для создания цифровых двойников малых модульных реакторов (SMR) и реакторов четвёртого поколения. Суть: вместо дорогих физических экспериментов и многочасовых симуляций инженеры обучают AI-суррогатные модели, которые предсказывают распределение нейтронного потока и сечений поглощения прямо из геометрии и состава топлива.

Почему важно: расчёт ядерного реактора с 50 000 топливных стержней в полном разрешении — вычислительно неподъёмная задача. AI-суррогат делает это за долю времени и стоимости, при этом точнее стандартных регрессионных моделей — за счёт учёта пространственного самоэкранирования нейтронов.

Для инженеров это означает возможность быстро исследовать дизайн-пространство, проводить оптимизацию и оценку неопределённостей без ожидания многодневных симуляций. Код открыт.

https://developer.nvidia.com/blog/accelerate-clean-modular-nuclear-reactor-design-with-ai-physics/

NVIDIA DeepStream 9 теперь поддерживает работу с ИИ-агентами для написания кода

NVIDIA выпустила DeepStream 9 — обновление платформы для видеоаналитики, которое позволяет создавать сложные CV-пайплайны через обычные текстовые промпты в агентах вроде Claude Code или Cursor.

Что изменилось: раньше разработка систем с обработкой десятков видеопотоков требовала тысяч строк кода вручную. Теперь агент сам генерирует полноценный микросервис — с REST API, Docker-контейнером, Kafka-интеграцией и мониторингом — буквально за одну сессию.

Поддерживаются любые модели: NVIDIA Cosmos Reason 2, YOLOv26 и другие. Агент сам инспектирует модель, определяет форматы тензоров и генерирует нужный конфиг.

Почему важно: порог входа в промышленную видеоаналитику резко снижается. То, что раньше занимало недели, теперь — вопрос нескольких промптов.

https://developer.nvidia.com/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/

Amazon Science раскрыла детали верификации Nitro Isolation Engine

AWS использовала инструмент математических доказательств Isabelle/HOL, чтобы формально верифицировать Nitro Isolation Engine — гипервизор, который изолирует данные клиентов в облаке. Это первый в мире облачный гипервизор с такой степенью проверки безопасности.

Что это значит на практике: вместо тестирования «на авось» инженеры математически доказали корректность кода — 250 тысяч строк доказательств, которые проверяются на обычном ноутбуке за полчаса. В основе лежит логика высшего порядка и специализированный язык separation logic для верификации работы с общими ресурсами.

Почему важно: формальная верификация критической инфраструктуры — это новый стандарт для облачной безопасности. Если баг нельзя найти тестами, его можно исключить математически. AWS уже применяла похожий подход для криптоалгоритмов на чипе Graviton2, ускорив цифровые подписи на 94%.

https://www.amazon.science/blog/isabelle-hol-the-proof-assistant-behind-the-nitro-isolation-engine

Томас Вольф (сооснователь Hugging Face) поделился техническим разбором для тех, кто хочет разобраться в обучении языковых моделей с подкреплением (RLHF).

В библиотеку TRL добавили AsyncGRPO — асинхронный режим обучения, который разделяет инференс и тренировку модели. Это позволяет масштабировать процесс значительно быстрее. Вольф описывает пост как нечто среднее между детективной историей и туториалом — звучит как отличное чтение на воскресное утро для тех, кто следит за миром ML.

TRL — популярная библиотека от Hugging Face для файн-тюнинга моделей с помощью обратной связи от человека, именно такой подход используется при создании ChatGPT и подобных систем.

https://x.com/Thom_Wolf/status/2045817727705628714

Клеман Делонг, CEO Hugging Face, объявил, что их платформа превращается в главную площадку для AI-агентов. Теперь агенты могут обращаться к более чем миллиону так называемых Spaces — это отдельные приложения и демо, размещённые на HF. По сути, агент может вызвать любой из них как инструмент и использовать возможности самых разных специализированных моделей: для работы с изображениями, звуком, кодом, текстом и чем угодно ещё. Это серьёзный шаг: вместо того чтобы встраивать всё в одну модель, агент просто делегирует задачи лучшим инструментам в экосистеме. Hugging Face явно метит в роль операционной системы для агентного AI.

https://x.com/ClementDelangue/status/2045640413256564818

UniDoc-RL: RAG для визуальных документов теперь умеет "смотреть" как человек (by DeepGlint)

Представьте: вы ищете ответ в стопке отсканированных отчётов. Сначала грубо отбираете нужные страницы, потом фокусируетесь на конкретном графике — и только тогда отвечаете. Именно так работает UniDoc-RL.

Система строит иерархическое пространство действий: Search (грубый поиск через внешний ретривер) → Select (LVLM-агент семантически отфильтровывает нерелевантные картинки) → Visual Perception (crop + zoom на информативные регионы). Всё это обучается через RL с плотными наградами: NDCG-based за retrieval, IoU-based за кроп, accuracy за финальный ответ — никакой проблемы кредитного присвоения.

Результат: +17.7% к предыдущим RL-методам на трёх бенчмарках по visual document QA.

https://arxiv.org/abs/2604.14967

"Align First, Decode Later" — новый принцип для 3D Gaussian Splatting

Обычные feed-forward методы 3DGS работают так: берут каждый входной вид, предсказывают гауссианы попиксельно, а потом пытаются всё это состыковать. Итог — с ростом числа видов гауссианы множатся как грибы: 100K–миллионы штук, 150–600 MB, >500 мс инференса.

GlobalSplat переворачивает пайплайн: сначала все входные виды агрегируются в фиксированный набор глобальных латентных токенов сцены, и только потом из них декодируются гауссианы. Число токенов — константа, не зависит от числа входных видов.

Результат: 16K гауссиан вместо миллионов, <4 MB на сцену, 1.79 GB GPU памяти, инференс <78 мс — при сопоставимом качестве (28.5 PSNR на 24 видах RealEstate10K). Архитектура использует двухветвевое итеративное внимание, разделяя геометрию и внешний вид, плюс coarse-to-fine curriculum при обучении.

https://arxiv.org/abs/2604.15284

LLM-ассистент, который помнит тебя по-настоящему — и меняет мнение вместе с тобой

Проблема современных персонализированных ИИ: они запоминают тебя статично. Сказал однажды, что любишь Sprite — будут советовать его вечно, даже если ты уже год пьёшь Колу.

PersonaVLM решает это через динамическую память и эволюцию личности. Архитектура хранит 4 типа воспоминаний (факты, привычки, события, базовые атрибуты) плюс профиль личности по модели Big Five (OCEAN). При каждом диалоге модель не только отвечает с учётом твоих черт характера, но и обновляет профиль через momentum-механизм — личность пользователя "дрейфует" по мере новых взаимодействий.

Два режима работы: Response Stage (retrieval + reasoning + ответ под твой характер) и Update Stage (обновление памяти и Big Five-оценок).

Дополнительно авторы собрали датасет из 30k взаимодействий для 500 персон и новый бенчмарк Persona-MME. Результат: +22.4% на Persona-MME, обгоняет GPT-4o.

https://arxiv.org/abs/2604.13074

PyTorch (Meta): как инженеры подняли эффективность обучения AI-моделей выше 90%

Meta поделилась опытом оптимизации тренировочной инфраструктуры на PyTorch для рекомендательных систем.

Команда ввела метрику ETT% — доля времени, которую кластер реально тратит на обучение, а не на запуск, сбои и восстановление. До оптимизаций значительная часть GPU-времени уходила впустую.

За полтора года разработали более 40 улучшений: распараллелили PT2-компиляцию и загрузку данных, убрали лишние all_gather-вызовы при инициализации, ускорили восстановление после сбоев и перенесли публикацию моделей для инференса с GPU на CPU.

Результат: ETT% для офлайн-обучения превысил 90%.

Часть улучшений уже в опенсорсе — оптимизации TorchRec и PT2. Остальное адаптируемо для других команд.

https://pytorch.org/blog/optimizing-effective-training-time-for-metas-internal-recommendation-ranking-workloads/

Сломать нейросеть двумя битами (by NVIDIA)

Что если для полного уничтожения нейросети достаточно перевернуть 1-2 бита в весах модели — без данных, без обучения, без единого прохода через сеть?

Именно это показывают авторы из NVIDIA. Они нашли "критические параметры" — веса с большой величиной в ранних слоях, чей знаковый бит особенно уязвим. Флип знакового бита в IEEE-754 меняет вес с +X на -X, что ломает всю цепочку вычислений.

Атака DNL работает чисто эвристически: смотришь на веса, находишь самые большие по модулю в ранних слоях — и флипаешь их знаковый бит. Для модели Qwen3-30B-A3B два флипа в двух разных экспертах роняют точность с 78% до 0%.

Вектор атаки реальный: Rowhammer, DMA через Thunderbolt, прошивки GPU, руткиты. Всё это позволяет точечно менять биты в памяти без ведома ОС.

https://arxiv.org/abs/2502.07408

OneVL: цепочка мыслей без авторегрессии (by Xiaomi Research)

Chain-of-Thought рассуждения делают автопилот умнее, но медленнее — модель должна сгенерировать все токены рассуждения до того, как выдать траекторию. OneVL решает это радикально: вместо текстовых токенов рассуждения — компактные латентные векторы двух типов, языковые и визуальные.

Фишка: во время обучения два вспомогательных декодера заставляют эти латентные векторы восстанавливать одновременно текстовый CoT и предсказанные будущие кадры сцены (world model). На инференсе деодеры выбрасываются, а латентные токены просто prefill-ятся в контекст — один проход, скорость как у модели без рассуждений.

Результат: OneVL обгоняет явный CoT по качеству траекторий, при этом работает быстро. Авторы показывают, что визуальное предсказание будущего — ключевой ингредиент, которого не хватало языковым latent CoT методам вроде COCONUT и CODI.

https://arxiv.org/abs/2604.18486

SNR-t bias: скрытая болезнь диффузионных моделей (by Alibaba)

Диффузионные модели во время обучения жёстко связывают уровень шума (SNR) с номером шага. Но при инференсе накапливаются ошибки — и реальный SNR сэмпла перестаёт соответствовать тому шагу, на который рассчитана сеть. Авторы называют это SNR-t bias.

Последствия конкретные: сеть получает сэмпл с "неправильным" SNR и начинает предсказывать неверное количество шума. Причём обратный процесс систематически даёт более низкий SNR, чем прямой — то есть сеть всегда работает в условиях, к которым не готовилась.

Решение — без дообучения. Авторы предлагают динамическую дифференциальную коррекцию в вейвлет-домене: на каждом шаге сравниваются распределения "предсказанного" и "реконструированного" сэмпла, разница используется как градиент для коррекции. Вейвлеты позволяют отдельно корректировать низкие и высокие частоты — что логично, ведь диффузия сначала восстанавливает контуры, потом детали.