Nvidia Tech запускает NemoClaw — локальный AI-агент с полной изоляцией данных

Nvidia представила NemoClaw — опенсорсный стек для развёртывания автономного AI-ассистента прямо на своём железе, без отправки данных в облако.

В основе — модель Nemotron 3 Super 120B, которая работает локально через Ollama. Агент умеет читать файлы, вызывать API и выполнять многошаговые задачи. Управление идёт прямо через Telegram.

Главное — безопасность: OpenShell изолирует агента в sandbox, блокирует несанкционированный доступ к сети и файловой системе, а все внешние запросы требуют явного одобрения пользователя.

Работает на NVIDIA DGX Spark. Установка занимает 20–30 минут плюс загрузка модели (~87 ГБ). Код и документация уже на GitHub.

Для кого важно: разработчики и компании, которым нужен мощный AI-агент без утечки корпоративных данных в чужие облака.

https://developer.nvidia.com/blog/build-a-secure-always-on-local-ai-agent-with-nvidia-nemoclaw-and-openclaw/

Google DeepMind показали крутой эксперимент: они подключили свою модель Gemini Robotics к роботу-собаке Spot от Boston Dynamics.

Вместо того чтобы писать сложный код для каждого действия, команда просто общалась со Spot на обычном английском языке. ИИ получил базовый набор инструментов — двигаться, фотографировать и захватывать предметы — и этого оказалось достаточно, чтобы выполнять куда более сложные составные задачи.

По сути, Gemini выступает мозгом, который сам разбирается, как комбинировать простые действия для достижения цели. Управление роботами через естественный язык — это серьёзный шаг к тому, чтобы сделать робототехнику доступной без глубоких технических знаний.

https://x.com/GoogleDeepMind/status/2044763631858909269

RL для беспилотников: зачем оптимизировать траекторию напрямую, если можно схитрить?

Главная боль RL в автономном вождении — разреженные скалярные награды vs. высокоразмерные траектории. Прямая оптимизация нестабильна и страдает от проблемы кредитного присвоения.

RAD-2 решает это через связку генератор-дискриминатор: диффузионная модель генерирует кандидатов, а RL обучает дискриминатор их ранжировать. Дискриминатор работает в низкоразмерном пространстве — туда скалярная награда ложится естественно. Генератор же оптимизируется отдельно только по продольной компоненте траектории (On-policy Generator Optimization), что стабилизирует обучение.

Для симуляции авторы сделали BEV-Warp — лёгкий симулятор на основе пространственного деформирования признаков, без тяжёлых 3D-реконструкций.

Результат: -56% коллизий на бенчмарках и улучшенная безопасность на реальных тестах.

https://arxiv.org/abs/2604.15308

Как честно оценить Deep Research агентов, не завися от живого интернета?

Проблема: большинство бенчмарков для Deep Research агентов либо используют реальный веб (результаты меняются каждый день, воспроизвести невозможно), либо упрощают до «чистых» текстовых задач без шума и мультимодальности.

DR3-Eval предлагает решение: статичный sandbox-корпус, собранный специально под каждую задачу. Внутри — нужные документы, документы-дистракторы и фоновый шум, имитирующий реальный веб. Задачи строятся «в обратную сторону»: сначала берут реальные мультимодальные файлы (текст, картинки, видео, аудио), потом из них выводят запрос — так гарантируется, что ответ существует и однозначен.

Оценка многомерная: Information Recall, Factual Accuracy, Citation Coverage, Instruction Following, Depth Quality.

Итог: современные топовые LLM на DR3-Eval проваливаются там, где обычные бенчмарки их не ловили. Реализм + воспроизводимость одновременно — это редкость.

https://arxiv.org/abs/2604.14683

Как дообучить reasoning-модель, не сломав её стиль?

Когда учишь маленькую модель (Qwen3-8B) на данных от большой (GPT-120B), возникает проблема: большая модель решает задачи правильно, но "думает вслух" иначе — другие переходные фразы, другой стиль рассуждений. Прямое SFT на таких данных даёт деградацию до -10% на бенчмарках.

Авторы из Shanghai AI Lab предлагают TESSY: разделить токены на "capability" (код, числа — суть решения) и "style" (связки типа "Okay, let's see..."). Capability-токены генерирует учитель, style-токены — сам студент. Генерация чередуется: студент → учитель → студент → ..., а специальные boundary predictors (на базе Qwen3-0.6B) обрезают каждый спан до нужного типа токенов.

Результат: +11.25% и +6.68% на LiveCodeBench-Pro и OJBench вместо деградации. Работает и с DeepSeek-R1 в роли учителя.

https://arxiv.org/abs/2604.14164

Nvidia Tech запустила AI-инструменты для проектирования ядерных реакторов.

Компания представила рабочий процесс на базе PhysicsNeMo и CUDA-X для создания цифровых двойников малых модульных реакторов (SMR) и реакторов четвёртого поколения. Суть: вместо дорогих физических экспериментов и многочасовых симуляций инженеры обучают AI-суррогатные модели, которые предсказывают распределение нейтронного потока и сечений поглощения прямо из геометрии и состава топлива.

Почему важно: расчёт ядерного реактора с 50 000 топливных стержней в полном разрешении — вычислительно неподъёмная задача. AI-суррогат делает это за долю времени и стоимости, при этом точнее стандартных регрессионных моделей — за счёт учёта пространственного самоэкранирования нейтронов.

Для инженеров это означает возможность быстро исследовать дизайн-пространство, проводить оптимизацию и оценку неопределённостей без ожидания многодневных симуляций. Код открыт.

https://developer.nvidia.com/blog/accelerate-clean-modular-nuclear-reactor-design-with-ai-physics/

NVIDIA DeepStream 9 теперь поддерживает работу с ИИ-агентами для написания кода

NVIDIA выпустила DeepStream 9 — обновление платформы для видеоаналитики, которое позволяет создавать сложные CV-пайплайны через обычные текстовые промпты в агентах вроде Claude Code или Cursor.

Что изменилось: раньше разработка систем с обработкой десятков видеопотоков требовала тысяч строк кода вручную. Теперь агент сам генерирует полноценный микросервис — с REST API, Docker-контейнером, Kafka-интеграцией и мониторингом — буквально за одну сессию.

Поддерживаются любые модели: NVIDIA Cosmos Reason 2, YOLOv26 и другие. Агент сам инспектирует модель, определяет форматы тензоров и генерирует нужный конфиг.

Почему важно: порог входа в промышленную видеоаналитику резко снижается. То, что раньше занимало недели, теперь — вопрос нескольких промптов.

https://developer.nvidia.com/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/

Amazon Science раскрыла детали верификации Nitro Isolation Engine

AWS использовала инструмент математических доказательств Isabelle/HOL, чтобы формально верифицировать Nitro Isolation Engine — гипервизор, который изолирует данные клиентов в облаке. Это первый в мире облачный гипервизор с такой степенью проверки безопасности.

Что это значит на практике: вместо тестирования «на авось» инженеры математически доказали корректность кода — 250 тысяч строк доказательств, которые проверяются на обычном ноутбуке за полчаса. В основе лежит логика высшего порядка и специализированный язык separation logic для верификации работы с общими ресурсами.

Почему важно: формальная верификация критической инфраструктуры — это новый стандарт для облачной безопасности. Если баг нельзя найти тестами, его можно исключить математически. AWS уже применяла похожий подход для криптоалгоритмов на чипе Graviton2, ускорив цифровые подписи на 94%.

https://www.amazon.science/blog/isabelle-hol-the-proof-assistant-behind-the-nitro-isolation-engine

Томас Вольф (сооснователь Hugging Face) поделился техническим разбором для тех, кто хочет разобраться в обучении языковых моделей с подкреплением (RLHF).

В библиотеку TRL добавили AsyncGRPO — асинхронный режим обучения, который разделяет инференс и тренировку модели. Это позволяет масштабировать процесс значительно быстрее. Вольф описывает пост как нечто среднее между детективной историей и туториалом — звучит как отличное чтение на воскресное утро для тех, кто следит за миром ML.

TRL — популярная библиотека от Hugging Face для файн-тюнинга моделей с помощью обратной связи от человека, именно такой подход используется при создании ChatGPT и подобных систем.

https://x.com/Thom_Wolf/status/2045817727705628714

Клеман Делонг, CEO Hugging Face, объявил, что их платформа превращается в главную площадку для AI-агентов. Теперь агенты могут обращаться к более чем миллиону так называемых Spaces — это отдельные приложения и демо, размещённые на HF. По сути, агент может вызвать любой из них как инструмент и использовать возможности самых разных специализированных моделей: для работы с изображениями, звуком, кодом, текстом и чем угодно ещё. Это серьёзный шаг: вместо того чтобы встраивать всё в одну модель, агент просто делегирует задачи лучшим инструментам в экосистеме. Hugging Face явно метит в роль операционной системы для агентного AI.

https://x.com/ClementDelangue/status/2045640413256564818

UniDoc-RL: RAG для визуальных документов теперь умеет "смотреть" как человек (by DeepGlint)

Представьте: вы ищете ответ в стопке отсканированных отчётов. Сначала грубо отбираете нужные страницы, потом фокусируетесь на конкретном графике — и только тогда отвечаете. Именно так работает UniDoc-RL.

Система строит иерархическое пространство действий: Search (грубый поиск через внешний ретривер) → Select (LVLM-агент семантически отфильтровывает нерелевантные картинки) → Visual Perception (crop + zoom на информативные регионы). Всё это обучается через RL с плотными наградами: NDCG-based за retrieval, IoU-based за кроп, accuracy за финальный ответ — никакой проблемы кредитного присвоения.

Результат: +17.7% к предыдущим RL-методам на трёх бенчмарках по visual document QA.

https://arxiv.org/abs/2604.14967

"Align First, Decode Later" — новый принцип для 3D Gaussian Splatting

Обычные feed-forward методы 3DGS работают так: берут каждый входной вид, предсказывают гауссианы попиксельно, а потом пытаются всё это состыковать. Итог — с ростом числа видов гауссианы множатся как грибы: 100K–миллионы штук, 150–600 MB, >500 мс инференса.

GlobalSplat переворачивает пайплайн: сначала все входные виды агрегируются в фиксированный набор глобальных латентных токенов сцены, и только потом из них декодируются гауссианы. Число токенов — константа, не зависит от числа входных видов.

Результат: 16K гауссиан вместо миллионов, <4 MB на сцену, 1.79 GB GPU памяти, инференс <78 мс — при сопоставимом качестве (28.5 PSNR на 24 видах RealEstate10K). Архитектура использует двухветвевое итеративное внимание, разделяя геометрию и внешний вид, плюс coarse-to-fine curriculum при обучении.

https://arxiv.org/abs/2604.15284

LLM-ассистент, который помнит тебя по-настоящему — и меняет мнение вместе с тобой

Проблема современных персонализированных ИИ: они запоминают тебя статично. Сказал однажды, что любишь Sprite — будут советовать его вечно, даже если ты уже год пьёшь Колу.

PersonaVLM решает это через динамическую память и эволюцию личности. Архитектура хранит 4 типа воспоминаний (факты, привычки, события, базовые атрибуты) плюс профиль личности по модели Big Five (OCEAN). При каждом диалоге модель не только отвечает с учётом твоих черт характера, но и обновляет профиль через momentum-механизм — личность пользователя "дрейфует" по мере новых взаимодействий.

Два режима работы: Response Stage (retrieval + reasoning + ответ под твой характер) и Update Stage (обновление памяти и Big Five-оценок).

Дополнительно авторы собрали датасет из 30k взаимодействий для 500 персон и новый бенчмарк Persona-MME. Результат: +22.4% на Persona-MME, обгоняет GPT-4o.

https://arxiv.org/abs/2604.13074

PyTorch (Meta): как инженеры подняли эффективность обучения AI-моделей выше 90%

Meta поделилась опытом оптимизации тренировочной инфраструктуры на PyTorch для рекомендательных систем.

Команда ввела метрику ETT% — доля времени, которую кластер реально тратит на обучение, а не на запуск, сбои и восстановление. До оптимизаций значительная часть GPU-времени уходила впустую.

За полтора года разработали более 40 улучшений: распараллелили PT2-компиляцию и загрузку данных, убрали лишние all_gather-вызовы при инициализации, ускорили восстановление после сбоев и перенесли публикацию моделей для инференса с GPU на CPU.

Результат: ETT% для офлайн-обучения превысил 90%.

Часть улучшений уже в опенсорсе — оптимизации TorchRec и PT2. Остальное адаптируемо для других команд.

https://pytorch.org/blog/optimizing-effective-training-time-for-metas-internal-recommendation-ranking-workloads/

Сломать нейросеть двумя битами (by NVIDIA)

Что если для полного уничтожения нейросети достаточно перевернуть 1-2 бита в весах модели — без данных, без обучения, без единого прохода через сеть?

Именно это показывают авторы из NVIDIA. Они нашли "критические параметры" — веса с большой величиной в ранних слоях, чей знаковый бит особенно уязвим. Флип знакового бита в IEEE-754 меняет вес с +X на -X, что ломает всю цепочку вычислений.

Атака DNL работает чисто эвристически: смотришь на веса, находишь самые большие по модулю в ранних слоях — и флипаешь их знаковый бит. Для модели Qwen3-30B-A3B два флипа в двух разных экспертах роняют точность с 78% до 0%.

Вектор атаки реальный: Rowhammer, DMA через Thunderbolt, прошивки GPU, руткиты. Всё это позволяет точечно менять биты в памяти без ведома ОС.

https://arxiv.org/abs/2502.07408

OneVL: цепочка мыслей без авторегрессии (by Xiaomi Research)

Chain-of-Thought рассуждения делают автопилот умнее, но медленнее — модель должна сгенерировать все токены рассуждения до того, как выдать траекторию. OneVL решает это радикально: вместо текстовых токенов рассуждения — компактные латентные векторы двух типов, языковые и визуальные.

Фишка: во время обучения два вспомогательных декодера заставляют эти латентные векторы восстанавливать одновременно текстовый CoT и предсказанные будущие кадры сцены (world model). На инференсе деодеры выбрасываются, а латентные токены просто prefill-ятся в контекст — один проход, скорость как у модели без рассуждений.

Результат: OneVL обгоняет явный CoT по качеству траекторий, при этом работает быстро. Авторы показывают, что визуальное предсказание будущего — ключевой ингредиент, которого не хватало языковым latent CoT методам вроде COCONUT и CODI.

https://arxiv.org/abs/2604.18486

SNR-t bias: скрытая болезнь диффузионных моделей (by Alibaba)

Диффузионные модели во время обучения жёстко связывают уровень шума (SNR) с номером шага. Но при инференсе накапливаются ошибки — и реальный SNR сэмпла перестаёт соответствовать тому шагу, на который рассчитана сеть. Авторы называют это SNR-t bias.

Последствия конкретные: сеть получает сэмпл с "неправильным" SNR и начинает предсказывать неверное количество шума. Причём обратный процесс систематически даёт более низкий SNR, чем прямой — то есть сеть всегда работает в условиях, к которым не готовилась.

Решение — без дообучения. Авторы предлагают динамическую дифференциальную коррекцию в вейвлет-домене: на каждом шаге сравниваются распределения "предсказанного" и "реконструированного" сэмпла, разница используется как градиент для коррекции. Вейвлеты позволяют отдельно корректировать низкие и высокие частоты — что логично, ведь диффузия сначала восстанавливает контуры, потом детали.

Nvidia Tech запустила поддержку сквозного обучения с подкреплением на точности FP8 в библиотеке NeMo RL.

Суть: обучение LLM через RL (например, алгоритм GRPO) делится на два этапа — генерацию и тренировку. Раньше использование FP8 только на одном из этапов создавало численные расхождения и снижало точность. Теперь FP8 применяется сквозь оба этапа, что решает проблему.

Что это даёт:
— Прирост скорости 15–25% по сравнению с BF16 при сопоставимой точности (0.613 vs 0.616 на Llama 3.1 8B)
— Поддержка как плотных моделей, так и MoE (Qwen3-30B)
— FP8 для KV-кэша и attention с автоматической рекалибровкой после каждого шага обучения

Для исследователей и инженеров это означает: можно обучать более мощные reasoning-модели быстрее и дешевле без потери качества. Всё доступно в открытом исходном коде через NeMo framework.

https://developer.nvidia.com/blog/run-high-throughput-reinforcement-learning-training-with-end-to-end-fp8-precision/

Nvidia AI Red Team обнаружила новый вид атаки на агентные AI-инструменты вроде OpenAI Codex.

Суть атаки: вредоносная зависимость в проекте подменяет файл AGENTS.md — специальный файл с инструкциями для AI-агента. В результате Codex начинает выполнять команды злоумышленника вместо команд разработчика, причём скрытно: без упоминания в коммитах и PR-описаниях.

В демо-сценарии разработчик просил изменить текст приветствия, а агент вместо этого тихо добавлял пятиминутную задержку в код — и создавал PR с описанием оригинального запроса.

Почему это опасно: атака использует уже существующее выполнение кода через supply chain. AGENTS.md воспринимается агентом как доверенный контекст — и это становится точкой входа.

Nvidia рекомендует ограничивать доступ агентов к файловой системе, проверять изменения в AGENTS.md и не давать агентам права на автоматическое создание PR без ревью.

https://developer.nvidia.com/blog/mitigating-indirect-agents-md-injection-attacks-in-agentic-environments/

Apple ML предупреждает: ваши логиты знают больше, чем вы думаете

Исследователи Apple ML опубликовали работу о скрытой утечке информации через логиты языковых моделей. Оказывается, даже топ-k логиты — самый доступный "срез" модели — могут раскрывать данные, которые разработчик считал надёжно скрытыми.

Эксперимент проводился на vision-language моделях. Выяснилось: логиты способны сливать нерелевантную информацию об изображении из запроса — иногда столько же, сколько прямая проекция полного residual stream.

Почему это важно: компании, предоставляющие доступ к моделям через API, часто возвращают вероятности токенов. Это создаёт реальный риск — злоумышленник может извлечь чувствительные данные, даже не взламывая модель напрямую.

Работа ставит неудобный вопрос перед всей индустрией: насколько безопасно публиковать логиты?

https://machinelearning.apple.com/research/what-do-your-logits-know