GameWorld: можно ли честно померить, как LLM играет в игры?

Большинство бенчмарков для игровых агентов — это боль: разные интерфейсы управления, VLM-as-judge оценка с шумом, и латентность модели влияет на результат. GameWorld решает все три проблемы сразу.

34 браузерные игры (Runner, Arcade, Platformer, Puzzle, Simulation), 170 задач. Ключевые фишки:

1. Sandbox паузит игру во время инференса — скорость ответа модели не влияет на счёт, только качество решений.

2. Оценка через gameAPI state — никакого OCR или VLM-судьи, только детерминированные метрики из сериализованного состояния игры.

3. Два типа агентов: Computer-Use (мышь/клавиатура) и Generalist (семантические действия типа move_right(), jump()).

Главный вывод: текущие модели делают частичный прогресс, но далеки от надёжного прохождения. Хуже всего — тайминг, пространственная навигация и долгосрочное планирование.

https://arxiv.org/abs/2604.07429

Из текста или одной картинки — в полноценный 3D-мир

HY-World 2.0 — первая открытая система, которая объединяет генерацию и реконструкцию 3D-миров в одном пайплайне. Подаёшь текст или одно изображение — получаешь навигабельный 3D-мир в формате 3D Gaussian Splatting.

Пайплайн состоит из 4 этапов: сначала генерируется 360° панорама (HY-Pano 2.0), затем планируются траектории камеры с учётом семантики сцены (WorldNav), потом видеодиффузионная модель с механизмом памяти расширяет мир по ключевым кадрам (WorldStereo 2.0), и наконец всё это собирается в 3DGS через улучшенный реконструктор WorldMirror 2.0.

Ключевая фишка: реконструкция и генерация больше не разделены — одна модель умеет и то, и другое, адаптируясь под количество входных данных. Конкурирует с закрытыми коммерческими продуктами вроде Marble, при этом полностью открытый исходный код.

https://arxiv.org/abs/2604.14268

OpenAI представила GPT-Rosalind — специализированную модель для исследований в области наук о жизни.

Модель заточена под конкретные задачи: поиск новых лекарств, анализ геномики, работа с белковыми структурами и научные исследовательские процессы. По сути, это первая фронтирная модель OpenAI, созданная не для широкой аудитории, а для учёных и биотех-компаний.

Почему это важно? Drug discovery — один из самых дорогих и медленных процессов в медицине. Если Rosalind действительно ускоряет анализ данных и рассуждения о молекулах и генах, это может сократить годы исследований до месяцев.

Название — отсылка к Розалинд Франклин, чьи рентгеновские снимки помогли открыть структуру ДНК. Символично.

https://openai.com/index/introducing-gpt-rosalind

Amazon Science: один LLM вместо десятков моделей в разработке лекарств

Amazon совместно с Nimbus Therapeutics научила языковую модель Nova 2 Lite предсказывать молекулярные свойства веществ для разработки лекарств — и заменила ею целый зоопарк специализированных нейросетей.

Раньше химики-медики использовали множество отдельных графовых нейросетей (GNN) для анализа каждого свойства молекулы: растворимость, проницаемость, скорость выведения из организма. Разные интерфейсы, форматы данных, недели на обучение новой модели.

Теперь одна дообученная Nova 2 Lite закрывает все 11 свойств сразу. Точность сопоставима с GNN — разрыв в ошибке удалось закрыть через двухэтапное дообучение: сначала SFT на 55 000 молекулах, затем RFT для оптимизации качества предсказаний.

Главный бонус — модель умеет объяснять свои выводы и предлагать модификации молекул. Это уже не просто предсказатель, а полноценный научный ассистент для химиков.

Разработка одного препарата стоит в среднем $2 млрд и занимает 10–15 лет. Такие инструменты могут ощутимо ускорить ранние этапы этого пути.

https://www.amazon.science/blog/customized-amazon-nova-models-improve-molecular-property-prediction-in-drug-discovery

Amazon Science совместно с лабораторией Грея из Университета Джонса Хопкинса запустила Antibody Developability Benchmark — крупнейшую публичную базу данных для оценки AI-моделей в разработке терапевтических антител.

В базе 50 антител четырёх структурных форматов, направленных против 42 антигенов. Все данные подтверждены лабораторными экспериментами — это принципиальное отличие от существующих датасетов.

Почему важно: сейчас разработчики AI-моделей для фармацевтики не могут объективно сравнивать свои инструменты — публичные датасеты слишком узкие и однородные. Новый бенчмарк в 20 раз разнообразнее существующих аналогов и поддерживает zero-shot оценку моделей.

Результаты уже доступны в Amazon Bio Discovery. Это ускорит создание надёжных AI-инструментов для поиска лекарств и потенциально сократит время разработки новых антител — особенно актуально в условиях пандемий.

https://www.amazon.science/news/aws-gray-lab-johns-hopkins-announce-groundbreaking-database-for-ai-ml-antibody-design

OpenAI обновили Codex — теперь он умеет работать в фоне как настоящий автономный помощник.

Автоматизации запускаются в том же треде, где шла работа, так что Codex помнит весь предыдущий контекст. Можно запланировать задачи наперёд — он сам «проснётся» и продолжит с того места, где остановился.

Это открывает путь к долгосрочным задачам: следить за открытыми пул-реквестами, доделывать незавершённые дела, мониторить что-то на постоянной основе. По сути, Codex превращается из инструмента в полноценного агента, который работает сам — даже когда ты не за компьютером.

https://x.com/OpenAI/status/2044828148890812538

Что если убрать условие из RL для LLM?

В стандартном RL для языковых моделей мы оптимизируем P(y|x) — вероятность ответа при данном вопросе. Авторы из Chinese Academy of Sciences задались вопросом: а что если оптимизировать маргинальное распределение P(y), вообще убрав условие на вопрос?

Идея называется Pre-train Space RL (PreRL). Теоретически и эмпирически показано, что градиенты log P(y) и log P(y|x) сильно выровнены (cosine similarity ~0.44), поэтому оптимизация маргинала косвенно улучшает условную политику.

Ключевой сюрприз: позитивные примеры в PreRL вредят (накапливают массу на самогенерированных ответах), а вот негативные (NSR-PreRL) работают отлично — быстро обрезают неверные траектории и провоцируют reasoning-поведение (переходы мысли растут в 14x!).

Итог: комбинация NSR-PreRL + стандартный GRPO (Dual Space RL) даёт 2.5x прирост sample efficiency и лучший Pass@K по сравнению с чистым GRPO.

https://arxiv.org/abs/2604.14142

Memory Transfer Learning: знания кодинг-агентов работают за пределами своей задачи (by KAIST AI)

Самоэволюционирующие агенты обычно учатся на своём прошлом опыте — но только в рамках одного домена. А что если опыт с задач ML-инжиниринга помогает решать SWE-задачи, и наоборот?

Авторы из KAIST систематически проверили Memory Transfer Learning: агент накапливает память из разных кодинг-доменов (SWE, ML, competitive coding, DevOps) и использует её кросс-доменно. Итог — +3.7% в среднем по 6 бенчмаркам.

Три ключевых вывода:
1. Кросс-доменная память реально помогает, даже лучше чем только своя.
2. Переносится мета-знание: как избегать падений среды, как валидировать — а не конкретный код.
3. Абстракция решает: формат Insight (высокоуровневый, task-agnostic) переносится лучше всего, а сырые Trajectory (трейсы выполнения) — хуже всего, они перегружены деталями.

https://arxiv.org/abs/2604.14004

Можно ли измерить, как именно LLM-агент "облажался" — не нашёл нужное или не воспользовался найденным?

Авторы из UW-Madison предлагают фреймворк для разделения ошибок exploration и exploitation у LM-агентов — без доступа к внутренней политике модели, только по траектории действий.

Идея: агент бродит по частично наблюдаемой 2D-карте и решает задачи, заданные символьными DAG-ами (никакой семантики — чтобы исключить читерство через pretrained знания). Метрика, основанная на теории графов, детектирует структурно избыточные действия и приписывает каждую ошибку либо exploration (пошёл туда, где уже был), либо exploitation (знал путь, но не использовал).

Результат: даже топовые модели стабильно ошибаются, причём у разных моделей — разные паттерны провалов. Минимальный harness-инжиниринг заметно улучшает оба типа поведения.

https://arxiv.org/abs/2604.13151

Google DeepMind выпустила Gemini 3.1 Flash TTS — новую модель для генерации речи с улучшенным контролем и выразительностью.

Главное: разработчики теперь могут управлять голосом через аудиотеги прямо в тексте — задавать темп, интонацию, акцент и даже менять подачу прямо посреди фразы. Есть режим "режиссёрского кресла": задаёшь сцену, прописываешь характеры персонажей, и модель держит их "в образе" на протяжении всего диалога.

Модель поддерживает 70+ языков, нативные мультиспикерные диалоги и получила Elo 1211 на лидерборде Artificial Analysis — это топ по соотношению качества и стоимости.

Всё аудио помечается невидимым водяным знаком SynthID для борьбы с дипфейками.

Доступно уже сейчас: для разработчиков через Gemini API и Google AI Studio, для бизнеса через Vertex AI, для пользователей Workspace — в Google Vids.

https://deepmind.google/blog/gemini-3-1-flash-tts-the-next-generation-of-expressive-ai-speech/

Nvidia выпустила обновление NVIDIA Dynamo с оптимизациями для агентного инференса.

Суть проблемы: инструменты вроде Claude Code делают сотни API-вызовов за сессию, каждый раз передавая полную историю диалога. Это создаёт огромную нагрузку на KV-кеш. Stripe генерирует 1300+ PR в неделю через агентов, и за каждым запросом стоит перегруженная инфраструктура.

Что сделала Nvidia:

Три слоя оптимизаций в Dynamo. Фронтенд теперь поддерживает все три API-протокола (включая v1/responses и v1/messages). Роутер научился учитывать кеш при распределении запросов — без этого каждый второй запрос пересчитывал префикс заново. Добавлены «подсказки агента» (agent hints): харнес может передать приоритет запроса, ожидаемую длину ответа и попросить заранее прогреть кеш.

Результат: при работе команды из 4 агентов попадание в кеш достигает 97,2%, а соотношение чтений к записям — 11,7x. Система один раз вычисляет контекст и многократно его переиспользует.

Важно для тех, кто разворачивает open-source модели на своих GPU — раньше такой оптимизации из коробки не было.

https://developer.nvidia.com/blog/full-stack-optimizations-for-agentic-inference-with-nvidia-dynamo/

Nvidia Tech запускает NemoClaw — локальный AI-агент с полной изоляцией данных

Nvidia представила NemoClaw — опенсорсный стек для развёртывания автономного AI-ассистента прямо на своём железе, без отправки данных в облако.

В основе — модель Nemotron 3 Super 120B, которая работает локально через Ollama. Агент умеет читать файлы, вызывать API и выполнять многошаговые задачи. Управление идёт прямо через Telegram.

Главное — безопасность: OpenShell изолирует агента в sandbox, блокирует несанкционированный доступ к сети и файловой системе, а все внешние запросы требуют явного одобрения пользователя.

Работает на NVIDIA DGX Spark. Установка занимает 20–30 минут плюс загрузка модели (~87 ГБ). Код и документация уже на GitHub.

Для кого важно: разработчики и компании, которым нужен мощный AI-агент без утечки корпоративных данных в чужие облака.

https://developer.nvidia.com/blog/build-a-secure-always-on-local-ai-agent-with-nvidia-nemoclaw-and-openclaw/

Google DeepMind показали крутой эксперимент: они подключили свою модель Gemini Robotics к роботу-собаке Spot от Boston Dynamics.

Вместо того чтобы писать сложный код для каждого действия, команда просто общалась со Spot на обычном английском языке. ИИ получил базовый набор инструментов — двигаться, фотографировать и захватывать предметы — и этого оказалось достаточно, чтобы выполнять куда более сложные составные задачи.

По сути, Gemini выступает мозгом, который сам разбирается, как комбинировать простые действия для достижения цели. Управление роботами через естественный язык — это серьёзный шаг к тому, чтобы сделать робототехнику доступной без глубоких технических знаний.

https://x.com/GoogleDeepMind/status/2044763631858909269

RL для беспилотников: зачем оптимизировать траекторию напрямую, если можно схитрить?

Главная боль RL в автономном вождении — разреженные скалярные награды vs. высокоразмерные траектории. Прямая оптимизация нестабильна и страдает от проблемы кредитного присвоения.

RAD-2 решает это через связку генератор-дискриминатор: диффузионная модель генерирует кандидатов, а RL обучает дискриминатор их ранжировать. Дискриминатор работает в низкоразмерном пространстве — туда скалярная награда ложится естественно. Генератор же оптимизируется отдельно только по продольной компоненте траектории (On-policy Generator Optimization), что стабилизирует обучение.

Для симуляции авторы сделали BEV-Warp — лёгкий симулятор на основе пространственного деформирования признаков, без тяжёлых 3D-реконструкций.

Результат: -56% коллизий на бенчмарках и улучшенная безопасность на реальных тестах.

https://arxiv.org/abs/2604.15308

Как честно оценить Deep Research агентов, не завися от живого интернета?

Проблема: большинство бенчмарков для Deep Research агентов либо используют реальный веб (результаты меняются каждый день, воспроизвести невозможно), либо упрощают до «чистых» текстовых задач без шума и мультимодальности.

DR3-Eval предлагает решение: статичный sandbox-корпус, собранный специально под каждую задачу. Внутри — нужные документы, документы-дистракторы и фоновый шум, имитирующий реальный веб. Задачи строятся «в обратную сторону»: сначала берут реальные мультимодальные файлы (текст, картинки, видео, аудио), потом из них выводят запрос — так гарантируется, что ответ существует и однозначен.

Оценка многомерная: Information Recall, Factual Accuracy, Citation Coverage, Instruction Following, Depth Quality.

Итог: современные топовые LLM на DR3-Eval проваливаются там, где обычные бенчмарки их не ловили. Реализм + воспроизводимость одновременно — это редкость.

https://arxiv.org/abs/2604.14683

Как дообучить reasoning-модель, не сломав её стиль?

Когда учишь маленькую модель (Qwen3-8B) на данных от большой (GPT-120B), возникает проблема: большая модель решает задачи правильно, но "думает вслух" иначе — другие переходные фразы, другой стиль рассуждений. Прямое SFT на таких данных даёт деградацию до -10% на бенчмарках.

Авторы из Shanghai AI Lab предлагают TESSY: разделить токены на "capability" (код, числа — суть решения) и "style" (связки типа "Okay, let's see..."). Capability-токены генерирует учитель, style-токены — сам студент. Генерация чередуется: студент → учитель → студент → ..., а специальные boundary predictors (на базе Qwen3-0.6B) обрезают каждый спан до нужного типа токенов.

Результат: +11.25% и +6.68% на LiveCodeBench-Pro и OJBench вместо деградации. Работает и с DeepSeek-R1 в роли учителя.

https://arxiv.org/abs/2604.14164

Nvidia Tech запустила AI-инструменты для проектирования ядерных реакторов.

Компания представила рабочий процесс на базе PhysicsNeMo и CUDA-X для создания цифровых двойников малых модульных реакторов (SMR) и реакторов четвёртого поколения. Суть: вместо дорогих физических экспериментов и многочасовых симуляций инженеры обучают AI-суррогатные модели, которые предсказывают распределение нейтронного потока и сечений поглощения прямо из геометрии и состава топлива.

Почему важно: расчёт ядерного реактора с 50 000 топливных стержней в полном разрешении — вычислительно неподъёмная задача. AI-суррогат делает это за долю времени и стоимости, при этом точнее стандартных регрессионных моделей — за счёт учёта пространственного самоэкранирования нейтронов.

Для инженеров это означает возможность быстро исследовать дизайн-пространство, проводить оптимизацию и оценку неопределённостей без ожидания многодневных симуляций. Код открыт.

https://developer.nvidia.com/blog/accelerate-clean-modular-nuclear-reactor-design-with-ai-physics/

NVIDIA DeepStream 9 теперь поддерживает работу с ИИ-агентами для написания кода

NVIDIA выпустила DeepStream 9 — обновление платформы для видеоаналитики, которое позволяет создавать сложные CV-пайплайны через обычные текстовые промпты в агентах вроде Claude Code или Cursor.

Что изменилось: раньше разработка систем с обработкой десятков видеопотоков требовала тысяч строк кода вручную. Теперь агент сам генерирует полноценный микросервис — с REST API, Docker-контейнером, Kafka-интеграцией и мониторингом — буквально за одну сессию.

Поддерживаются любые модели: NVIDIA Cosmos Reason 2, YOLOv26 и другие. Агент сам инспектирует модель, определяет форматы тензоров и генерирует нужный конфиг.

Почему важно: порог входа в промышленную видеоаналитику резко снижается. То, что раньше занимало недели, теперь — вопрос нескольких промптов.

https://developer.nvidia.com/blog/how-to-build-vision-ai-pipelines-using-deepstream-coding-agents/

Amazon Science раскрыла детали верификации Nitro Isolation Engine

AWS использовала инструмент математических доказательств Isabelle/HOL, чтобы формально верифицировать Nitro Isolation Engine — гипервизор, который изолирует данные клиентов в облаке. Это первый в мире облачный гипервизор с такой степенью проверки безопасности.

Что это значит на практике: вместо тестирования «на авось» инженеры математически доказали корректность кода — 250 тысяч строк доказательств, которые проверяются на обычном ноутбуке за полчаса. В основе лежит логика высшего порядка и специализированный язык separation logic для верификации работы с общими ресурсами.

Почему важно: формальная верификация критической инфраструктуры — это новый стандарт для облачной безопасности. Если баг нельзя найти тестами, его можно исключить математически. AWS уже применяла похожий подход для криптоалгоритмов на чипе Graviton2, ускорив цифровые подписи на 94%.

https://www.amazon.science/blog/isabelle-hol-the-proof-assistant-behind-the-nitro-isolation-engine

Томас Вольф (сооснователь Hugging Face) поделился техническим разбором для тех, кто хочет разобраться в обучении языковых моделей с подкреплением (RLHF).

В библиотеку TRL добавили AsyncGRPO — асинхронный режим обучения, который разделяет инференс и тренировку модели. Это позволяет масштабировать процесс значительно быстрее. Вольф описывает пост как нечто среднее между детективной историей и туториалом — звучит как отличное чтение на воскресное утро для тех, кто следит за миром ML.

TRL — популярная библиотека от Hugging Face для файн-тюнинга моделей с помощью обратной связи от человека, именно такой подход используется при создании ChatGPT и подобных систем.

https://x.com/Thom_Wolf/status/2045817727705628714