Nvidia обновила поддержку нейросетей в Unreal Engine 5

Nvidia выпустила плагин NNERuntimeTRT, который добавляет TensorRT for RTX как новый бэкенд для Neural Network Engine (NNE) в Unreal Engine 5. Проще говоря, разработчики игр теперь могут запускать AI-модели прямо в движке с заметно большей скоростью.

На практике это означает ускорение задач вроде стилизации изображений, шумоподавления и апскейлинга прямо в процессе рендеринга. На RTX 5090 тест с нейронной постобработкой показал 3.8 мс против 5.7 мс у DirectML — то есть примерно в 1.5 раза быстрее.

Плагин работает на RTX-картах начиная с архитектуры Turing (2018) и вплоть до новейшего Blackwell. Поддерживается как синхронный, так и асинхронный режим через Render Dependency Graph.

Пока требуется ручная правка исходников движка, так что это инструмент для разработчиков, а не рядовых пользователей. Но направление очевидно: AI-эффекты в реальном времени становятся стандартом для игровых движков.

https://developer.nvidia.com/blog/speed-up-unreal-engine-nne-inference-with-nvidia-tensorrt-for-rtx-runtime/

Nvidia выпустила DLSS 4.5 для разработчиков игр

DLSS 4.5 теперь доступен в SDK с новыми режимами Dynamic Multi Frame Generation и 6X Multi Frame Generation. Технология использует трансформерную модель второго поколения для Super Resolution — это заметный прирост качества картинки и частоты кадров без потери отзывчивости.

Что ещё нового: плагин TensorRT для RTX в Unreal Engine ускоряет AI-задачи в 1,5 раза по сравнению с DirectML. Инструмент Kimodo генерирует реалистичную 3D-анимацию персонажей из текста или ключевых кадров — меньше ручной работы, больше вариаций движений.

Для разработчиков это реальное ускорение пайплайна: быстрее прототипирование, проще интеграция AI-фич прямо в движок. DLSS уже поддерживают более 700 игр и приложений.

https://developer.nvidia.com/blog/build-ai-powered-games-with-nvidia-dlss-4-5-rtx-and-unreal-engine-5/

Синтетические компьютеры для обучения AI-агентов (by Microsoft)

Как обучить AI-агента работать с реальными файлами пользователя, если все эти файлы — приватные? Microsoft предлагает генерировать синтетические компьютеры целиком.

Идея: берём персону (например, "финансовый советник"), разворачиваем её в детальный профиль пользователя с историей работы, коллегами и привычками, затем генерируем целую файловую систему — Excel-модели, Word-документы, PowerPoint-презентации, PDF-отчёты. Всё реалистично и взаимосвязано.

Потом запускаем симуляцию: агент "живёт" в этой среде ~месяц рабочего времени (8+ часов реального времени, 2000+ шагов), выполняет профессиональные задачи, общается с симулированными коллегами, получает фидбек.

Результат: 1000 таких компьютеров дали богатые обучающие траектории, улучшившие агентов на long-horizon задачах. А персон можно генерировать миллиарды — значит, метод масштабируется.

https://arxiv.org/abs/2604.28181

Плагины для диффузионных моделей — как в LLM, только для генерации картинок

Controllable diffusion — это боль. ControlNet, IP-Adapter, LoRA — каждый метод живёт в своей экосистеме, требует своих хуков, своих скриптов обучения. Хочешь совместить два контроля — готовься к ручной инженерии.

Авторы предлагают Diffusion Templates: единый плагин-фреймворк, где каждый метод контроля упакован как независимый модуль с общим интерфейсом. Идея позаимствована у LLM-систем с их tool-calling и MCP.

Как работает: Template-модель берёт входной сигнал (поза, глубина, референс-картинка, яркость и т.д.) и конвертирует его в "Template cache" — промежуточное представление (KV-cache, LoRA или другое). Базовая диффузионная модель потребляет эти кеши во время генерации, не зная деталей каждого контроля.

Результат: структурный контроль, редактирование, super-resolution, возраст, цвет — всё под одним интерфейсом, без переписывания пайплайна.

https://arxiv.org/abs/2604.24351

Робот понимает «убери синий стул» без предварительной разметки

RADIO-ViPE — система семантического SLAM, которая работает в реальном времени (8–10 FPS) с обычной монокулярной камерой без калибровки. Главная фишка: она одновременно строит 3D-карту, оценивает позу камеры и «понимает» сцену на уровне свободного языка — можно буквально спросить «где диван?» и получить координаты в карте.

Три ключевых трюка: (1) мультимодальный bundle adjustment, который совместно оптимизирует геометрию и семантические эмбеддинги из foundation-модели RADIO; (2) адаптивное робастное ядро с временной согласованностью — система сама понимает, какие пиксели принадлежат движущимся объектам и подавляет их влияние; (3) семантическая инициализация оптического потока для текстурно бедных поверхностей.

В отличие от конкурентов (OVO-SLAM, RayFronts, CLIO), RADIO-ViPE единственная система, закрывающая все пять осей: онлайн + open-vocabulary + одометрия + картирование + динамика + без калибровки.

https://arxiv.org/abs/2604.26067

Nvidia Tech автоматизирует перевод GPU-ядер с помощью ИИ

Nvidia представила TileGym — AI-агент, который автоматически переводит GPU-ядра с cuTile Python на cuTile.jl (Julia). Это важно для учёных и разработчиков, работающих с Julia в области симуляций, дифференциальных уравнений и вероятностного программирования.

Проблема была серьёзной: даже мелкая ошибка при ручном переводе — например, перепутать 0-based и 1-based индексацию или использовать * вместо .* — приводила к тихой порче данных без каких-либо ошибок компилятора.

TileGym упаковывает 17 критических правил перевода, маппинги API и примеры ядер (matmul, softmax) в единый навык для LLM-агента. Агент переводит код за один проход и сразу валидирует результат.

Итог: Julia-экосистема получает доступ к проверенным GPU-ядрам без переписывания каждого с нуля, а рутинная и опасная работа по портированию становится автоматической.

https://developer.nvidia.com/blog/automating-gpu-kernel-translation-with-ai-agents-cutile-python-to-cutile-jl/

Apple ML представила Reinforced Agent — систему проверки вызовов инструментов в реальном времени.

Обычно AI-агенты, работающие с инструментами (поиск, API, базы данных), оцениваются уже после выполнения действий. Если агент ошибся — исправляют промпт или переобучают модель. Apple предлагает другой подход: специальный агент-рецензент проверяет каждый вызов инструмента до его выполнения, прямо в процессе работы.

Чтобы измерить эффект, ввели две метрики: Helpfulness (сколько ошибок исправлено) и Harmfulness (сколько правильных ответов испорчено). Оказалось, что выбор модели-рецензента критичен: o3-mini даёт соотношение пользы к риску 3:1, GPT-4o — лишь 2.1:1.

Результаты на бенчмарках: +5.5% на определении нерелевантных запросов, +7.1% на многоходовых задачах. Дополнительная оптимизация промптов добавляет ещё 1.5–2.8%.

Главный плюс: рецензента можно улучшать независимо, без переобучения основного агента.

https://machinelearning.apple.com/research/reinforced-agent-inference-feedback

Apple ML представила STARFlow-V — генератор видео на основе нормализующих потоков (normalizing flows), который бросает вызов доминирующим диффузионным моделям.

Главное: почти все топовые системы генерации видео сегодня используют диффузию. Apple решила пойти другим путём и доказала, что NF-подход тоже способен создавать качественное видео с хорошей временной согласованностью.

Что под капотом: модель работает в пространстве латентных представлений с глобально-локальной архитектурой, которая снижает накопление ошибок при авторегрессивной генерации. Добавлен flow-score matching для улучшения консистентности и параллельная схема Якоби для ускорения сэмплинга.

Практически важно: одна модель нативно поддерживает text-to-video, image-to-video и video-to-video без дополнительных адаптаций — благодаря инвертируемой структуре.

Статья принята на CVPR 2026. Это первое убедительное свидетельство того, что нормализующие потоки могут стать реальной альтернативой диффузии в видеогенерации.

https://machinelearning.apple.com/research/starflow-v-video-modeling

Последняя человеческая статья (by Stanford)

Каждая научная статья — это потеря данных. Месяцы провальных экспериментов, хаки реализации, отвергнутые гипотезы — всё это компилируется в красивый линейный нарратив и выбрасывается. Раньше это было терпимо. Теперь — нет: AI-агенты читают статьи, воспроизводят эксперименты и расширяют методы, а им нужно именно то, что выброшено.

Авторы из Stanford вводят два понятия: Storytelling Tax (нарратив стирает историю исследования) и Engineering Tax (статьи написаны для убеждения рецензента, а не для воспроизведения агентом — только 45% требований PaperBench полностью специфицированы).

Решение — Agent-Native Research Artifact (ARA): четырёхслойный пакет вместо PDF. Структурированная логика, исполняемый код, граф исследования с тупиками и привязанные доказательства. Агенты на ARA стабильно обгоняют агентов на PDF+репозиторий по пониманию, воспроизведению и расширению работ.

https://arxiv.org/abs/2604.24658

LLM научили исследовать пространство решений через внутренние представления

Проблема test-time scaling проста: генерируешь 100 кандидатов, а они все про одно и то же — слова разные, логика одинаковая. Обычный сэмплинг даёт лексическое разнообразие, но не смысловое.

Авторы из ShanghaiTech предлагают ESamp: лёгкий модуль Latent Distiller учится предсказывать скрытые состояния глубоких слоёв трансформера по ранним слоям. Идея из RND (reinforcement learning): то, что модель уже "видела", предсказывается хорошо — значит это скучно. Высокая ошибка предсказания = неизведанная семантическая территория.

Эту ошибку используют как награду за новизну в KL-регуляризованной оптимизации, перевзвешивая распределение токенов. Батч кандидатов неявно координируется — каждая следующая последовательность уходит в другую сторону смыслового пространства.

Оверхед меньше 5% по throughput, зато Pass@k растёт заметно, особенно у reasoning-моделей.

https://arxiv.org/abs/2604.24927

ClawGym: как научить ИИ-агента работать с реальными файлами и программами

Современные агенты вроде OpenClaw умеют управлять файлами, запускать скрипты и работать с веб-сервисами прямо на компьютере пользователя. Но слабые LLM там постоянно ломаются: теряют контекст, неправильно выбирают инструменты, не восстанавливаются после ошибок.

Авторы предлагают ClawGym — фреймворк для обучения и оценки таких агентов. Ключевая идея: синтез данных двумя путями одновременно. Сверху вниз — задачи генерируются из персон пользователей (бухгалтер, разработчик, менеджер). Снизу вверх — из конкретных навыков (операции с файлами, вызовы инструментов). Итог: 13.5K задач с реалистичными рабочими пространствами и автоматической верификацией (код + LLM-рубрики).

На этих данных дообучили модели через SFT + RL. Результат: Qwen3-8B вырос на 39-43%, Qwen3-30B — на 26-55% на бенчмарках.

https://arxiv.org/abs/2604.26904

Google DeepMind представила концепцию AI co-clinician — ИИ-помощника для врачей.

Идея в том, чтобы ИИ работал не вместо доктора, а рядом с ним: помогал анализировать симптомы, подсказывал возможные диагнозы и снижал риск врачебных ошибок. Особый акцент — на надёжности: система должна быть предсказуемой и безопасной в реальных клинических условиях.

Для пациентов это может означать более точную и быструю диагностику. Для врачей — снижение нагрузки и дополнительную «страховку» при сложных случаях.

Пока это исследовательский этап, но Google DeepMind явно метит в один из самых чувствительных секторов — медицину, где цена ошибки максимальна.

https://deepmind.google/blog/ai-co-clinician/

PyTorch / LightSeek Foundation выпустили Shepherd Model Gateway (SMG) — Rust-шлюз для LLM-инференса, который решает реальную проблему: GIL в Python тормозит GPU на больших нагрузках.

Суть: всё CPU-задачи (токенизация, парсинг, мультимодальная обработка, MCP-инструменты) вынесены из движков вроде vLLM и SGLang в отдельный Rust-слой. GPU получает уже готовые токены по gRPC и не ждёт Python.

Что внутри: двухуровневый кеш токенайзера, стриминговый парсинг reasoning-блоков для 15 семейств моделей, нативная поддержка пяти API (OpenAI, Anthropic, Gemini и др.), WASM-плагины для кастомной логики. Поддержка мультимодальных моделей реализована на Rust с нуля — авторы называют это первым подобным решением в индустрии.

Почему важно: дорогие GPU простаивают из-за CPU-узких мест. SMG разделяет слои так, чтобы каждый масштабировался независимо. PR уже приняты в vLLM и TensorRT-LLM.

https://pytorch.org/blog/lightseek-smg/

RoundPipe: файн-тюнинг 235B модели на дешёвых GPU за разумные деньги

Обучать большие LLM дорого — датацентровые GPU стоят в разы больше потребительских. RTX 4090 по вычислениям почти не уступает A100, но стоит на 80% дешевле. Проблема: 24 ГБ VRAM и медленный PCIe вместо NVLink.

Существующие подходы (ZeRO-Infinity, Mobius) упираются в pipeline bubbles — GPU простаивают до 30% времени из-за "weight binding": каждый слой привязан к конкретному GPU.

Ключевая идея RoundPipe: раз веса всё равно живут в CPU-памяти и подгружаются по требованию — зачем привязывать слой к конкретному GPU? Авторы делают GPU stateless-пулом исполнителей и диспетчеризуют стадии round-robin динамически. Плюс асимметричное разбиение слоёв (3 слоя в forward = 1 слой в backward по времени), приоритетный планировщик передач и event-based протокол консистентности без барьеров.

Результат: до 2.16× ускорение на 8×RTX 4090, поддержка последовательностей в 7.3× длиннее. Единственная система, способная LoRA-файн-тюнить 235B MoE на 24 ГБ GPU.

LLM наконец научился считать токены — на каждом шаге!

Проблема: современные LLM плохо контролируют длину своих ответов. Существующие методы работают грубо — штрафуют за длину на уровне всей последовательности или дают инструкции в промпте. Никто не смотрит на длину токен за токеном.

Авторы из UC Santa Barbara предложили Length Value Model (LenVM) — отдельную голову поверх LLM, которая на каждом шаге декодирования предсказывает, сколько токенов ещё осталось сгенерировать. Идея из RL: назначаем -1 награду за каждый токен, считаем дисконтированный возврат — и получаем ограниченный, монотонный прокси для "горизонта генерации".

Главный плюс: обучение полностью автоматическое (не нужна разметка), сигнал плотный (цель на каждый токен), и хорошо масштабируется.

Применения: контроль длины при декодировании, предсказание длины с первого токена, value baseline для PPO. Работает на math, code и instruction-following задачах.

https://arxiv.org/abs/2604.27039

Видеогенерация научилась физике — трение, упругость, деформация теперь под контролем

Современные видеодиффузионные модели умеют делать красивую картинку, но физику нарушают постоянно: объекты зависают в воздухе, не отскакивают при ударе, не деформируются. PhyCo предлагает решение в два шага.

Шаг 1: файнтюнинг через ControlNet с картами физических свойств (трение, упругость, деформация, сила). Данные — 100K симуляционных видео из Kubric+PyBullet с аннотациями физических параметров.

Шаг 2: VLM-guided reward optimization — замороженная vision-language модель отвечает на вопросы про физику в сгенерированном видео ("насколько сильно деформировался объект?"), и её логиты используются как дифференцируемая награда для дообучения.

Итог: непрерывный контроль над физическими свойствами без симуляторов на инференсе. Модель обобщается на реальные сцены и новые материалы.

https://arxiv.org/abs/2604.28169

Один фреймворк вместо десятка моделей для видео-генерации

Обычно для каждой задачи с видео (матирование, inverse rendering, inpainting, генерация normal maps) обучают отдельную сеть. UniVidX предлагает объединить всё в одну модель через три трюка:

1. Stochastic Condition Masking — случайно делит модальности на «условия» и «цели», заставляя модель учиться генерировать в любом направлении (текст→X, X→X, текст+X→X).

2. Decoupled Gated LoRA — каждой модальности свой LoRA-адаптер, который включается только когда эта модальность является целью генерации. Никакой интерференции параметров.

3. Cross-Modal Self-Attention — ключи и значения shared между модальностями, запросы — свои у каждой. Так достигается согласованность между, например, RGB и normal map.

Результат: два инстанса фреймворка покрывают 15 задач, обучаясь на менее чем 1000 видео. VDM-приоры делают тяжёлую работу.

https://arxiv.org/abs/2605.00658

Многоагентный поиск по вебу: как собрать тысячи фактов в одну таблицу

Представьте задачу: найди все концерты Taylor Swift с 2010 по 2025 с датой, городом и площадкой. Это не один сложный вопрос — это сотни строк, каждую надо проверить. Обычный LLM-агент захлёбывается: контекст переполняется, ошибки множатся.

Web2BigTable решает это двухуровневой мультиагентной системой. Верхний оркестратор разбивает запрос на подзадачи, нижние воркеры параллельно их решают. Ключевая фишка — общая "рабочая доска": воркеры видят прогресс друг друга, не дублируют поиск и разрешают конфликты между источниками.

Система самообучается через цикл run-verify-reflect: накапливает навыки декомпозиции и выполнения в внешней памяти, не трогая веса LLM. На WideSearch бенчмарке результат в 7.5 раз лучше второго места по Success Rate.

https://arxiv.org/abs/2604.27221

MolmoAct2: полностью открытый робот-мозг, который думает быстро (by Ai2)

Проблема современных VLA-моделей (vision-language-action): закрытый код, медленный reasoning из-за сотен токенов перед каждым действием, и привязка к дорогим платформам.

MolmoAct2 от Ai2 атакует все три проблемы сразу.

Ключевые идеи:
1. Molmo2-ER — специализированный VLM-бэкбон для пространственного мышления (3.3M примеров: метрические расстояния, ego-exo видео, 3D-геометрия). Обходит GPT-5 и Gemini Robotics ER-1.5 на 13 бенчмарках.

2. Action expert с flow matching поверх KV-кэша VLM — непрерывные траектории без потери контекста.

3. MolmoAct2-Think: reasoning только по изменившимся регионам сцены между шагами. Статичные части пропускаются — latency падает, качество растёт.

Всё полностью открыто: веса, код, датасеты (720 часов bimanual телеопераций — крупнейший открытый датасет такого рода).

https://arxiv.org/abs/2605.02881

OpenAI рассказала, как устроена их голосовая AI-инфраструктура изнутри.

Компания полностью переписала свой WebRTC-стек, чтобы обеспечить минимальную задержку и работу в реальном времени по всему миру. Главная задача была сложной: голосовой AI должен не просто отвечать быстро, но и правильно понимать паузы в разговоре — когда человек закончил говорить, а когда просто сделал вдох.

Для этого OpenAI реализовала умное управление очерёдностью реплик (turn-taking), чтобы диалог звучал естественно, а не как разговор с автоответчиком.

Всё это работает на глобальной инфраструктуре с низкими задержками — критично для голоса, где даже 200 мс ощущаются как неловкая пауза.

Это основа для Realtime API и голосового режима ChatGPT. Чем стабильнее и быстрее инфраструктура — тем лучше опыт для всех, кто строит голосовые продукты на базе OpenAI.

https://openai.com/index/delivering-low-latency-voice-ai-at-scale