Зачем дообучать диффузионную политику, если можно направить её градиентом Q-функции прямо во время инференса?
Стандартная проблема: диффузионные и flow-политики в RL нестабильны при обучении, потому что нужно backprop-ить через весь многошаговый denoising-процесс. Авторы предлагают другой путь — обучить политику обычным behavior cloning, а Q-функцию отдельно через IQL. А дальше на инференсе направлять генерацию действий градиентом Q.
Трюк в том, как брать этот градиент. Нельзя брать его на "шумных" промежуточных действиях — Q там не обучена. Нельзя backprop через всю цепочку — дорого и нестабильно. Решение QGF: делать один большой шаг Эйлера по flow-полю, получить приближение финального действия, и уже там брать градиент Q.
Результат: метод работает лучше best-of-N и конкурентов на offline RL бенчмарках, хорошо масштабируется с ростом модели, и не требует переобучения политики.
https://arxiv.org/abs/2606.11087
Стандартная проблема: диффузионные и flow-политики в RL нестабильны при обучении, потому что нужно backprop-ить через весь многошаговый denoising-процесс. Авторы предлагают другой путь — обучить политику обычным behavior cloning, а Q-функцию отдельно через IQL. А дальше на инференсе направлять генерацию действий градиентом Q.
Трюк в том, как брать этот градиент. Нельзя брать его на "шумных" промежуточных действиях — Q там не обучена. Нельзя backprop через всю цепочку — дорого и нестабильно. Решение QGF: делать один большой шаг Эйлера по flow-полю, получить приближение финального действия, и уже там брать градиент Q.
Результат: метод работает лучше best-of-N и конкурентов на offline RL бенчмарках, хорошо масштабируется с ростом модели, и не требует переобучения политики.
https://arxiv.org/abs/2606.11087
👍1
ICA вместо SAE: интерпретируем LLM без дорогого обучения словаря
Sparse Autoencoders (SAE) стали стандартом для интерпретации LLM, но их обучение безумно дорого. Gemma Scope потребовала сотни SAE, 20+ PiB сохранённых активаций и >20% вычислений от GPT-3. А что если можно обойтись без этого?
Авторы предлагают ICALens — использовать Independent Component Analysis (ICA) как лёгкую альтернативу. Идея: интерпретируемые направления в пространстве активаций не-гауссовы, и ICA ищет именно такие направления — без обучения нейросети.
Проблема: наивный FastICA на LLM-активациях работает плохо. Авторы добавили row-normalization, адаптивный рефит и критерий сходимости p95-LIM — это дало +400% принятых слоёв на GPT-2 Small.
Результат: ICA-компоненты ловят лексику, синтаксис, дискурс и семантическую неоднозначность. По качеству фичей ICA конкурирует с SAE и стабильно бьёт PCA. ICA — не замена SAE, а быстрый первый взгляд на структуру модели.
https://arxiv.org/abs/2606.11722
Sparse Autoencoders (SAE) стали стандартом для интерпретации LLM, но их обучение безумно дорого. Gemma Scope потребовала сотни SAE, 20+ PiB сохранённых активаций и >20% вычислений от GPT-3. А что если можно обойтись без этого?
Авторы предлагают ICALens — использовать Independent Component Analysis (ICA) как лёгкую альтернативу. Идея: интерпретируемые направления в пространстве активаций не-гауссовы, и ICA ищет именно такие направления — без обучения нейросети.
Проблема: наивный FastICA на LLM-активациях работает плохо. Авторы добавили row-normalization, адаптивный рефит и критерий сходимости p95-LIM — это дало +400% принятых слоёв на GPT-2 Small.
Результат: ICA-компоненты ловят лексику, синтаксис, дискурс и семантическую неоднозначность. По качеству фичей ICA конкурирует с SAE и стабильно бьёт PCA. ICA — не замена SAE, а быстрый первый взгляд на структуру модели.
https://arxiv.org/abs/2606.11722
Microsoft Research: ИИ-агент поймал малварь, которую пропустили топовые антивирусы
Project Ire — автономный агент Microsoft для анализа вредоносного ПО — обнаружил новый вариант бэкдора LOTUSLITE, который по состоянию на 4 июня не детектировали CrowdStrike Falcon, SentinelOne, Sophos, Trellix, Palo Alto и ESET.
Агент получил образец вслепую, без каких-либо подсказок. Через один запуск к декомпилятору Ire выдал детальный поведенческий отчёт: схема установки, структура C2-пакетов, механизм персистентности, обфускация. Вывод — малварь. Никаких сигнатур, только анализ поведения.
Почему это важно: новый образец не совпадает ни с одним известным индикатором компрометации из базы Acronis, но поведенчески идентичен семейству LOTUSLITE. Именно это и есть проблема классических антивирусов — они ищут сигнатуры, а не смысл.
Ire доказывает: аgentic reverse engineering способен закрывать слепые пятна там, где сигнатурный анализ бессилен.
https://www.microsoft.com/en-us/research/blog/ire-identifies-another-lotuslite-specimen/
Project Ire — автономный агент Microsoft для анализа вредоносного ПО — обнаружил новый вариант бэкдора LOTUSLITE, который по состоянию на 4 июня не детектировали CrowdStrike Falcon, SentinelOne, Sophos, Trellix, Palo Alto и ESET.
Агент получил образец вслепую, без каких-либо подсказок. Через один запуск к декомпилятору Ire выдал детальный поведенческий отчёт: схема установки, структура C2-пакетов, механизм персистентности, обфускация. Вывод — малварь. Никаких сигнатур, только анализ поведения.
Почему это важно: новый образец не совпадает ни с одним известным индикатором компрометации из базы Acronis, но поведенчески идентичен семейству LOTUSLITE. Именно это и есть проблема классических антивирусов — они ищут сигнатуры, а не смысл.
Ire доказывает: аgentic reverse engineering способен закрывать слепые пятна там, где сигнатурный анализ бессилен.
https://www.microsoft.com/en-us/research/blog/ire-identifies-another-lotuslite-specimen/
Microsoft Research
Inside Project Ire’s discovery of an evasive malware sample
Project Ire examined a timely malware sample and determined its intent through reverse engineering—identifying LOTUSLITE characteristics even as most major EDR tools did not detect it.
Модель, которая сама решает — говорить или молчать (by JD.com)
Представьте: ребёнок тянется к горячей плите, пожилой родитель упал в соседней комнате. Обычные AI-ассистенты бесполезны — они ждут, пока их спросят. JoyAI-VL-Interaction устроен иначе: каждую секунду модель сама решает — ответить, промолчать или делегировать задачу фоновому агенту.
Ключевая идея: "молчание" — это полноправное действие наравне с ответом. Модель обучена на time-aligned данных: каждая секунда видеопотока размечена нужным действием. Для экономии токенов используется AdaCodec — предсказуемые кадры кодируются дешевле.
В сравнении с Doubao и Gemini видеозвонками модель выигрывает 77.6% и 87.9% оценок соответственно. В задачах мониторинга и алертов — 100%.
Веса, данные и код открыты.
https://arxiv.org/abs/2606.14777
Представьте: ребёнок тянется к горячей плите, пожилой родитель упал в соседней комнате. Обычные AI-ассистенты бесполезны — они ждут, пока их спросят. JoyAI-VL-Interaction устроен иначе: каждую секунду модель сама решает — ответить, промолчать или делегировать задачу фоновому агенту.
Ключевая идея: "молчание" — это полноправное действие наравне с ответом. Модель обучена на time-aligned данных: каждая секунда видеопотока размечена нужным действием. Для экономии токенов используется AdaCodec — предсказуемые кадры кодируются дешевле.
В сравнении с Doubao и Gemini видеозвонками модель выигрывает 77.6% и 87.9% оценок соответственно. В задачах мониторинга и алертов — 100%.
Веса, данные и код открыты.
https://arxiv.org/abs/2606.14777
Интерактивный мир в реальном времени: как научить видеомодель помнить, куда ты уже ходил
DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.
Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.
Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.
https://arxiv.org/abs/2606.16993
DreamX-World 1.0 от AMAP-ML — это интерактивная world model, которая умеет не просто генерировать видео, а симулировать мир с управлением камерой, событиями и долгосрочной памятью сцены.
Три главные проблемы, которые они решили:
1. Камера без дрейфа — E-PRoPE считает проективное внимание на уменьшенных токенах, -30% к латентности без потери точности траектории.
2. Память сцены — если ты ушёл из комнаты и вернулся, модель должна помнить, как она выглядела. Геометрический retrieval + residual recycling решают это.
3. Стриминг в реальном времени — DMD-дистилляция + RL-файнтюнинг + асинхронный пайплайн дают до 16 FPS на 8x RTX 5090.
Данные: смесь Unreal Engine 5 (с точными позами камеры), игровых записей и реального видео с восстановленными позами.
https://arxiv.org/abs/2606.16993
Робот видит 3D мир — почему же его политики обучают в 2D?
(by ETH Zürich)
Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.
Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.
Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.
https://arxiv.org/abs/2606.17046
(by ETH Zürich)
Большинство современных VLA-моделей для роботов работают с плоскими RGB-изображениями, игнорируя глубину и геометрию сцены. GAM (Geometric Action Model) предлагает другой путь: взять готовую Geometric Foundation Model (типа VGGT), разрезать её пополам и вставить между частями причинный трансформер.
Как это работает: первая половина GFM кодирует наблюдение в геометрически богатые токены, вставленный трансформер предсказывает будущее состояние сцены в латентном пространстве, а вторая половина GFM декодирует и геометрию, и действия робота одновременно.
Результат: GAM в 55 раз быстрее аналогов типа Video WAM, использует меньше параметров, и особенно хорош при смене камеры (+9.7%) — именно там нужно настоящее 3D-понимание.
https://arxiv.org/abs/2606.17046
Nvidia Tech обновила BioNeMo Recipes — набор рецептов для дообучения биологических ИИ-моделей с помощью метода LoRA.
Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.
Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.
Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.
https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
Суть: вместо полного дообучения многомиллиардных моделей (ESM2-3B для белков, Evo2-1B для ДНК) теперь достаточно обучать лишь ~1% параметров. Замороженная основа модели остаётся нетронутой, обновляются только небольшие адаптерные матрицы.
Результаты впечатляют: ESM2-3B с LoRA достигает точности предсказания вторичной структуры белка на уровне лучших конкурентов (84.8% Q3), а Evo2-1B поднимает точность классификации сайтов сплайсинга ДНК с 52.3% до 96.6% — и всё это на одной рабочей GPU RTX 6000 Blackwell менее чем за час.
Для исследователей в биоинформатике это означает: задачи, ранее требовавшие кластеров, теперь решаются на рабочей станции. Код открыт в репозитории BioNeMo Recipes.
https://developer.nvidia.com/blog/fine-tuning-biological-foundation-models-with-lora-using-nvidia-bionemo-recipes/
NVIDIA Technical Blog
Fine-Tuning Biological Foundation Models with LoRA Using NVIDIA BioNeMo Recipes
Foundation models are reshaping computational biology. Pretrained on massive corpora of protein or genomic sequences, models such as ESM2 (a protein language model) and Evo 2 (a DNA language model)…
Nvidia Tech выпустила продвинутые фьюжн-ядра для обучения MoE-моделей
Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.
Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.
Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.
Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.
https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/
Nvidia представила кастомные fused MLP-ядра для плотных и MoE-моделей, написанные на CuTe DSL. Они устраняют три главных узких места при обучении: лишние операции чтения/записи при активациях, синхронизацию CPU-GPU и накладные расходы квантизации.
Что конкретно изменилось: ядра объединяют GEMM с активациями (SwiGLU, GeGLU, sReLU), квантизацией (MXFP8, NVFP4) и транспонированием в единый проход. Токены на эксперт теперь отслеживаются прямо в памяти GPU — CPU больше не нужен для синхронизации, что открывает путь к полноитерационным CUDA Graphs.
Результат: ускорение на уровне ядер в 1.3–2x, плюс 8% прироста сквозной производительности для DeepSeek-V3 и целых 93% для GPT-OSS пре-тренинга.
Ядра уже доступны через cuDNN Frontend, Transformer Engine и Megatron-Core.
https://developer.nvidia.com/blog/boosting-moe-training-throughput-with-advanced-fusion-kernels/
NVIDIA Technical Blog
Boosting MoE Training Throughput with Advanced Fusion Kernels
Mixture-of-experts (MoE) models have quickly become a foundational component of modern, large-scale AI systems. They are widely adopted because they enable substantially larger model capacity while…
Nvidia Tech — новый взгляд на роботов: WAM вместо VLA
В мире робототехнического AI произошёл тихий переворот. Если год назад все говорили про VLA-модели (Vision-Language-Action), то теперь доминирует новый термин — WAM, World-Action Model.
В чём разница? VLA-модели учат роботов действовать, опираясь на языковые модели. WAM идёт другим путём: за основу берётся видео-модель или модель мира, которая уже понимает, как сцена меняется во времени. Из этого и рождается поведение робота.
Почему это важно? VLA упёрлись в "стену заземления" — модель понимает язык, но плохо переводит слова в реальные движения. WAM потенциально сокращает этот разрыв, так как видеобэкбон уже знает физику сцены.
NVIDIA активно развивает это направление через платформу Cosmos. Для пользователей это означает роботов, которые лучше обобщают задачи и адаптируются к новым условиям без огромных объёмов разметки.
Главный вопрос пока открыт: реальный прорыв или очередной хайп-цикл?
https://developer.nvidia.com/blog/pretrained-to-imagine-fine-tuned-to-act-the-rise-of-world-action-models/
В мире робототехнического AI произошёл тихий переворот. Если год назад все говорили про VLA-модели (Vision-Language-Action), то теперь доминирует новый термин — WAM, World-Action Model.
В чём разница? VLA-модели учат роботов действовать, опираясь на языковые модели. WAM идёт другим путём: за основу берётся видео-модель или модель мира, которая уже понимает, как сцена меняется во времени. Из этого и рождается поведение робота.
Почему это важно? VLA упёрлись в "стену заземления" — модель понимает язык, но плохо переводит слова в реальные движения. WAM потенциально сокращает этот разрыв, так как видеобэкбон уже знает физику сцены.
NVIDIA активно развивает это направление через платформу Cosmos. Для пользователей это означает роботов, которые лучше обобщают задачи и адаптируются к новым условиям без огромных объёмов разметки.
Главный вопрос пока открыт: реальный прорыв или очередной хайп-цикл?
https://developer.nvidia.com/blog/pretrained-to-imagine-fine-tuned-to-act-the-rise-of-world-action-models/
NVIDIA Technical Blog
Pretrained to Imagine, Fine-Tuned to Act: The Rise of World-Action Models | NVIDIA Technical Blog
Quick glossary for readers new to VLA/WAM terminology VLA Vision-Language-Action model: a robot policy that starts from a pretrained VLM backbone and adapts it to generate actions from visual…
Триллион параметров без обучения с нуля — это реально?
inclusionAI выпустила семейство моделей Ling-2.6 и Ring-2.6 масштаба до 1T параметров. Главная фишка: вместо дорогого обучения с нуля они взяли уже обученный Ling-2.0 и сделали "архитектурную пересадку" — заменили стандартный GQA на гибрид Lightning Attention + MLA в соотношении 7:1. Lightning Attention снижает сложность с O(n²) до O(n), MLA сжимает KV-кэш. Результат: при контексте 256K+ токенов нагрузка на attention упала с 60%+ FLOPs до приемлемого уровня.
Для постобучения придумали Evo-CoT (убирает лишние шаги рассуждения) и LPO (оптимизация на уровне смысловых единиц, а не токенов). Итог — 4× выше token efficiency по сравнению с предыдущим поколением.
Все три модели открыты. Ling-2.6-1T на Intelligence Index сравнима с GPT-5 в non-reasoning режиме, используя в разы меньше токенов.
https://arxiv.org/abs/2606.15079
inclusionAI выпустила семейство моделей Ling-2.6 и Ring-2.6 масштаба до 1T параметров. Главная фишка: вместо дорогого обучения с нуля они взяли уже обученный Ling-2.0 и сделали "архитектурную пересадку" — заменили стандартный GQA на гибрид Lightning Attention + MLA в соотношении 7:1. Lightning Attention снижает сложность с O(n²) до O(n), MLA сжимает KV-кэш. Результат: при контексте 256K+ токенов нагрузка на attention упала с 60%+ FLOPs до приемлемого уровня.
Для постобучения придумали Evo-CoT (убирает лишние шаги рассуждения) и LPO (оптимизация на уровне смысловых единиц, а не токенов). Итог — 4× выше token efficiency по сравнению с предыдущим поколением.
Все три модели открыты. Ling-2.6-1T на Intelligence Index сравнима с GPT-5 в non-reasoning режиме, используя в разы меньше токенов.
https://arxiv.org/abs/2606.15079
ZPPO от NVIDIA: учитель в промпте, а не в градиентах
Маленькие модели (0.8B–2B) плохо учатся у больших через дистилляцию — они просто зазубривают ответы учителя и теряют обобщение за пределами тренировочных данных. RL тоже не спасает: на сложных вопросах студент не может решить ничего, получает нулевой сигнал и не учится именно там, где нужно.
ZPPO (Zone of Proximal Policy Optimization, by NVIDIA) решает это элегантно: учитель не трогает градиенты — он только попадает в промпт. Для сложных вопросов создаётся BCQ-промпт: правильный ответ учителя + неверный ответ студента как анонимные кандидаты. Студент сам генерирует ответ, градиент остаётся on-policy. Параллельно NCQ собирает все неверные попытки студента и явно показывает ему: "всё это неправильно — попробуй ещё раз".
Результат: 0.8B модель +9.3pp на VLM-бенчмарках против лучшего дистилляционного baseline. Дистилляция при этом ещё и ухудшает обобщение за пределами тренировочных данных, ZPPO — нет.
https://arxiv.org/abs/2606.18216
Маленькие модели (0.8B–2B) плохо учатся у больших через дистилляцию — они просто зазубривают ответы учителя и теряют обобщение за пределами тренировочных данных. RL тоже не спасает: на сложных вопросах студент не может решить ничего, получает нулевой сигнал и не учится именно там, где нужно.
ZPPO (Zone of Proximal Policy Optimization, by NVIDIA) решает это элегантно: учитель не трогает градиенты — он только попадает в промпт. Для сложных вопросов создаётся BCQ-промпт: правильный ответ учителя + неверный ответ студента как анонимные кандидаты. Студент сам генерирует ответ, градиент остаётся on-policy. Параллельно NCQ собирает все неверные попытки студента и явно показывает ему: "всё это неправильно — попробуй ещё раз".
Результат: 0.8B модель +9.3pp на VLM-бенчмарках против лучшего дистилляционного baseline. Дистилляция при этом ещё и ухудшает обобщение за пределами тренировочных данных, ZPPO — нет.
https://arxiv.org/abs/2606.18216
Немотрон весит 550 миллиардов, но думает быстрее конкурентов в 6 раз (by NVIDIA)
NVIDIA выкатила Nemotron 3 Ultra — открытую MoE-модель на 550B параметров (55B активных). Главная фишка: гибридная архитектура Mamba + Attention вместо чистого трансформера. Mamba-слои почти не используют KV-кэш, поэтому при длинных контекстах (8K вход / 64K выход) модель выдаёт в 5.9× больше токенов в секунду, чем GLM-5.1-754B, при сопоставимом качестве.
Ещё интересное: обучение велось в NVFP4 (4-бит с блочной квантизацией) — самый крупный прецедент стабильного NVFP4-претрейнинга. Потери по сравнению с BF16 — менее 0.4%. Плюс Multi-Token Prediction для ускорения инференса через speculative decoding.
Постобучение: SFT → RLVR по агентным/кодовым/чат-задачам → дистилляция из 10+ специализированных teacher-моделей. Всё открыто: веса, рецепты, данные, RL-среды.
https://arxiv.org/abs/2606.15007
NVIDIA выкатила Nemotron 3 Ultra — открытую MoE-модель на 550B параметров (55B активных). Главная фишка: гибридная архитектура Mamba + Attention вместо чистого трансформера. Mamba-слои почти не используют KV-кэш, поэтому при длинных контекстах (8K вход / 64K выход) модель выдаёт в 5.9× больше токенов в секунду, чем GLM-5.1-754B, при сопоставимом качестве.
Ещё интересное: обучение велось в NVFP4 (4-бит с блочной квантизацией) — самый крупный прецедент стабильного NVFP4-претрейнинга. Потери по сравнению с BF16 — менее 0.4%. Плюс Multi-Token Prediction для ускорения инференса через speculative decoding.
Постобучение: SFT → RLVR по агентным/кодовым/чат-задачам → дистилляция из 10+ специализированных teacher-моделей. Всё открыто: веса, рецепты, данные, RL-среды.
https://arxiv.org/abs/2606.15007
OpenAI представила Deployment Simulation — новый метод предсказания поведения AI-моделей до их официального релиза.
Суть проста: вместо синтетических тестов система использует реальные данные разговоров пользователей, чтобы смоделировать, как модель поведёт себя в реальных условиях. Это позволяет заранее выявлять проблемы с безопасностью и точнее оценивать риски.
Почему это важно? Раньше разрыв между тестовой средой и реальным использованием был огромным — модели вели себя иначе, чем ожидалось. Теперь OpenAI может «проигрывать» сценарии на основе живых данных ещё до запуска.
Для пользователей это означает более предсказуемые и безопасные модели с меньшим количеством неприятных сюрпризов после обновлений.
https://openai.com/index/deployment-simulation
Суть проста: вместо синтетических тестов система использует реальные данные разговоров пользователей, чтобы смоделировать, как модель поведёт себя в реальных условиях. Это позволяет заранее выявлять проблемы с безопасностью и точнее оценивать риски.
Почему это важно? Раньше разрыв между тестовой средой и реальным использованием был огромным — модели вели себя иначе, чем ожидалось. Теперь OpenAI может «проигрывать» сценарии на основе живых данных ещё до запуска.
Для пользователей это означает более предсказуемые и безопасные модели с меньшим количеством неприятных сюрпризов после обновлений.
https://openai.com/index/deployment-simulation
OpenAI
Predicting model behavior before release by simulating deployment
OpenAI introduces Deployment Simulation, a method to predict AI model behavior before deployment using real conversation data to improve safety and evaluation accuracy.
Nvidia выпустила открытую библиотеку NVIDIA XR AI для создания ИИ-агентов под AR-очки и XR-устройства.
Что это такое: разработчики получают готовую основу для подключения AR/VR-гарнитур к GPU-ускоренным ИИ-сервисам. Агент видит то, что видит пользователь, понимает голосовые команды, обращается к корпоративным данным и отвечает прямо в XR-сессии.
Под капотом: модуль Cosmos для визуального понимания, Nemotron для языкового reasoning, поддержка MCP-серверов для корпоративных инструментов и NeMo Agent Toolkit для оркестрации. Архитектура модульная — можно менять модели и окружение без переписывания агента.
Кому это нужно: медицина, производство, полевой сервис. Уже сейчас Stanford и Princeton тестируют систему в исследованиях стволовых клеток, Siemens — на заводских линиях.
Доступно в публичной бете на GitHub. Можно клонировать репозиторий и запустить первого агента буквально за три шага.
https://developer.nvidia.com/blog/building-ai-agents-for-ar-glasses-and-xr-devices-with-nvidia-xr-ai/
Что это такое: разработчики получают готовую основу для подключения AR/VR-гарнитур к GPU-ускоренным ИИ-сервисам. Агент видит то, что видит пользователь, понимает голосовые команды, обращается к корпоративным данным и отвечает прямо в XR-сессии.
Под капотом: модуль Cosmos для визуального понимания, Nemotron для языкового reasoning, поддержка MCP-серверов для корпоративных инструментов и NeMo Agent Toolkit для оркестрации. Архитектура модульная — можно менять модели и окружение без переписывания агента.
Кому это нужно: медицина, производство, полевой сервис. Уже сейчас Stanford и Princeton тестируют систему в исследованиях стволовых клеток, Siemens — на заводских линиях.
Доступно в публичной бете на GitHub. Можно клонировать репозиторий и запустить первого агента буквально за три шага.
https://developer.nvidia.com/blog/building-ai-agents-for-ar-glasses-and-xr-devices-with-nvidia-xr-ai/
NVIDIA Technical Blog
Building AI Agents for AR Glasses and XR Devices with NVIDIA XR AI
Developers building for AR glasses and wearable devices face an infrastructure gap. The hardware is ready, but creating AI experiences requires integrating live camera and microphone streams…
Nvidia предлагает инструмент для создания финансовых AI-моделей
Nvidia опубликовала готовый воркфлоу Build Your Own Transaction Model — пошаговое руководство по созданию трансформерной модели для анализа финансовых транзакций.
Что внутри: GPU-ускоренная обработка данных через CUDA-X, кастомный токенизатор (12 токенов на транзакцию вместо 39 у стандартного BPE), предобучение компактной Llama-модели через NeMo AutoModel и извлечение эмбеддингов для downstream-задач.
Результат впечатляет: прирост Average Precision почти на 50% по сравнению с базовым XGBoost на датасете IBM TabFormer с 24 млн синтетических транзакций.
Почему важно: банки и финтех-компании (Stripe, Visa, Mastercard, Nubank) уже используют похожие подходы в проде. Одна модель покрывает обнаружение мошенничества, кредитный скоринг, сегментацию клиентов и персонализацию — без ручной инженерии признаков.
https://developer.nvidia.com/blog/build-your-own-transaction-foundation-model-for-financial-intelligence/
Nvidia опубликовала готовый воркфлоу Build Your Own Transaction Model — пошаговое руководство по созданию трансформерной модели для анализа финансовых транзакций.
Что внутри: GPU-ускоренная обработка данных через CUDA-X, кастомный токенизатор (12 токенов на транзакцию вместо 39 у стандартного BPE), предобучение компактной Llama-модели через NeMo AutoModel и извлечение эмбеддингов для downstream-задач.
Результат впечатляет: прирост Average Precision почти на 50% по сравнению с базовым XGBoost на датасете IBM TabFormer с 24 млн синтетических транзакций.
Почему важно: банки и финтех-компании (Stripe, Visa, Mastercard, Nubank) уже используют похожие подходы в проде. Одна модель покрывает обнаружение мошенничества, кредитный скоринг, сегментацию клиентов и персонализацию — без ручной инженерии признаков.
https://developer.nvidia.com/blog/build-your-own-transaction-foundation-model-for-financial-intelligence/
NVIDIA Technical Blog
Build Your Own Transaction Foundation Model for Financial Intelligence
Every swipe, transfer, and payment on a modern financial network encodes a pattern of human behavior. Transaction data is one of the richest signals an enterprise owns. Yet most production use cases…
Агент, который учится на своих ошибках по-настоящему
Большинство "самообучающихся" агентов просто копят память — но не умеют ею пользоваться. OPD-Evolver из NUS предлагает другое: агент должен владеть всем циклом работы с опытом — выбирать нужные воспоминания, использовать их при выполнении задач, записывать новые уроки и чистить устаревшее.
Архитектура двухпетлевая. Быстрая петля: агент взаимодействует со средой, поддерживая 4-уровневую память (траектории, советы, навыки, инструменты). Медленная петля: через on-policy дистилляцию "учитель" с привилегированным доступом к ретроспективным данным обучает студента всем четырём компетенциям одновременно.
Результат: модели на 4B и 9B параметров конкурируют с гигантами вроде Qwen3.5-397B на бенчмарках самоэволюции агентов.
https://arxiv.org/abs/2606.17628
Большинство "самообучающихся" агентов просто копят память — но не умеют ею пользоваться. OPD-Evolver из NUS предлагает другое: агент должен владеть всем циклом работы с опытом — выбирать нужные воспоминания, использовать их при выполнении задач, записывать новые уроки и чистить устаревшее.
Архитектура двухпетлевая. Быстрая петля: агент взаимодействует со средой, поддерживая 4-уровневую память (траектории, советы, навыки, инструменты). Медленная петля: через on-policy дистилляцию "учитель" с привилегированным доступом к ретроспективным данным обучает студента всем четырём компетенциям одновременно.
Результат: модели на 4B и 9B параметров конкурируют с гигантами вроде Qwen3.5-397B на бенчмарках самоэволюции агентов.
https://arxiv.org/abs/2606.17628
Один стек, чтобы управлять роботами, понимать физику и генерировать видео одновременно
Kairos — это попытка сделать единую world model для Physical AI, которая закрывает сразу три дыры: разрозненные данные (видео из интернета vs. человеческие демо vs. редкие роботные данные), потеря состояния мира на длинных горизонтах, и разрыв между пониманием мира и управлением телом робота.
Ключевые идеи: гибридный Diffusion Transformer с многомасштабной временной памятью (Gated Linear Attention для долгосрочного + скользящее окно для краткосрочного), трёхэтапный pretraining (физика → human-centric данные → совместное обучение world+action), и авторы формально доказывают, что чисто локальные эвристики продолжения видео математически не могут гарантировать глобальную консистентность мира.
По сути: не просто генератор видео, а инфраструктура для роботов, которая умеет предсказывать последствия действий агента.
https://arxiv.org/abs/2606.16533
Kairos — это попытка сделать единую world model для Physical AI, которая закрывает сразу три дыры: разрозненные данные (видео из интернета vs. человеческие демо vs. редкие роботные данные), потеря состояния мира на длинных горизонтах, и разрыв между пониманием мира и управлением телом робота.
Ключевые идеи: гибридный Diffusion Transformer с многомасштабной временной памятью (Gated Linear Attention для долгосрочного + скользящее окно для краткосрочного), трёхэтапный pretraining (физика → human-centric данные → совместное обучение world+action), и авторы формально доказывают, что чисто локальные эвристики продолжения видео математически не могут гарантировать глобальную консистентность мира.
По сути: не просто генератор видео, а инфраструктура для роботов, которая умеет предсказывать последствия действий агента.
https://arxiv.org/abs/2606.16533
UniAR: один токенайзер вместо двух (by Qwen)
Главная боль unified multimodal моделей: понимание картинок требует высокоуровневой семантики, а генерация — низкоуровневых деталей. Поэтому все делали два отдельных токенайзера, и модель не могла "читать" то, что сама нарисовала.
UniAR решает это одним токенайзером. Ключевые трюки:
1. Многоуровневое слияние фич из разных слоёв ViT — сразу и семантика, и детали.
2. Бинарное квантование без явного кодбука (BSQ): каждый токен — 64-битный вектор, что даёт теоретически 2^64 уникальных кодов без роста памяти.
3. Параллельное битовое предсказание для 2×2 пространственных групп — сжатие последовательности в 32 раза.
В итоге: генерация 1024×1024 картинки требует всего 256 токенов, а модель понимает свои же генерации без повторного кодирования.
https://arxiv.org/abs/2606.18249
Главная боль unified multimodal моделей: понимание картинок требует высокоуровневой семантики, а генерация — низкоуровневых деталей. Поэтому все делали два отдельных токенайзера, и модель не могла "читать" то, что сама нарисовала.
UniAR решает это одним токенайзером. Ключевые трюки:
1. Многоуровневое слияние фич из разных слоёв ViT — сразу и семантика, и детали.
2. Бинарное квантование без явного кодбука (BSQ): каждый токен — 64-битный вектор, что даёт теоретически 2^64 уникальных кодов без роста памяти.
3. Параллельное битовое предсказание для 2×2 пространственных групп — сжатие последовательности в 32 раза.
В итоге: генерация 1024×1024 картинки требует всего 256 токенов, а модель понимает свои же генерации без повторного кодирования.
https://arxiv.org/abs/2606.18249
OpenAI совместно с Molecule.one представили почти автономного AI-химика на базе GPT-4.5, который самостоятельно улучшил сложную реакцию в медицинской химии.
Система анализировала условия синтеза, выдвигала гипотезы и предлагала оптимизации — практически без участия человека. В результате удалось повысить эффективность ключевой реакции, используемой при создании лекарственных препаратов.
Почему это важно: разработка новых лекарств — один из самых долгих и дорогих процессов в науке. AI-химик способен ускорить этап оптимизации синтеза, который раньше требовал недель экспериментов от живых исследователей.
Для учёных и фармкомпаний это сигнал: AI уже не просто помогает искать литературу, а реально двигает науку вперёд.
https://openai.com/index/ai-chemist-improves-reaction
Система анализировала условия синтеза, выдвигала гипотезы и предлагала оптимизации — практически без участия человека. В результате удалось повысить эффективность ключевой реакции, используемой при создании лекарственных препаратов.
Почему это важно: разработка новых лекарств — один из самых долгих и дорогих процессов в науке. AI-химик способен ускорить этап оптимизации синтеза, который раньше требовал недель экспериментов от живых исследователей.
Для учёных и фармкомпаний это сигнал: AI уже не просто помогает искать литературу, а реально двигает науку вперёд.
https://openai.com/index/ai-chemist-improves-reaction
OpenAI
A near-autonomous AI chemist improves a challenging reaction in medicinal chemistry
OpenAI and Molecule.one show how a near-autonomous AI chemist using GPT-5.4 improved a key drug-making reaction, advancing medicinal chemistry research.
OpenAI представила LifeSciBench — новый бенчмарк для оценки того, насколько хорошо AI справляется с реальными задачами в области биологии, медицины и смежных наук.
Особенность в том, что вопросы и задания создавались и проверялись настоящими экспертами — учёными и исследователями. Это не абстрактные тесты, а задачи, с которыми сталкиваются специалисты в реальной работе.
Зачем это нужно? Сейчас сложно понять, насколько AI-модели реально полезны в науке о жизни. LifeSciBench даёт чёткую планку для сравнения моделей и помогает разработчикам понять, где системы ещё слабы.
Для пользователей это сигнал: AI в медицине и биологии становится серьёзнее, а инструменты для его оценки — строже.
https://openai.com/index/introducing-life-sci-bench
Особенность в том, что вопросы и задания создавались и проверялись настоящими экспертами — учёными и исследователями. Это не абстрактные тесты, а задачи, с которыми сталкиваются специалисты в реальной работе.
Зачем это нужно? Сейчас сложно понять, насколько AI-модели реально полезны в науке о жизни. LifeSciBench даёт чёткую планку для сравнения моделей и помогает разработчикам понять, где системы ещё слабы.
Для пользователей это сигнал: AI в медицине и биологии становится серьёзнее, а инструменты для его оценки — строже.
https://openai.com/index/introducing-life-sci-bench
OpenAI
Introducing LifeSciBench
Introducing LifeSciBench, an expert-authored, expert-reviewed benchmark for evaluating how AI systems handle real-world life science research tasks and decisions.
Nvidia Tech запускает ACE Game Agent SDK для AI-компаньонов в играх
На Unreal Fest 2026 NVIDIA представила ACE Game Agent SDK Beta — открытый C/C++ фреймворк для создания умных NPC прямо на устройстве пользователя, без облака.
Что внутри: три API — Agent (автономные многошаговые решения), Chat (прямое управление инференсом) и RAG (поиск по базам знаний). Уже работает в реальных играх: в PUBG есть AI-напарник Ally с голосовым управлением, в Total War: PHARAOH — советник-фараон с доступом к 1200+ таблицам игровых данных.
Для Unreal Engine 5 вышел набор плагинов: распознавание речи (ASR), малая языковая модель Qwen 3.5 4B и TTS Chatterbox Turbo — всё работает локально на RTX без задержек облака. Плюс новый плагин DLSS 4.5 с поддержкой Multi Frame Generation 6X.
Вебинар по теме — 30 июня.
https://developer.nvidia.com/blog/build-on-device-ai-companions-with-the-nvidia-ace-game-agent-sdk-and-unreal-engine-5-plugins/
На Unreal Fest 2026 NVIDIA представила ACE Game Agent SDK Beta — открытый C/C++ фреймворк для создания умных NPC прямо на устройстве пользователя, без облака.
Что внутри: три API — Agent (автономные многошаговые решения), Chat (прямое управление инференсом) и RAG (поиск по базам знаний). Уже работает в реальных играх: в PUBG есть AI-напарник Ally с голосовым управлением, в Total War: PHARAOH — советник-фараон с доступом к 1200+ таблицам игровых данных.
Для Unreal Engine 5 вышел набор плагинов: распознавание речи (ASR), малая языковая модель Qwen 3.5 4B и TTS Chatterbox Turbo — всё работает локально на RTX без задержек облака. Плюс новый плагин DLSS 4.5 с поддержкой Multi Frame Generation 6X.
Вебинар по теме — 30 июня.
https://developer.nvidia.com/blog/build-on-device-ai-companions-with-the-nvidia-ace-game-agent-sdk-and-unreal-engine-5-plugins/
NVIDIA Technical Blog
Build On-Device AI Companions with the NVIDIA ACE Game Agent SDK and Unreal Engine 5 Plugins
NVIDIA RTX technologies are deeply integrated into Unreal Engine 5 through the NVIDIA RTX Branch of Unreal Engine and the NVIDIA DLSS Unreal Engine plugin. This provides developers with direct access…