OpenAI представила GeneBench-Pro — новый бенчмарк для оценки возможностей ИИ в геномике, биологии и научных исследованиях.
В отличие от стандартных тестов, GeneBench-Pro использует сложные данные из реальных исследований. Это значит, что модели теперь проверяются не на абстрактных задачах, а на том, с чем реально сталкиваются учёные.
Почему это важно? Биомедицина — одна из ключевых областей применения ИИ. Новый бенчмарк поможет честнее сравнивать модели и подтолкнёт разработчиков к улучшению именно научных возможностей. Для исследователей это сигнал: ИИ-инструменты для геномики становятся серьёзнее.
https://openai.com/index/introducing-genebench-pro
В отличие от стандартных тестов, GeneBench-Pro использует сложные данные из реальных исследований. Это значит, что модели теперь проверяются не на абстрактных задачах, а на том, с чем реально сталкиваются учёные.
Почему это важно? Биомедицина — одна из ключевых областей применения ИИ. Новый бенчмарк поможет честнее сравнивать модели и подтолкнёт разработчиков к улучшению именно научных возможностей. Для исследователей это сигнал: ИИ-инструменты для геномики становятся серьёзнее.
https://openai.com/index/introducing-genebench-pro
OpenAI
Introducing GeneBench-Pro
Introducing GeneBench-Pro, a new benchmark testing AI performance in genomics, biology, and scientific research using complex, real-world datasets.
Microsoft Research представила SkillOpt — систему, которая превращает написание инструкций для AI-агентов в полноценный процесс обучения.
Проблема: агенты часто работают нестабильно, потому что их "скиллы" (инструкции) правятся вручную без гарантии улучшения. SkillOpt решает это, обращаясь с файлом инструкций как с обучаемым параметром — но без изменения весов самой модели.
Система работает по циклу: агент выполняет задачи, отдельная модель-оптимизатор анализирует результаты, предлагает точечные правки, и только те, что реально улучшают результат на валидации, попадают в финальный файл.
Результаты впечатляют: на 52 комбинациях бенчмарков, моделей и режимов SkillOpt занял первое место везде. GPT-5.5 вырос с 58.8 до 82.3 балла в среднем по 6 бенчмаркам. Малые модели с оптимизированным скиллом обгоняют более крупные без него.
Главный бонус — скилл переносится между моделями и окружениями. Файл, обученный в Codex, поднял результат в Claude Code с 22.1 до 81.8 без дополнительной настройки.
https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
Проблема: агенты часто работают нестабильно, потому что их "скиллы" (инструкции) правятся вручную без гарантии улучшения. SkillOpt решает это, обращаясь с файлом инструкций как с обучаемым параметром — но без изменения весов самой модели.
Система работает по циклу: агент выполняет задачи, отдельная модель-оптимизатор анализирует результаты, предлагает точечные правки, и только те, что реально улучшают результат на валидации, попадают в финальный файл.
Результаты впечатляют: на 52 комбинациях бенчмарков, моделей и режимов SkillOpt занял первое место везде. GPT-5.5 вырос с 58.8 до 82.3 балла в среднем по 6 бенчмаркам. Малые модели с оптимизированным скиллом обгоняют более крупные без него.
Главный бонус — скилл переносится между моделями и окружениями. Файл, обученный в Codex, поднял результат в Claude Code с 22.1 до 81.8 без дополнительной настройки.
https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
Microsoft Research
SkillOpt turns AI agent skills into trainable assets
AI agents often fail because their instructions, or skills, are manually modified with no guarantee of improvement. Learn how SkillOpt turns skill editing into a training process, making agent behavior more reliable without changing model weights:
Nvidia представила GQE — референсную архитектуру GPU-ускоренного движка SQL-запросов.
GQE использует возможности железа GB200 NVL4: высокоскоростную память HBM, NVLink-C2C и встроенный движок декомпрессии Blackwell. Система разбита на три слоя — запросов, данных и исполнения — и работает поверх библиотек cuDF, nvCOMP и CCCL.
Ключевые фишки: гибридное сжатие (алгоритмы Cascaded и LZ4 выбираются автоматически под каждую колонку), конвейерная передача данных с GPU, агрессивная обрезка партиций через zone maps.
Результат: на бенчмарке TPC-H SF1000 GQE показал ускорение в 7,5x по сравнению с лучшими CPU-базами данных, а по отдельным запросам — до 25,5x.
Для разработчиков баз данных это готовый шаблон, как перенести исполнение запросов на GPU и закрыть узкие места по пропускной способности памяти и I/O.
https://developer.nvidia.com/blog/designing-gpu-accelerated-query-engines-with-nvidia-gqe/
GQE использует возможности железа GB200 NVL4: высокоскоростную память HBM, NVLink-C2C и встроенный движок декомпрессии Blackwell. Система разбита на три слоя — запросов, данных и исполнения — и работает поверх библиотек cuDF, nvCOMP и CCCL.
Ключевые фишки: гибридное сжатие (алгоритмы Cascaded и LZ4 выбираются автоматически под каждую колонку), конвейерная передача данных с GPU, агрессивная обрезка партиций через zone maps.
Результат: на бенчмарке TPC-H SF1000 GQE показал ускорение в 7,5x по сравнению с лучшими CPU-базами данных, а по отдельным запросам — до 25,5x.
Для разработчиков баз данных это готовый шаблон, как перенести исполнение запросов на GPU и закрыть узкие места по пропускной способности памяти и I/O.
https://developer.nvidia.com/blog/designing-gpu-accelerated-query-engines-with-nvidia-gqe/
NVIDIA Technical Blog
Designing GPU-Accelerated Query Engines with NVIDIA GQE
GPU-accelerated query engines are often constrained by memory and I/O bandwidth. NVIDIA hardware advances—including high bandwidth memory (HBM), NVIDIA NVLink-C2C, and dedicated decompression engines…
VideoSearch-R1: агент, который ищет видео итеративно, уточняя запросы в латентном пространстве
Обычные видеопоисковики работают в одну сторону: запрос → топ-K видео → готово. Но что если нужное видео не попало в топ? VideoSearch-R1 решает это через многошаговый цикл: нашли видео → проверили совпадение с запросом → не то? → уточнили запрос → ищем снова.
Главная фишка — Soft Query Refinement (SQR). Вместо того чтобы переписывать запрос текстом (дорого, много токенов), модель генерирует уточнение прямо в непрерывном латентном пространстве. Эти "мягкие токены" дообучаются через InfoNCE loss, подтягивая эмбеддинг запроса ближе к нужному видео.
Всё это обучается через GRPO (RL), совместно оптимизируя и поиск видео, и временну́ю локализацию момента внутри него. SOTA на трёх бенчмарках VCMR при меньшем числе сгенерированных токенов, чем у текстового рефайнмента.
https://arxiv.org/abs/2607.00446
Обычные видеопоисковики работают в одну сторону: запрос → топ-K видео → готово. Но что если нужное видео не попало в топ? VideoSearch-R1 решает это через многошаговый цикл: нашли видео → проверили совпадение с запросом → не то? → уточнили запрос → ищем снова.
Главная фишка — Soft Query Refinement (SQR). Вместо того чтобы переписывать запрос текстом (дорого, много токенов), модель генерирует уточнение прямо в непрерывном латентном пространстве. Эти "мягкие токены" дообучаются через InfoNCE loss, подтягивая эмбеддинг запроса ближе к нужному видео.
Всё это обучается через GRPO (RL), совместно оптимизируя и поиск видео, и временну́ю локализацию момента внутри него. SOTA на трёх бенчмарках VCMR при меньшем числе сгенерированных токенов, чем у текстового рефайнмента.
https://arxiv.org/abs/2607.00446
Робот учится собирать детали с допуском 0.5 мм, сначала просто «играя» с кубиками (by Stanford University)
Точная сборка — больная тема для роботов с многопальцевыми руками: разреженная награда, богатый контакт, никакой телеоперации. Play2Perfect решает это двухэтапно.
Этап 1 — «игра»: робот учится в симуляции хватать и переориентировать случайные примитивы (кубики, цилиндры) к случайным 6D-позам. Никаких демонстраций, только RL с разнообразными объектами и траекториями.
Этап 2 — файнтюнинг: берём CAD-сборку, автоматически генерируем спарс-награду через «разборку в обратном порядке» и дообучаем политику на конкретной задаче.
Ключевой вывод: важно, чтобы во время игры робот учился именно манипуляции пальцами, а не просто двигал руку с фиксированным хватом. Результат — x33 по sample efficiency против RL с нуля и 60% успеха на вставке с зазором 0.5 мм в реале.
https://arxiv.org/abs/2606.26428
Точная сборка — больная тема для роботов с многопальцевыми руками: разреженная награда, богатый контакт, никакой телеоперации. Play2Perfect решает это двухэтапно.
Этап 1 — «игра»: робот учится в симуляции хватать и переориентировать случайные примитивы (кубики, цилиндры) к случайным 6D-позам. Никаких демонстраций, только RL с разнообразными объектами и траекториями.
Этап 2 — файнтюнинг: берём CAD-сборку, автоматически генерируем спарс-награду через «разборку в обратном порядке» и дообучаем политику на конкретной задаче.
Ключевой вывод: важно, чтобы во время игры робот учился именно манипуляции пальцами, а не просто двигал руку с фиксированным хватом. Результат — x33 по sample efficiency против RL с нуля и 60% успеха на вставке с зазором 0.5 мм в реале.
https://arxiv.org/abs/2606.26428
Next-State-Prediction как новая парадигма для общего ИИ
Пока все делают Next-Token или Next-Frame Prediction, авторы Orca предлагают Next-State-Prediction — обучать модель предсказывать латентные состояния мира, а не токены или пиксели.
Два режима обучения: "бессознательное" (смотришь видео и предсказываешь следующий кадр в латентном пространстве без разметки) и "сознательное" (с текстовыми инструкциями предсказываешь состояние после события). Итог — единое латентное пространство мира, из которого потом легковесными декодерами читают текст, картинки и действия робота.
Ключевая идея: backbone замораживается после претрейна, а все downstream-задачи решаются маленькими readout-модулями. Обучались на 125K часов видео и 160M аннотаций событий. Масштабирование работает — чем больше модель и данных, тем лучше все три типа readout.
https://arxiv.org/abs/2606.30534
Пока все делают Next-Token или Next-Frame Prediction, авторы Orca предлагают Next-State-Prediction — обучать модель предсказывать латентные состояния мира, а не токены или пиксели.
Два режима обучения: "бессознательное" (смотришь видео и предсказываешь следующий кадр в латентном пространстве без разметки) и "сознательное" (с текстовыми инструкциями предсказываешь состояние после события). Итог — единое латентное пространство мира, из которого потом легковесными декодерами читают текст, картинки и действия робота.
Ключевая идея: backbone замораживается после претрейна, а все downstream-задачи решаются маленькими readout-модулями. Обучались на 125K часов видео и 160M аннотаций событий. Масштабирование работает — чем больше модель и данных, тем лучше все три типа readout.
https://arxiv.org/abs/2606.30534
Nvidia Tech оптимизировала нейронный пайплайн NuRec с помощью инструментов Nsight.
NuRec — это система для создания цифровых двойников реальных сцен из данных камер и лидаров, используется в разработке автономных автомобилей и робототехники. Проблема: реконструкция даже коротких записей занимала от часа до нескольких часов.
Что сделали: профилировали код через Nsight Systems и Nsight Compute, нашли узкие места — множество мелких GPU-ядер, лишние точки синхронизации и недозагруженность GPU (всего 15% occupancy).
Результат: функция interpolate ускорена почти в 50 раз (с 4,1 мс до 83 мкс) за счёт слияния ядер в одно. После удаления лишних синхронизаций GPU-загрузка стала компактной. Occupancy тяжёлых ядер выросла с 15% до 30–50%, время их выполнения сократилось вдвое.
Цель — довести реконструкцию 30-секундной записи до 30 секунд в реальном времени.
https://developer.nvidia.com/blog/optimizing-a-neural-reconstruction-pipeline-using-nvidia-nsight-developer-tools/
NuRec — это система для создания цифровых двойников реальных сцен из данных камер и лидаров, используется в разработке автономных автомобилей и робототехники. Проблема: реконструкция даже коротких записей занимала от часа до нескольких часов.
Что сделали: профилировали код через Nsight Systems и Nsight Compute, нашли узкие места — множество мелких GPU-ядер, лишние точки синхронизации и недозагруженность GPU (всего 15% occupancy).
Результат: функция interpolate ускорена почти в 50 раз (с 4,1 мс до 83 мкс) за счёт слияния ядер в одно. После удаления лишних синхронизаций GPU-загрузка стала компактной. Occupancy тяжёлых ядер выросла с 15% до 30–50%, время их выполнения сократилось вдвое.
Цель — довести реконструкцию 30-секундной записи до 30 секунд в реальном времени.
https://developer.nvidia.com/blog/optimizing-a-neural-reconstruction-pipeline-using-nvidia-nsight-developer-tools/
NVIDIA Technical Blog
Optimizing a Neural Reconstruction Pipeline Using NVIDIA Nsight Developer Tools
NVIDIA Omniverse NuRec is a neural reconstruction pipeline for building high-fidelity 3D representations of real-world environments from multisensor data such as cameras and lidar. It is used to…
Nvidia представила архитектуру управления автономными AI-агентами в корпоративной среде.
Компания выпустила Secure Agent Workspace Reference Design — эталонный дизайн для безопасного запуска агентов в корпоративных AI-фабриках. Суть: устройство пользователя служит только интерфейсом, а реальная работа агентов происходит в изолированной управляемой среде.
Что это даёт: каждый сотрудник получает отдельную виртуальную машину, агент работает только с одобренными сервисами, а любое серьёзное действие — слияние кода, изменение задач — требует подтверждения человека. Секреты и пароли агент не видит напрямую, всё идёт через защищённый прокси. Все логи централизованы и готовы к аудиту.
Поддерживаются Red Hat OpenShift (on-prem) и Microsoft Azure (облако). Решение ориентировано на компании, которые хотят дать сотрудникам доступ к мощным AI-агентам, не теряя контроль над корпоративными данными.
https://developer.nvidia.com/blog/how-to-govern-autonomous-agents-in-enterprise-ai-factories/
Компания выпустила Secure Agent Workspace Reference Design — эталонный дизайн для безопасного запуска агентов в корпоративных AI-фабриках. Суть: устройство пользователя служит только интерфейсом, а реальная работа агентов происходит в изолированной управляемой среде.
Что это даёт: каждый сотрудник получает отдельную виртуальную машину, агент работает только с одобренными сервисами, а любое серьёзное действие — слияние кода, изменение задач — требует подтверждения человека. Секреты и пароли агент не видит напрямую, всё идёт через защищённый прокси. Все логи централизованы и готовы к аудиту.
Поддерживаются Red Hat OpenShift (on-prem) и Microsoft Azure (облако). Решение ориентировано на компании, которые хотят дать сотрудникам доступ к мощным AI-агентам, не теряя контроль над корпоративными данными.
https://developer.nvidia.com/blog/how-to-govern-autonomous-agents-in-enterprise-ai-factories/
NVIDIA Technical Blog
How to Govern Autonomous Agents in Enterprise AI Factories
AI agents are quickly moving beyond chat. They inspect code, run tests, read documents, search knowledge bases, query internal systems, and operate for hours on behalf of a user.
PyTorch: RadixArk выпустила Miles — фреймворк для RL-дообучения больших языковых моделей
Miles решает реальную боль: обучение с подкреплением для LLM — это уже не просто цикл обучения, а полноценная задача распределённых систем. Фреймворк объединяет SGLang для генерации, Megatron-LM для обучения и Ray для оркестрации, держа PyTorch как общий слой.
Что внутри: быстрая синхронизация весов через NCCL/RDMA, поддержка MoE-моделей (DeepSeek-V3/V4, Qwen3), low-precision рецепты, fault tolerance и асинхронный режим — rollout и обучение больше не блокируют друг друга.
Главная идея — маленькое ядро с подключаемыми модулями: логику роллаута, функции вознаграждения, лоссы и хуки можно менять без форка фреймворка.
Для исследователей и ML-инфраструктурных команд, работающих с frontier-моделями на кластерах Blackwell/Hopper, это готовая база вместо написания всего с нуля.
Проект открытый, на GitHub.
https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training/
Miles решает реальную боль: обучение с подкреплением для LLM — это уже не просто цикл обучения, а полноценная задача распределённых систем. Фреймворк объединяет SGLang для генерации, Megatron-LM для обучения и Ray для оркестрации, держа PyTorch как общий слой.
Что внутри: быстрая синхронизация весов через NCCL/RDMA, поддержка MoE-моделей (DeepSeek-V3/V4, Qwen3), low-precision рецепты, fault tolerance и асинхронный режим — rollout и обучение больше не блокируют друг друга.
Главная идея — маленькое ядро с подключаемыми модулями: логику роллаута, функции вознаграждения, лоссы и хуки можно менять без форка фреймворка.
Для исследователей и ML-инфраструктурных команд, работающих с frontier-моделями на кластерах Blackwell/Hopper, это готовая база вместо написания всего с нуля.
Проект открытый, на GitHub.
https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training/
ELDR: умный роутинг для MoE-моделей в продакшне (by Microsoft Research)
В MoE-моделях (Mixtral, Qwen, Gemma MoE) токены раскидываются по разным "экспертам". При decode-фазе узкое место — не вычисления, а загрузка весов экспертов из памяти. Ключевой инсайт: латентность зависит не от размера батча, а от числа уникальных активированных экспертов. Рост с 16 до 128 активных экспертов даёт 4.7x замедление!
Идея ELDR: запросы из одного домена (код, математика, медицина) активируют схожие эксперты. Это видно уже на этапе prefill — корреляция prefill/decode активаций 0.70–0.92. Значит, можно умно маршрутизировать похожие запросы на один decode-воркер ещё до генерации!
ELDR строит компактную "экспертную сигнатуру" из prefill-активаций, кластеризует воркеры офлайн, а онлайн балансирует locality и нагрузку. Реализовано поверх vLLM без изменения модели.
Результат: снижение медианного TPOT на 7–14% на Qwen3-30B, GPT-OSS-120B, Gemma-4-26B.
https://arxiv.org/abs/2607.00466
В MoE-моделях (Mixtral, Qwen, Gemma MoE) токены раскидываются по разным "экспертам". При decode-фазе узкое место — не вычисления, а загрузка весов экспертов из памяти. Ключевой инсайт: латентность зависит не от размера батча, а от числа уникальных активированных экспертов. Рост с 16 до 128 активных экспертов даёт 4.7x замедление!
Идея ELDR: запросы из одного домена (код, математика, медицина) активируют схожие эксперты. Это видно уже на этапе prefill — корреляция prefill/decode активаций 0.70–0.92. Значит, можно умно маршрутизировать похожие запросы на один decode-воркер ещё до генерации!
ELDR строит компактную "экспертную сигнатуру" из prefill-активаций, кластеризует воркеры офлайн, а онлайн балансирует locality и нагрузку. Реализовано поверх vLLM без изменения модели.
Результат: снижение медианного TPOT на 7–14% на Qwen3-30B, GPT-OSS-120B, Gemma-4-26B.
https://arxiv.org/abs/2607.00466
ASPIRE: робот учится на ошибках и не забывает уроки (by NVIDIA)
Представьте программиста-робота, который каждый раз начинает с нуля — даже после сотни задач. Именно так работают существующие robotic coding agents. ASPIRE это исправляет.
Система состоит из трёх частей:
1. Robot Execution Engine — вместо грубого "задача провалена" даёт детальные трейсы по каждому примитиву (восприятие, планирование, захват).
2. Skill Library — успешные фиксы сохраняются как переиспользуемые навыки для будущих задач.
3. Evolutionary Search — параллельно исследует разные программы и скрещивает выжившие.
Результаты впечатляют: +77 пунктов на LIBERO-Pro, +72 на Robosuite, +32 на BEHAVIOR-1K. Zero-shot трансфер на длинные задачи: 31% vs 4% у конкурентов. Навыки из симуляции работают на реальном роботе.
Ключевая идея: опыт должен накапливаться, а не выбрасываться после каждой задачи.
https://arxiv.org/abs/2607.00272
Представьте программиста-робота, который каждый раз начинает с нуля — даже после сотни задач. Именно так работают существующие robotic coding agents. ASPIRE это исправляет.
Система состоит из трёх частей:
1. Robot Execution Engine — вместо грубого "задача провалена" даёт детальные трейсы по каждому примитиву (восприятие, планирование, захват).
2. Skill Library — успешные фиксы сохраняются как переиспользуемые навыки для будущих задач.
3. Evolutionary Search — параллельно исследует разные программы и скрещивает выжившие.
Результаты впечатляют: +77 пунктов на LIBERO-Pro, +72 на Robosuite, +32 на BEHAVIOR-1K. Zero-shot трансфер на длинные задачи: 31% vs 4% у конкурентов. Навыки из симуляции работают на реальном роботе.
Ключевая идея: опыт должен накапливаться, а не выбрасываться после каждой задачи.
https://arxiv.org/abs/2607.00272
Генерация картинок 10-25× быстрее без обучения — как?
Диффузионные модели типа FLUX или Qwen-Image тратят десятки секунд на одно изображение. Авторы предложили MrFlow — многоступенчатый пайплайн, который обходит это без какого-либо дообучения.
Идея проста и элегантна: сначала генерируем изображение на низком разрешении (это в ~4× быстрее за шаг и требует меньше шагов), потом апскейлим через лёгкую GAN-сетку (Real-ESRGAN) прямо в пиксельном пространстве, добавляем слабый шум чтобы "стереть" артефакты апскейла, и финально делаем буквально 1 шаг диффузии на высоком разрешении для доработки деталей.
Ключевой инсайт: траектория flow matching почти прямая вблизи чистого изображения — поэтому на финальном этапе достаточно одного шага. В итоге: 10× ускорение при потере качества менее 1%, а в связке с distillation-моделями — до 25×.
https://arxiv.org/abs/2607.01642
Диффузионные модели типа FLUX или Qwen-Image тратят десятки секунд на одно изображение. Авторы предложили MrFlow — многоступенчатый пайплайн, который обходит это без какого-либо дообучения.
Идея проста и элегантна: сначала генерируем изображение на низком разрешении (это в ~4× быстрее за шаг и требует меньше шагов), потом апскейлим через лёгкую GAN-сетку (Real-ESRGAN) прямо в пиксельном пространстве, добавляем слабый шум чтобы "стереть" артефакты апскейла, и финально делаем буквально 1 шаг диффузии на высоком разрешении для доработки деталей.
Ключевой инсайт: траектория flow matching почти прямая вблизи чистого изображения — поэтому на финальном этапе достаточно одного шага. В итоге: 10× ускорение при потере качества менее 1%, а в связке с distillation-моделями — до 25×.
https://arxiv.org/abs/2607.01642
NVIDIA: аппаратная защита AI без потери скорости
NVIDIA представила результаты тестов Confidential Computing (CC) — технологии, которая защищает данные, код и веса моделей прямо во время инференса, на уровне железа.
Суть: GPU Blackwell хранит приватный ключ, зашитый при производстве. Перед запуском рабочей нагрузки система проходит удалённую аттестацию — и только потом получает доступ к секретам вроде ключей расшифровки модели.
Главный результат: на HGX B300 с моделью Qwen 3.5-397B включение CC даёт потери производительности всего до 8% — то есть система работает на уровне 98% от незащищённого режима.
Почему важно: компании, работающие с чувствительными данными (медицина, финансы, госсектор), теперь могут запускать большие модели в защищённой среде без серьёзного ущерба для скорости. Раньше безопасность и производительность были трудносовместимы.
https://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/
NVIDIA представила результаты тестов Confidential Computing (CC) — технологии, которая защищает данные, код и веса моделей прямо во время инференса, на уровне железа.
Суть: GPU Blackwell хранит приватный ключ, зашитый при производстве. Перед запуском рабочей нагрузки система проходит удалённую аттестацию — и только потом получает доступ к секретам вроде ключей расшифровки модели.
Главный результат: на HGX B300 с моделью Qwen 3.5-397B включение CC даёт потери производительности всего до 8% — то есть система работает на уровне 98% от незащищённого режима.
Почему важно: компании, работающие с чувствительными данными (медицина, финансы, госсектор), теперь могут запускать большие модели в защищённой среде без серьёзного ущерба для скорости. Раньше безопасность и производительность были трудносовместимы.
https://developer.nvidia.com/blog/hardware-rooted-ai-security-that-wont-slow-you-down/
NVIDIA Technical Blog
Hardware-Rooted AI Security That Won’t Slow You Down
AI has transformed how organizations operate, driving unprecedented levels of productivity and innovation. However, AI adoption can be impeded by concerns surrounding data privacy…
Apple ML на ICML 2026: мультиагентные команды тормозят экспертов
Исследователи Apple ML опубликовали неудобную правду о мультиагентных LLM-системах: команды агентов стабильно проигрывают лучшему участнику в одиночку, теряя до 41% производительности на ML-задачах.
Главная проблема не в том, что агенты не могут определить эксперта — они его видят. Проблема в том, что они не умеют на него опираться. Вместо этого агенты усредняют мнения всех участников, игнорируя разницу в компетентности. Чем больше команда — тем сильнее этот эффект.
Есть и неожиданный плюс: такое «консенсусное» поведение делает систему устойчивее к вредоносным агентам. Но это слабое утешение, когда коллективный разум хуже одного специалиста.
Вывод: текущие мультиагентные архитектуры не умеют по-настоящему использовать экспертизу внутри команды. Это серьёзный вызов для всех, кто строит автономные AI-системы на основе взаимодействия агентов.
https://machinelearning.apple.com/research/multi-agent-teams-experts
Исследователи Apple ML опубликовали неудобную правду о мультиагентных LLM-системах: команды агентов стабильно проигрывают лучшему участнику в одиночку, теряя до 41% производительности на ML-задачах.
Главная проблема не в том, что агенты не могут определить эксперта — они его видят. Проблема в том, что они не умеют на него опираться. Вместо этого агенты усредняют мнения всех участников, игнорируя разницу в компетентности. Чем больше команда — тем сильнее этот эффект.
Есть и неожиданный плюс: такое «консенсусное» поведение делает систему устойчивее к вредоносным агентам. Но это слабое утешение, когда коллективный разум хуже одного специалиста.
Вывод: текущие мультиагентные архитектуры не умеют по-настоящему использовать экспертизу внутри команды. Это серьёзный вызов для всех, кто строит автономные AI-системы на основе взаимодействия агентов.
https://machinelearning.apple.com/research/multi-agent-teams-experts
Apple Machine Learning Research
Multi-Agent Teams Hold Experts Back
Multi-agent LLM systems are increasingly deployed as autonomous collaborators, where agents interact freely rather than execute fixed…
Apple ML представила VideoFlexTok — новый метод токенизации видео для генеративных моделей.
Суть в том, что вместо стандартной 3D-сетки токенов (где каждый токен отвечает за локальный фрагмент кадра) видео кодируется в переменную последовательность: первые токены захватывают семантику и движение, последующие добавляют детали. Это позволяет модели не предсказывать каждый пиксель вслепую.
Что это даёт на практике:
— Сопоставимое качество генерации при модели в 5 раз меньше (1.1B против 5.2B параметров)
— Генерация 10-секундных видео (81 кадр) всего в 672 токенах — в 8 раз меньше, чем у аналогов
— Гибкость: токенов можно брать столько, сколько нужно задаче
Проще говоря, видеомодели теперь могут быть дешевле в обучении и работать с длинными роликами без взрывного роста вычислений. Статья выйдет на ICML 2026.
https://machinelearning.apple.com/research/videoflextok
Суть в том, что вместо стандартной 3D-сетки токенов (где каждый токен отвечает за локальный фрагмент кадра) видео кодируется в переменную последовательность: первые токены захватывают семантику и движение, последующие добавляют детали. Это позволяет модели не предсказывать каждый пиксель вслепую.
Что это даёт на практике:
— Сопоставимое качество генерации при модели в 5 раз меньше (1.1B против 5.2B параметров)
— Генерация 10-секундных видео (81 кадр) всего в 672 токенах — в 8 раз меньше, чем у аналогов
— Гибкость: токенов можно брать столько, сколько нужно задаче
Проще говоря, видеомодели теперь могут быть дешевле в обучении и работать с длинными роликами без взрывного роста вычислений. Статья выйдет на ICML 2026.
https://machinelearning.apple.com/research/videoflextok
Apple Machine Learning Research
VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization
Visual tokenizers map high-dimensional raw pixels into a compressed representation for downstream modeling. Beyond compression, tokenizers…
Рассуждения в непрерывном пространстве без языкового бутылочного горлышка
Когда мультимодальная LLM рассуждает текстом, она теряет пространственные и визуальные нюансы — всё сжимается в дискретные токены. Авторы предлагают рассуждать прямо в непрерывном латентном пространстве, вставляя k латентных слотов в последовательность.
Ключевая проблема: при обучении постериор видит правильный ответ и учится на "утечке" — а прайор на инференсе этого не знает. Возникает train-inference mismatch.
Решение — AMVL (Asymmetric Mutual Variational Learning): обучают два KL в обе стороны асимметрично. Forward KL тянет прайор к постериору. Reverse KL не даёт постериору уходить в зоны, недостижимые для прайора на инференсе. Никакой ручной разметки латентных шагов — только сигнал от ответа.
Результат: стабильное превосходство над дискретными CoT-методами и другими latent reasoning подходами на мультимодальных бенчмарках.
https://arxiv.org/abs/2607.00461
Когда мультимодальная LLM рассуждает текстом, она теряет пространственные и визуальные нюансы — всё сжимается в дискретные токены. Авторы предлагают рассуждать прямо в непрерывном латентном пространстве, вставляя k латентных слотов в последовательность.
Ключевая проблема: при обучении постериор видит правильный ответ и учится на "утечке" — а прайор на инференсе этого не знает. Возникает train-inference mismatch.
Решение — AMVL (Asymmetric Mutual Variational Learning): обучают два KL в обе стороны асимметрично. Forward KL тянет прайор к постериору. Reverse KL не даёт постериору уходить в зоны, недостижимые для прайора на инференсе. Никакой ручной разметки латентных шагов — только сигнал от ответа.
Результат: стабильное превосходство над дискретными CoT-методами и другими latent reasoning подходами на мультимодальных бенчмарках.
https://arxiv.org/abs/2607.00461
WorldDirector: видеогенерация с памятью об объектах за кадром
Представьте: камера отворачивается от человека, он уходит за угол, а потом возвращается — и генеративная модель "помнит", как он выглядел и где находился. Большинство видеомоделей с этим не справляются: объекты за кадром "замерзают" или теряют внешность.
WorldDirector решает это через явное разделение планирования движений и рендеринга. LLM выступает дирижёром: переводит инструкции пользователя в 3D-траектории боксов, которые проецируются в 2D-условия для генерации. Отдельный механизм Appearance Binding вытаскивает RGB-фичи объекта из исторического контекста и инжектит их как визуальный якорь при повторном появлении. Spatial-aware cross-attention направляет текстовые промпты к нужным регионам кадра.
Итог: несколько независимых объектов могут одновременно двигаться по своим траекториям, пропадать и возвращаться без потери идентичности — шаг от пассивной генерации видео к настоящему интерактивному симулятору мира.
https://arxiv.org/abs/2607.02517
Представьте: камера отворачивается от человека, он уходит за угол, а потом возвращается — и генеративная модель "помнит", как он выглядел и где находился. Большинство видеомоделей с этим не справляются: объекты за кадром "замерзают" или теряют внешность.
WorldDirector решает это через явное разделение планирования движений и рендеринга. LLM выступает дирижёром: переводит инструкции пользователя в 3D-траектории боксов, которые проецируются в 2D-условия для генерации. Отдельный механизм Appearance Binding вытаскивает RGB-фичи объекта из исторического контекста и инжектит их как визуальный якорь при повторном появлении. Spatial-aware cross-attention направляет текстовые промпты к нужным регионам кадра.
Итог: несколько независимых объектов могут одновременно двигаться по своим траекториям, пропадать и возвращаться без потери идентичности — шаг от пассивной генерации видео к настоящему интерактивному симулятору мира.
https://arxiv.org/abs/2607.02517
Как объединить несколько специализированных LLM в одну, не теряя ни одного навыка?
Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.
MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL
Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.
На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).
https://arxiv.org/abs/2606.30406
Классическая проблема: обучил отдельные модели под математику, код, инструкции — а объединить в одну без деградации не получается. Смешивать датасеты — "see-saw эффект", обучать последовательно — забывание, мержить веса — нестабильность.
MOPD (by Xiaomi) предлагает трёхэтапный подход:
1. Общий SFT для всех доменов
2. Параллельное RL-дообучение отдельных учителей под каждый домен
3. Студент учится на своих же роллаутах, а каждый промпт роутится к нужному учителю, который даёт пословный сигнал через reverse KL
Ключевые плюсы: нет exposure bias (студент учится на собственных траекториях), плотный токен-уровневый сигнал вместо скалярной награды, стабильность за счёт того, что все учителя стартовали с одного чекпоинта.
На Qwen3-30B-A3B MOPD бьёт лучший бейзлайн на 5.5 пунктов (0.937 vs 0.882).
https://arxiv.org/abs/2606.30406
Apple ML ускоряет поиск по векторным базам данных
Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.
Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).
На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.
Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.
Код открыт: github.com/apple/ml-amips
https://machinelearning.apple.com/research/amortizing-inner-product-search
Исследователи Apple опубликовали на ICML 2026 работу об amortized MIPS — новом подходе к задаче поиска максимального скалярного произведения (MIPS), которая лежит в основе работы поисковых систем и языковых моделей.
Суть: вместо того чтобы каждый раз решать задачу поиска заново, нейросеть обучается предсказывать ответ напрямую. Авторы предложили две модели — SupportNet (предсказывает значение функции поддержки) и KeyNet (сразу выдаёт нужный вектор из базы).
На бенчмарке BEIR оба подхода заметно улучшают точность поиска в индексах типа IVF при том же вычислительном бюджете — хоть в FLOPs, хоть в реальном времени.
Почему важно: MIPS используется везде, где нужно быстро найти похожий документ или эмбеддинг. Ускорение этой операции напрямую влияет на качество RAG-систем и поисковых движков.
Код открыт: github.com/apple/ml-amips
https://machinelearning.apple.com/research/amortizing-inner-product-search
Apple Machine Learning Research
Amortizing Maximum Inner Product Search with Learned Support Functions
Maximum inner product search (MIPS) is a crucial subroutine in machine learning, requiring the identification of a vector taken within a…
Apple ML опубликовала исследование на ICML 2026 о слабых местах VLM-моделей, обученных с помощью RL.
Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.
Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.
Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.
https://machinelearning.apple.com/research/robustness-chain-thought-consistency
Суть: RL-файнтюнинг улучшает результаты на бенчмарках по визуальному рассуждению, но делает модели уязвимыми. Достаточно добавить вводящую в заблуждение подпись к картинке или ошибочную цепочку рассуждений (CoT) — и модель начинает ошибаться значительно чаще.
Ключевая находка: существует конфликт между точностью и достоверностью рассуждений. Файнтюнинг поднимает метрики, но разрушает логику CoT. Открытые модели страдают от этого сильнее закрытых — значит, проблема в подходах к обучению, а не в задаче.
Почему важно: оценивать модели только по точности недостаточно. Нужны протоколы, которые проверяют и корректность, и устойчивость, и честность визуального рассуждения.
https://machinelearning.apple.com/research/robustness-chain-thought-consistency
Apple Machine Learning Research
On Robustness and Chain-of-Thought Consistency of RL-Finetuned VLMs
Reinforcement learning (RL) finetuning has become a key technique for enhancing large language models (LLMs) on reasoning-intensive tasks…
Apple ML на ICML 2026 представила MemoryLLM — новый подход к интерпретируемости трансформеров.
Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.
В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.
Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.
Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.
https://machinelearning.apple.com/research/memoryllm
Суть: исследователи предложили отделить слои FFN (feed-forward networks) от механизма self-attention и изучать их как независимую память. Обычно эти компоненты обучаются вместе, что делает их поведение непрозрачным.
В MemoryLLM FFN обучаются отдельно — напрямую по токен-эмбеддингам, без контекста. Это превращает их в простые таблицы поиска (ToLs), которые можно заранее вычислить и подгружать по требованию из хранилища в VRAM. Итог — прозрачность работы модели и прирост эффективности инференса.
Для сглаживания потери качества из-за контекстно-независимого обучения предложена промежуточная архитектура Flex-MemoryLLM.
Почему важно: это шаг к понятным и управляемым LLM, где можно отследить, какие токены к каким «воспоминаниям» обращаются — и зачем.
https://machinelearning.apple.com/research/memoryllm
Apple Machine Learning Research
MemoryLLM: Plug-n-Play Interpretable Feed-Forward Memory for Transformers
Understanding how transformer components operate in LLMs is important, as it is at the core of recent technological advances in artificial…