PyTorch представил TokenSpeed-Kernel — открытую систему ядер для эффективного LLM-инференса на разном железе.
Суть проблемы: когда движок поддерживает AMD, NVIDIA и другие платформы, код превращается в лабиринт — проверки железа расползаются по всему рантайму. TokenSpeed-Kernel решает это через чёткое разделение слоёв.
Как работает: рантайм вызывает единый API (mha_prefill, moe_apply и т.д.), не зная деталей железа. Система сама выбирает нужное ядро через реестр — каждое ядро регистрируется с метаданными о поддерживаемых платформах, форматах тензоров и приоритете.
Что внутри: Gluon-ядра для AMD, CuteDSL для NVIDIA, плюс Triton как переносимый запасной вариант. На AMD GPT-OSS 120B система показала топовую производительность.
Для разработчиков это значит: добавить новую модель или новое железо теперь можно без переписывания несвязанного кода. Пакет публикуется как самостоятельный — его можно использовать отдельно от остального стека.
https://pytorch.org/blog/lightseek-tokenspeed-kernel/
Суть проблемы: когда движок поддерживает AMD, NVIDIA и другие платформы, код превращается в лабиринт — проверки железа расползаются по всему рантайму. TokenSpeed-Kernel решает это через чёткое разделение слоёв.
Как работает: рантайм вызывает единый API (mha_prefill, moe_apply и т.д.), не зная деталей железа. Система сама выбирает нужное ядро через реестр — каждое ядро регистрируется с метаданными о поддерживаемых платформах, форматах тензоров и приоритете.
Что внутри: Gluon-ядра для AMD, CuteDSL для NVIDIA, плюс Triton как переносимый запасной вариант. На AMD GPT-OSS 120B система показала топовую производительность.
Для разработчиков это значит: добавить новую модель или новое железо теперь можно без переписывания несвязанного кода. Пакет публикуется как самостоятельный — его можно использовать отдельно от остального стека.
https://pytorch.org/blog/lightseek-tokenspeed-kernel/
SingGuard: гибкий мультимодальный guardrail с динамической политикой (by inclusionAI)
Проблема современных guardrail-систем: они заточены под фиксированную таксономию рисков. Поменялась политика компании или домен (медицина, финансы) — переобучай модель заново.
SingGuard решает это иначе: политика безопасности подаётся прямо в инференсе как текст с правилами. Модель проверяет контент rule-by-rule, а не просто классифицирует по заранее выученным лейблам.
Ещё одна фишка — три режима вывода: fast (просто лейбл), hybrid (лейбл + рассуждение при неуверенности), slow (полный разбор по каждому правилу). Обучение с RL при этом намеренно отвязывает первый быстрый токен от последующего рассуждения, чтобы начальный вердикт не якорил цепочку мыслей.
Результат: +7.5% accuracy на dynamic-policy бенчмарке против Qwen3-VL-8B, SOTA на 35 датасетах.
https://arxiv.org/abs/2606.22873
Проблема современных guardrail-систем: они заточены под фиксированную таксономию рисков. Поменялась политика компании или домен (медицина, финансы) — переобучай модель заново.
SingGuard решает это иначе: политика безопасности подаётся прямо в инференсе как текст с правилами. Модель проверяет контент rule-by-rule, а не просто классифицирует по заранее выученным лейблам.
Ещё одна фишка — три режима вывода: fast (просто лейбл), hybrid (лейбл + рассуждение при неуверенности), slow (полный разбор по каждому правилу). Обучение с RL при этом намеренно отвязывает первый быстрый токен от последующего рассуждения, чтобы начальный вердикт не якорил цепочку мыслей.
Результат: +7.5% accuracy на dynamic-policy бенчмарке против Qwen3-VL-8B, SOTA на 35 датасетах.
https://arxiv.org/abs/2606.22873
Токены с высокой энтропией важнее для длинных рассуждений, чем те, на которые обращает внимание модель!
Классические методы сжатия KV-кеша смотрят назад: сохраняют токены, которые недавние токены активно "замечали". Но в длинных рассуждениях (тысячи токенов) это работает плохо — важные для будущего токены могут быть неактивны прямо сейчас.
Авторы вводят метрику Forward Influence: насколько сильно изменится распределение будущих предсказаний, если убрать токен из кеша? Оказалось, что токены с высокой энтропией (= модель была неуверена при их предсказании) имеют гораздо большее долгосрочное влияние, чем токены с высоким attention.
InfoKV комбинирует три сигнала: энтропию токена, эволюцию его представления между промежуточным и финальным слоями, и классический attention score. На DeepSeek-R1 метод даёт прирост на AIME 2024, LiveCodeBench и IFEval.
https://arxiv.org/abs/2606.26875
Классические методы сжатия KV-кеша смотрят назад: сохраняют токены, которые недавние токены активно "замечали". Но в длинных рассуждениях (тысячи токенов) это работает плохо — важные для будущего токены могут быть неактивны прямо сейчас.
Авторы вводят метрику Forward Influence: насколько сильно изменится распределение будущих предсказаний, если убрать токен из кеша? Оказалось, что токены с высокой энтропией (= модель была неуверена при их предсказании) имеют гораздо большее долгосрочное влияние, чем токены с высоким attention.
InfoKV комбинирует три сигнала: энтропию токена, эволюцию его представления между промежуточным и финальным слоями, и классический attention score. На DeepSeek-R1 метод даёт прирост на AIME 2024, LiveCodeBench и IFEval.
https://arxiv.org/abs/2606.26875
Агент-датасаентист сам создаёт сложные датасеты для своего обучения
Идея простая, но мощная: зачем вручную размечать данные, если LLM-агент может сам сыграть роль датасаентиста? Autodata — это агентный цикл, где модель создаёт данные, анализирует их качество и итеративно улучшает рецепт генерации.
Ключевой трюк — схема "слабый vs сильный солвер": Challenger генерирует задачу, слабая модель пытается решить и проваливается, сильная — справляется. Агент принимает только примеры с большим разрывом между ними. Это гарантирует нужный уровень сложности автоматически.
На CS-исследовательских вопросах gap между солверами вырос с 0.02 до 0.31 по сравнению с обычным CoT Self-Instruct. Сам агент тоже поддаётся мета-оптимизации — и это даёт дополнительный буст качества данных.
https://arxiv.org/abs/2606.25996
Идея простая, но мощная: зачем вручную размечать данные, если LLM-агент может сам сыграть роль датасаентиста? Autodata — это агентный цикл, где модель создаёт данные, анализирует их качество и итеративно улучшает рецепт генерации.
Ключевой трюк — схема "слабый vs сильный солвер": Challenger генерирует задачу, слабая модель пытается решить и проваливается, сильная — справляется. Агент принимает только примеры с большим разрывом между ними. Это гарантирует нужный уровень сложности автоматически.
На CS-исследовательских вопросах gap между солверами вырос с 0.02 до 0.31 по сравнению с обычным CoT Self-Instruct. Сам агент тоже поддаётся мета-оптимизации — и это даёт дополнительный буст качества данных.
https://arxiv.org/abs/2606.25996
35B модель побила триллионники — как?
Agents-A1 от Intern Science — 35B MoE агент, который обходит модели на 1 триллион параметров (Kimi-K2, DeepSeek-V4) на задачах долгосрочного планирования, научного рассуждения и работы с инструментами.
Ключевая идея: вместо масштабирования параметров — масштабировать горизонт. Авторы строят Knowledge-Action Graph (KAG), который хранит не просто факты, а полные траектории агента: действие → наблюдение → верификация, включая неудачные попытки. Средняя длина траектории — 45K токенов!
Обучение в три этапа: сначала общий SFT на всех доменах, затем специализированные teacher-модели для каждого домена (поиск, ML-инжиниринг, наука, инструменты), и наконец — дистилляция всех учителей в одного студента через domain-routed on-policy distillation с выравниванием словарей.
Результат: 35B модель бьёт 1T на SEAL, IFBench, FrontierScience и других бенчмарках.
https://arxiv.org/abs/2606.30616
Agents-A1 от Intern Science — 35B MoE агент, который обходит модели на 1 триллион параметров (Kimi-K2, DeepSeek-V4) на задачах долгосрочного планирования, научного рассуждения и работы с инструментами.
Ключевая идея: вместо масштабирования параметров — масштабировать горизонт. Авторы строят Knowledge-Action Graph (KAG), который хранит не просто факты, а полные траектории агента: действие → наблюдение → верификация, включая неудачные попытки. Средняя длина траектории — 45K токенов!
Обучение в три этапа: сначала общий SFT на всех доменах, затем специализированные teacher-модели для каждого домена (поиск, ML-инжиниринг, наука, инструменты), и наконец — дистилляция всех учителей в одного студента через domain-routed on-policy distillation с выравниванием словарей.
Результат: 35B модель бьёт 1T на SEAL, IFBench, FrontierScience и других бенчмарках.
https://arxiv.org/abs/2606.30616
Как научить агента пользоваться инструментами только тогда, когда это реально помогает?
Когда мультимодальная LLM "думает с картинками" — пишет код, кропает изображение, зумирует — инструмент может как исправить ответ, так и сломать правильный. Проблема: стандартный RLVR даёт награду за финальный ответ всей траектории, не разбираясь, помог ли конкретный вызов инструмента или навредил.
TACO решает это двумя идеями:
DAPR (Differential Answer-Probe Reward) — вставляет два "зонда": один фиксирует ответ ДО вызова инструмента, второй — ПОСЛЕ. Разность их наград и есть ценность вызова. Полезный вызов получает положительный сигнал, вредный — отрицательный. Без внешнего судьи!
OGAR (Outcome-Gated Advantage Routing) — маршрутизирует финальное преимущество только к токенам, реально ответственным за ответ. Бесполезный вызов не получает незаслуженной награды, а провальная но оправданная попытка не штрафуется.
Когда мультимодальная LLM "думает с картинками" — пишет код, кропает изображение, зумирует — инструмент может как исправить ответ, так и сломать правильный. Проблема: стандартный RLVR даёт награду за финальный ответ всей траектории, не разбираясь, помог ли конкретный вызов инструмента или навредил.
TACO решает это двумя идеями:
DAPR (Differential Answer-Probe Reward) — вставляет два "зонда": один фиксирует ответ ДО вызова инструмента, второй — ПОСЛЕ. Разность их наград и есть ценность вызова. Полезный вызов получает положительный сигнал, вредный — отрицательный. Без внешнего судьи!
OGAR (Outcome-Gated Advantage Routing) — маршрутизирует финальное преимущество только к токенам, реально ответственным за ответ. Бесполезный вызов не получает незаслуженной награды, а провальная но оправданная попытка не штрафуется.
Путеводитель по агентному AI: всё что нужно знать в одной книге
Вышел монументальный учебник по агентным системам на основе LLM — почти энциклопедия для практикующего ML-инженера. Автор H. Roitman собрал в одном месте буквально всё: от токенизации и трансформеров до мультиагентных систем и безопасности.
Что внутри: архитектура трансформеров и Flash Attention, оптимизаторы (Adam/AdamW), SFT и LoRA, MoE, методы декодинга, квантизация и speculative decoding, GPU-архитектура и vLLM с PagedAttention, RAG, инструменты и агентные фреймворки.
Это не исследовательская статья, а скорее "недостающий учебник" — написан живо, с примерами на HuggingFace и практическими советами на каждом шагу. Если хочешь разобраться в агентном AI от фундамента до продакшна — лучшего старта сложно придумать.
https://arxiv.org/abs/2606.24937
Вышел монументальный учебник по агентным системам на основе LLM — почти энциклопедия для практикующего ML-инженера. Автор H. Roitman собрал в одном месте буквально всё: от токенизации и трансформеров до мультиагентных систем и безопасности.
Что внутри: архитектура трансформеров и Flash Attention, оптимизаторы (Adam/AdamW), SFT и LoRA, MoE, методы декодинга, квантизация и speculative decoding, GPU-архитектура и vLLM с PagedAttention, RAG, инструменты и агентные фреймворки.
Это не исследовательская статья, а скорее "недостающий учебник" — написан живо, с примерами на HuggingFace и практическими советами на каждом шагу. Если хочешь разобраться в агентном AI от фундамента до продакшна — лучшего старта сложно придумать.
https://arxiv.org/abs/2606.24937
Microsoft Research представила Memora — новую систему памяти для ИИ-агентов, опубликованную на ICML 2026.
Проблема: современные ИИ-агенты «забывают» всё между сессиями. Каждый раз им нужно заново скармливать контекст или тянуть данные из внешних источников — это медленно и неэффективно при длинных задачах.
Что сделали: Memora разделяет то, ЧТО хранится (детальный контент), и КАК это извлекается (короткие абстракции и «якоря»). Система сама объединяет связанные воспоминания, не дублируя их, и умеет находить нелинейные связи — как человек, вспоминающий цепочку событий.
Результаты впечатляют: на бенчмарках LoCoMo и LongMemEval Memora обошла RAG, Mem0 и даже полный контекст, при этом используя на 98% меньше токенов.
Код открыт на GitHub. Для тех, кто строит долгосрочных ИИ-ассистентов — must-see.
https://www.microsoft.com/en-us/research/blog/memora-a-harmonic-memory-representation-balancing-abstraction-and-specificity/
Проблема: современные ИИ-агенты «забывают» всё между сессиями. Каждый раз им нужно заново скармливать контекст или тянуть данные из внешних источников — это медленно и неэффективно при длинных задачах.
Что сделали: Memora разделяет то, ЧТО хранится (детальный контент), и КАК это извлекается (короткие абстракции и «якоря»). Система сама объединяет связанные воспоминания, не дублируя их, и умеет находить нелинейные связи — как человек, вспоминающий цепочку событий.
Результаты впечатляют: на бенчмарках LoCoMo и LongMemEval Memora обошла RAG, Mem0 и даже полный контекст, при этом используя на 98% меньше токенов.
Код открыт на GitHub. Для тех, кто строит долгосрочных ИИ-ассистентов — must-see.
https://www.microsoft.com/en-us/research/blog/memora-a-harmonic-memory-representation-balancing-abstraction-and-specificity/
Microsoft Research
Memora scales agent memory to boost long-horizon productivity
AI agents can't remember past conversations. They must constantly reload or retrieve context, which grows less efficient as tasks get longer and more complex. Memora solves this with a scalable memory system separating what’s stored from how it's retrieved.
PyTorch запустил Cross-Repository CI Relay (CRCR) — систему, которая автоматически запускает тесты в сторонних репозиториях при каждом PR в pytorch/pytorch.
Раньше такие проекты как vLLM, Intel XPU или AMD ROCm запускали свои CI отдельно — результаты нигде не собирались, а разработчики PyTorch не видели, что их изменения что-то сломали в экосистеме.
Теперь всё работает автоматически: PR в PyTorch → сигнал уходит во все подключённые репозитории → они прогоняют тесты → результаты появляются на едином дашборде hud.pytorch.org/crcr за считанные секунды.
Система поддерживает 4 уровня интеграции: от простых уведомлений до блокирующих проверок перед мёржем. Подключиться просто — одна строка в YAML-конфиге и минимальный workflow-файл.
https://pytorch.org/blog/introducing-cross-repository-ci-relay-scalable-ci-for-pytorchs-out-of-tree-backends/
Раньше такие проекты как vLLM, Intel XPU или AMD ROCm запускали свои CI отдельно — результаты нигде не собирались, а разработчики PyTorch не видели, что их изменения что-то сломали в экосистеме.
Теперь всё работает автоматически: PR в PyTorch → сигнал уходит во все подключённые репозитории → они прогоняют тесты → результаты появляются на едином дашборде hud.pytorch.org/crcr за считанные секунды.
Система поддерживает 4 уровня интеграции: от простых уведомлений до блокирующих проверок перед мёржем. Подключиться просто — одна строка в YAML-конфиге и минимальный workflow-файл.
https://pytorch.org/blog/introducing-cross-repository-ci-relay-scalable-ci-for-pytorchs-out-of-tree-backends/
OSWorld 2.0: лучшие агенты справляются лишь с 20% задач
Все хвалились, что Claude Opus 4.8 берёт 83.5% на OSWorld — значит, компьютерные агенты почти решены? Не совсем. Те задачи занимали минуты и редко выходили за пределы одного приложения.
OSWorld 2.0 — новый бенчмарк из 108 задач, где медианная задача требует 1.6 часа активной работы человека (в 48 раз длиннее, чем в OSWorld 1.0). Агент делает 300+ шагов, переключается между приложениями, получает новые сообщения прямо во время выполнения задачи, и должен не потерять нить.
Результат: Claude Opus 4.8 с максимальным thinking — лишь 20.6% полного выполнения. GPT-5.5 — около 13%, но хотя бы экономит токены.
Главная проблема не в том, что агенты плохо кликают по кнопкам. Они не удерживают модель задачи в голове: забывают ограничения, пропускают сообщения, которые пришли в середине работы, угадывают вместо того чтобы спросить пользователя, и тратят менее 7% бюджета на исправление собственных ошибок.
https://arxiv.org/abs/2606.29537
Все хвалились, что Claude Opus 4.8 берёт 83.5% на OSWorld — значит, компьютерные агенты почти решены? Не совсем. Те задачи занимали минуты и редко выходили за пределы одного приложения.
OSWorld 2.0 — новый бенчмарк из 108 задач, где медианная задача требует 1.6 часа активной работы человека (в 48 раз длиннее, чем в OSWorld 1.0). Агент делает 300+ шагов, переключается между приложениями, получает новые сообщения прямо во время выполнения задачи, и должен не потерять нить.
Результат: Claude Opus 4.8 с максимальным thinking — лишь 20.6% полного выполнения. GPT-5.5 — около 13%, но хотя бы экономит токены.
Главная проблема не в том, что агенты плохо кликают по кнопкам. Они не удерживают модель задачи в голове: забывают ограничения, пропускают сообщения, которые пришли в середине работы, угадывают вместо того чтобы спросить пользователя, и тратят менее 7% бюджета на исправление собственных ошибок.
https://arxiv.org/abs/2606.29537
Evolution Fine-Tuning: маленькая модель учится "изобретать" на 371 задаче (by Minnesota NLP)
Большие LLM умеют делать эволюционный поиск — предлагать решения, оценивать, улучшать. Но есть проблема: маленькие open-source модели (меньше 9B) в таких сценариях просто ломаются и дают мусор. Авторы придумали Evolution Fine-Tuning (EFT): берём траектории успешных поисков большой модели (Qwen3.5-397B) по 371 задаче из 10 областей — и дистиллируем это "умение эволюционировать" в маленькие модели 2B–9B.
Ключевой результат: Finch-8B не только догоняет проприетарные модели на held-out задачах, но и переносит стратегии между доменами — например, применяет Levenberg-Marquardt из численной оптимизации к задаче соревновательного программирования. Базовая модель так не умеет.
Датасет: 156K траекторий, открытый. Чем больше задач в обучении (15 → 355), тем лучше на новых (+14.1%).
https://arxiv.org/abs/2606.29082
Большие LLM умеют делать эволюционный поиск — предлагать решения, оценивать, улучшать. Но есть проблема: маленькие open-source модели (меньше 9B) в таких сценариях просто ломаются и дают мусор. Авторы придумали Evolution Fine-Tuning (EFT): берём траектории успешных поисков большой модели (Qwen3.5-397B) по 371 задаче из 10 областей — и дистиллируем это "умение эволюционировать" в маленькие модели 2B–9B.
Ключевой результат: Finch-8B не только догоняет проприетарные модели на held-out задачах, но и переносит стратегии между доменами — например, применяет Levenberg-Marquardt из численной оптимизации к задаче соревновательного программирования. Базовая модель так не умеет.
Датасет: 156K траекторий, открытый. Чем больше задач в обучении (15 → 355), тем лучше на новых (+14.1%).
https://arxiv.org/abs/2606.29082
👍1
Как научить одну модель рисовать, редактировать локально и глобально — без деградации?
Современные диффузионные модели хотят уметь всё сразу: text-to-image, локальное и глобальное редактирование. Проблема — эти задачи конфликтуют при совместном обучении, и модель деградирует.
DanceOPD смотрит на каждую "способность" как на поле скоростей (velocity field) в пространстве flow-matching генерации. Идея: вместо того чтобы смешивать поля разных учителей, каждый пример жёстко маршрутизируется к одному полю (hard routing). Дальше — поле запрашивается на состояниях, которые генерирует сам студент (on-policy), а не на фиксированных офлайн-траекториях. И только один запрос на семантической стороне (низкий шум), чтобы избежать коррелированных сигналов.
Результат: +8.1% на GEditBench при сохранении качества T2I, +16.1% при композиции локального и глобального редактирования.
https://arxiv.org/abs/2606.27377
Современные диффузионные модели хотят уметь всё сразу: text-to-image, локальное и глобальное редактирование. Проблема — эти задачи конфликтуют при совместном обучении, и модель деградирует.
DanceOPD смотрит на каждую "способность" как на поле скоростей (velocity field) в пространстве flow-matching генерации. Идея: вместо того чтобы смешивать поля разных учителей, каждый пример жёстко маршрутизируется к одному полю (hard routing). Дальше — поле запрашивается на состояниях, которые генерирует сам студент (on-policy), а не на фиксированных офлайн-траекториях. И только один запрос на семантической стороне (низкий шум), чтобы избежать коррелированных сигналов.
Результат: +8.1% на GEditBench при сохранении качества T2I, +16.1% при композиции локального и глобального редактирования.
https://arxiv.org/abs/2606.27377
OpenAI представила GeneBench-Pro — новый бенчмарк для оценки возможностей ИИ в геномике, биологии и научных исследованиях.
В отличие от стандартных тестов, GeneBench-Pro использует сложные данные из реальных исследований. Это значит, что модели теперь проверяются не на абстрактных задачах, а на том, с чем реально сталкиваются учёные.
Почему это важно? Биомедицина — одна из ключевых областей применения ИИ. Новый бенчмарк поможет честнее сравнивать модели и подтолкнёт разработчиков к улучшению именно научных возможностей. Для исследователей это сигнал: ИИ-инструменты для геномики становятся серьёзнее.
https://openai.com/index/introducing-genebench-pro
В отличие от стандартных тестов, GeneBench-Pro использует сложные данные из реальных исследований. Это значит, что модели теперь проверяются не на абстрактных задачах, а на том, с чем реально сталкиваются учёные.
Почему это важно? Биомедицина — одна из ключевых областей применения ИИ. Новый бенчмарк поможет честнее сравнивать модели и подтолкнёт разработчиков к улучшению именно научных возможностей. Для исследователей это сигнал: ИИ-инструменты для геномики становятся серьёзнее.
https://openai.com/index/introducing-genebench-pro
OpenAI
Introducing GeneBench-Pro
Introducing GeneBench-Pro, a new benchmark testing AI performance in genomics, biology, and scientific research using complex, real-world datasets.
Microsoft Research представила SkillOpt — систему, которая превращает написание инструкций для AI-агентов в полноценный процесс обучения.
Проблема: агенты часто работают нестабильно, потому что их "скиллы" (инструкции) правятся вручную без гарантии улучшения. SkillOpt решает это, обращаясь с файлом инструкций как с обучаемым параметром — но без изменения весов самой модели.
Система работает по циклу: агент выполняет задачи, отдельная модель-оптимизатор анализирует результаты, предлагает точечные правки, и только те, что реально улучшают результат на валидации, попадают в финальный файл.
Результаты впечатляют: на 52 комбинациях бенчмарков, моделей и режимов SkillOpt занял первое место везде. GPT-5.5 вырос с 58.8 до 82.3 балла в среднем по 6 бенчмаркам. Малые модели с оптимизированным скиллом обгоняют более крупные без него.
Главный бонус — скилл переносится между моделями и окружениями. Файл, обученный в Codex, поднял результат в Claude Code с 22.1 до 81.8 без дополнительной настройки.
https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
Проблема: агенты часто работают нестабильно, потому что их "скиллы" (инструкции) правятся вручную без гарантии улучшения. SkillOpt решает это, обращаясь с файлом инструкций как с обучаемым параметром — но без изменения весов самой модели.
Система работает по циклу: агент выполняет задачи, отдельная модель-оптимизатор анализирует результаты, предлагает точечные правки, и только те, что реально улучшают результат на валидации, попадают в финальный файл.
Результаты впечатляют: на 52 комбинациях бенчмарков, моделей и режимов SkillOpt занял первое место везде. GPT-5.5 вырос с 58.8 до 82.3 балла в среднем по 6 бенчмаркам. Малые модели с оптимизированным скиллом обгоняют более крупные без него.
Главный бонус — скилл переносится между моделями и окружениями. Файл, обученный в Codex, поднял результат в Claude Code с 22.1 до 81.8 без дополнительной настройки.
https://www.microsoft.com/en-us/research/blog/skillopt-agent-skills-as-trainable-parameters/
Microsoft Research
SkillOpt turns AI agent skills into trainable assets
AI agents often fail because their instructions, or skills, are manually modified with no guarantee of improvement. Learn how SkillOpt turns skill editing into a training process, making agent behavior more reliable without changing model weights:
Nvidia представила GQE — референсную архитектуру GPU-ускоренного движка SQL-запросов.
GQE использует возможности железа GB200 NVL4: высокоскоростную память HBM, NVLink-C2C и встроенный движок декомпрессии Blackwell. Система разбита на три слоя — запросов, данных и исполнения — и работает поверх библиотек cuDF, nvCOMP и CCCL.
Ключевые фишки: гибридное сжатие (алгоритмы Cascaded и LZ4 выбираются автоматически под каждую колонку), конвейерная передача данных с GPU, агрессивная обрезка партиций через zone maps.
Результат: на бенчмарке TPC-H SF1000 GQE показал ускорение в 7,5x по сравнению с лучшими CPU-базами данных, а по отдельным запросам — до 25,5x.
Для разработчиков баз данных это готовый шаблон, как перенести исполнение запросов на GPU и закрыть узкие места по пропускной способности памяти и I/O.
https://developer.nvidia.com/blog/designing-gpu-accelerated-query-engines-with-nvidia-gqe/
GQE использует возможности железа GB200 NVL4: высокоскоростную память HBM, NVLink-C2C и встроенный движок декомпрессии Blackwell. Система разбита на три слоя — запросов, данных и исполнения — и работает поверх библиотек cuDF, nvCOMP и CCCL.
Ключевые фишки: гибридное сжатие (алгоритмы Cascaded и LZ4 выбираются автоматически под каждую колонку), конвейерная передача данных с GPU, агрессивная обрезка партиций через zone maps.
Результат: на бенчмарке TPC-H SF1000 GQE показал ускорение в 7,5x по сравнению с лучшими CPU-базами данных, а по отдельным запросам — до 25,5x.
Для разработчиков баз данных это готовый шаблон, как перенести исполнение запросов на GPU и закрыть узкие места по пропускной способности памяти и I/O.
https://developer.nvidia.com/blog/designing-gpu-accelerated-query-engines-with-nvidia-gqe/
NVIDIA Technical Blog
Designing GPU-Accelerated Query Engines with NVIDIA GQE
GPU-accelerated query engines are often constrained by memory and I/O bandwidth. NVIDIA hardware advances—including high bandwidth memory (HBM), NVIDIA NVLink-C2C, and dedicated decompression engines…
VideoSearch-R1: агент, который ищет видео итеративно, уточняя запросы в латентном пространстве
Обычные видеопоисковики работают в одну сторону: запрос → топ-K видео → готово. Но что если нужное видео не попало в топ? VideoSearch-R1 решает это через многошаговый цикл: нашли видео → проверили совпадение с запросом → не то? → уточнили запрос → ищем снова.
Главная фишка — Soft Query Refinement (SQR). Вместо того чтобы переписывать запрос текстом (дорого, много токенов), модель генерирует уточнение прямо в непрерывном латентном пространстве. Эти "мягкие токены" дообучаются через InfoNCE loss, подтягивая эмбеддинг запроса ближе к нужному видео.
Всё это обучается через GRPO (RL), совместно оптимизируя и поиск видео, и временну́ю локализацию момента внутри него. SOTA на трёх бенчмарках VCMR при меньшем числе сгенерированных токенов, чем у текстового рефайнмента.
https://arxiv.org/abs/2607.00446
Обычные видеопоисковики работают в одну сторону: запрос → топ-K видео → готово. Но что если нужное видео не попало в топ? VideoSearch-R1 решает это через многошаговый цикл: нашли видео → проверили совпадение с запросом → не то? → уточнили запрос → ищем снова.
Главная фишка — Soft Query Refinement (SQR). Вместо того чтобы переписывать запрос текстом (дорого, много токенов), модель генерирует уточнение прямо в непрерывном латентном пространстве. Эти "мягкие токены" дообучаются через InfoNCE loss, подтягивая эмбеддинг запроса ближе к нужному видео.
Всё это обучается через GRPO (RL), совместно оптимизируя и поиск видео, и временну́ю локализацию момента внутри него. SOTA на трёх бенчмарках VCMR при меньшем числе сгенерированных токенов, чем у текстового рефайнмента.
https://arxiv.org/abs/2607.00446
Робот учится собирать детали с допуском 0.5 мм, сначала просто «играя» с кубиками (by Stanford University)
Точная сборка — больная тема для роботов с многопальцевыми руками: разреженная награда, богатый контакт, никакой телеоперации. Play2Perfect решает это двухэтапно.
Этап 1 — «игра»: робот учится в симуляции хватать и переориентировать случайные примитивы (кубики, цилиндры) к случайным 6D-позам. Никаких демонстраций, только RL с разнообразными объектами и траекториями.
Этап 2 — файнтюнинг: берём CAD-сборку, автоматически генерируем спарс-награду через «разборку в обратном порядке» и дообучаем политику на конкретной задаче.
Ключевой вывод: важно, чтобы во время игры робот учился именно манипуляции пальцами, а не просто двигал руку с фиксированным хватом. Результат — x33 по sample efficiency против RL с нуля и 60% успеха на вставке с зазором 0.5 мм в реале.
https://arxiv.org/abs/2606.26428
Точная сборка — больная тема для роботов с многопальцевыми руками: разреженная награда, богатый контакт, никакой телеоперации. Play2Perfect решает это двухэтапно.
Этап 1 — «игра»: робот учится в симуляции хватать и переориентировать случайные примитивы (кубики, цилиндры) к случайным 6D-позам. Никаких демонстраций, только RL с разнообразными объектами и траекториями.
Этап 2 — файнтюнинг: берём CAD-сборку, автоматически генерируем спарс-награду через «разборку в обратном порядке» и дообучаем политику на конкретной задаче.
Ключевой вывод: важно, чтобы во время игры робот учился именно манипуляции пальцами, а не просто двигал руку с фиксированным хватом. Результат — x33 по sample efficiency против RL с нуля и 60% успеха на вставке с зазором 0.5 мм в реале.
https://arxiv.org/abs/2606.26428
Next-State-Prediction как новая парадигма для общего ИИ
Пока все делают Next-Token или Next-Frame Prediction, авторы Orca предлагают Next-State-Prediction — обучать модель предсказывать латентные состояния мира, а не токены или пиксели.
Два режима обучения: "бессознательное" (смотришь видео и предсказываешь следующий кадр в латентном пространстве без разметки) и "сознательное" (с текстовыми инструкциями предсказываешь состояние после события). Итог — единое латентное пространство мира, из которого потом легковесными декодерами читают текст, картинки и действия робота.
Ключевая идея: backbone замораживается после претрейна, а все downstream-задачи решаются маленькими readout-модулями. Обучались на 125K часов видео и 160M аннотаций событий. Масштабирование работает — чем больше модель и данных, тем лучше все три типа readout.
https://arxiv.org/abs/2606.30534
Пока все делают Next-Token или Next-Frame Prediction, авторы Orca предлагают Next-State-Prediction — обучать модель предсказывать латентные состояния мира, а не токены или пиксели.
Два режима обучения: "бессознательное" (смотришь видео и предсказываешь следующий кадр в латентном пространстве без разметки) и "сознательное" (с текстовыми инструкциями предсказываешь состояние после события). Итог — единое латентное пространство мира, из которого потом легковесными декодерами читают текст, картинки и действия робота.
Ключевая идея: backbone замораживается после претрейна, а все downstream-задачи решаются маленькими readout-модулями. Обучались на 125K часов видео и 160M аннотаций событий. Масштабирование работает — чем больше модель и данных, тем лучше все три типа readout.
https://arxiv.org/abs/2606.30534
Nvidia Tech оптимизировала нейронный пайплайн NuRec с помощью инструментов Nsight.
NuRec — это система для создания цифровых двойников реальных сцен из данных камер и лидаров, используется в разработке автономных автомобилей и робототехники. Проблема: реконструкция даже коротких записей занимала от часа до нескольких часов.
Что сделали: профилировали код через Nsight Systems и Nsight Compute, нашли узкие места — множество мелких GPU-ядер, лишние точки синхронизации и недозагруженность GPU (всего 15% occupancy).
Результат: функция interpolate ускорена почти в 50 раз (с 4,1 мс до 83 мкс) за счёт слияния ядер в одно. После удаления лишних синхронизаций GPU-загрузка стала компактной. Occupancy тяжёлых ядер выросла с 15% до 30–50%, время их выполнения сократилось вдвое.
Цель — довести реконструкцию 30-секундной записи до 30 секунд в реальном времени.
https://developer.nvidia.com/blog/optimizing-a-neural-reconstruction-pipeline-using-nvidia-nsight-developer-tools/
NuRec — это система для создания цифровых двойников реальных сцен из данных камер и лидаров, используется в разработке автономных автомобилей и робототехники. Проблема: реконструкция даже коротких записей занимала от часа до нескольких часов.
Что сделали: профилировали код через Nsight Systems и Nsight Compute, нашли узкие места — множество мелких GPU-ядер, лишние точки синхронизации и недозагруженность GPU (всего 15% occupancy).
Результат: функция interpolate ускорена почти в 50 раз (с 4,1 мс до 83 мкс) за счёт слияния ядер в одно. После удаления лишних синхронизаций GPU-загрузка стала компактной. Occupancy тяжёлых ядер выросла с 15% до 30–50%, время их выполнения сократилось вдвое.
Цель — довести реконструкцию 30-секундной записи до 30 секунд в реальном времени.
https://developer.nvidia.com/blog/optimizing-a-neural-reconstruction-pipeline-using-nvidia-nsight-developer-tools/
NVIDIA Technical Blog
Optimizing a Neural Reconstruction Pipeline Using NVIDIA Nsight Developer Tools
NVIDIA Omniverse NuRec is a neural reconstruction pipeline for building high-fidelity 3D representations of real-world environments from multisensor data such as cameras and lidar. It is used to…
Nvidia представила архитектуру управления автономными AI-агентами в корпоративной среде.
Компания выпустила Secure Agent Workspace Reference Design — эталонный дизайн для безопасного запуска агентов в корпоративных AI-фабриках. Суть: устройство пользователя служит только интерфейсом, а реальная работа агентов происходит в изолированной управляемой среде.
Что это даёт: каждый сотрудник получает отдельную виртуальную машину, агент работает только с одобренными сервисами, а любое серьёзное действие — слияние кода, изменение задач — требует подтверждения человека. Секреты и пароли агент не видит напрямую, всё идёт через защищённый прокси. Все логи централизованы и готовы к аудиту.
Поддерживаются Red Hat OpenShift (on-prem) и Microsoft Azure (облако). Решение ориентировано на компании, которые хотят дать сотрудникам доступ к мощным AI-агентам, не теряя контроль над корпоративными данными.
https://developer.nvidia.com/blog/how-to-govern-autonomous-agents-in-enterprise-ai-factories/
Компания выпустила Secure Agent Workspace Reference Design — эталонный дизайн для безопасного запуска агентов в корпоративных AI-фабриках. Суть: устройство пользователя служит только интерфейсом, а реальная работа агентов происходит в изолированной управляемой среде.
Что это даёт: каждый сотрудник получает отдельную виртуальную машину, агент работает только с одобренными сервисами, а любое серьёзное действие — слияние кода, изменение задач — требует подтверждения человека. Секреты и пароли агент не видит напрямую, всё идёт через защищённый прокси. Все логи централизованы и готовы к аудиту.
Поддерживаются Red Hat OpenShift (on-prem) и Microsoft Azure (облако). Решение ориентировано на компании, которые хотят дать сотрудникам доступ к мощным AI-агентам, не теряя контроль над корпоративными данными.
https://developer.nvidia.com/blog/how-to-govern-autonomous-agents-in-enterprise-ai-factories/
NVIDIA Technical Blog
How to Govern Autonomous Agents in Enterprise AI Factories
AI agents are quickly moving beyond chat. They inspect code, run tests, read documents, search knowledge bases, query internal systems, and operate for hours on behalf of a user.
PyTorch: RadixArk выпустила Miles — фреймворк для RL-дообучения больших языковых моделей
Miles решает реальную боль: обучение с подкреплением для LLM — это уже не просто цикл обучения, а полноценная задача распределённых систем. Фреймворк объединяет SGLang для генерации, Megatron-LM для обучения и Ray для оркестрации, держа PyTorch как общий слой.
Что внутри: быстрая синхронизация весов через NCCL/RDMA, поддержка MoE-моделей (DeepSeek-V3/V4, Qwen3), low-precision рецепты, fault tolerance и асинхронный режим — rollout и обучение больше не блокируют друг друга.
Главная идея — маленькое ядро с подключаемыми модулями: логику роллаута, функции вознаграждения, лоссы и хуки можно менять без форка фреймворка.
Для исследователей и ML-инфраструктурных команд, работающих с frontier-моделями на кластерах Blackwell/Hopper, это готовая база вместо написания всего с нуля.
Проект открытый, на GitHub.
https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training/
Miles решает реальную боль: обучение с подкреплением для LLM — это уже не просто цикл обучения, а полноценная задача распределённых систем. Фреймворк объединяет SGLang для генерации, Megatron-LM для обучения и Ray для оркестрации, держа PyTorch как общий слой.
Что внутри: быстрая синхронизация весов через NCCL/RDMA, поддержка MoE-моделей (DeepSeek-V3/V4, Qwen3), low-precision рецепты, fault tolerance и асинхронный режим — rollout и обучение больше не блокируют друг друга.
Главная идея — маленькое ядро с подключаемыми модулями: логику роллаута, функции вознаграждения, лоссы и хуки можно менять без форка фреймворка.
Для исследователей и ML-инфраструктурных команд, работающих с frontier-моделями на кластерах Blackwell/Hopper, это готовая база вместо написания всего с нуля.
Проект открытый, на GitHub.
https://pytorch.org/blog/miles-a-pytorch-native-stack-for-large-scale-llm-rl-post-training/