Nvidia Tech выпустила связку Hermes Agent + NVIDIA NemoClaw — открытый стек для самообучающихся AI-агентов, которые работают с корпоративными данными без риска утечки.
Что умеет: агент подключается к Slack, Outlook и GitHub, учится на предпочтениях пользователя и сохраняет новые навыки в виде файлов-скиллов. Однажды показал нужный формат ответа — запомнит его навсегда, даже после перезапуска.
Главная фишка — безопасность. NVIDIA OpenShell изолирует агента в песочнице: он не видит токены авторизации и не может выйти в интернет. Сетевая политика прописана в коде, а не в промпте — обойти нельзя.
Почему важно: это рабочий паттерн для смешивания внутренних и публичных данных без угрозы утечки. Подходит для продаж, поддержки, инженерного триажа и конкурентного анализа.
Стек открытый, поднимается одной командой.
https://developer.nvidia.com/blog/deploy-self-evolving-agents-for-faster-more-secure-research-with-a-hermes-agent-and-nvidia-nemoclaw/
Что умеет: агент подключается к Slack, Outlook и GitHub, учится на предпочтениях пользователя и сохраняет новые навыки в виде файлов-скиллов. Однажды показал нужный формат ответа — запомнит его навсегда, даже после перезапуска.
Главная фишка — безопасность. NVIDIA OpenShell изолирует агента в песочнице: он не видит токены авторизации и не может выйти в интернет. Сетевая политика прописана в коде, а не в промпте — обойти нельзя.
Почему важно: это рабочий паттерн для смешивания внутренних и публичных данных без угрозы утечки. Подходит для продаж, поддержки, инженерного триажа и конкурентного анализа.
Стек открытый, поднимается одной командой.
https://developer.nvidia.com/blog/deploy-self-evolving-agents-for-faster-more-secure-research-with-a-hermes-agent-and-nvidia-nemoclaw/
NVIDIA Technical Blog
Deploy Self-Evolving Agents for Faster, More Secure Research with a Hermes Agent and NVIDIA NemoClaw
AI agents are a powerful tool for synthesizing data to accelerate research, summarize information, and help teams make decisions faster. But combining internal data with public sources poses security…
Nvidia представила процессор Vera CPU — специально разработанный для агентных ИИ-задач.
Суть в том, что современные ИИ-агенты всё больше нагружают именно CPU: запуск кода в песочницах, вызов инструментов, обработка данных, оркестрация задач. GPU ждут, пока процессор не закончит свою часть работы — и это становится узким местом.
Vera CPU построен на 88 ядрах Olympus с пропускной способностью памяти до 1,2 ТБ/с. По сравнению с предыдущим поколением Grace — прирост IPC до 50%. В реальных агентных нагрузках под полной загрузкой Vera показывает более чем 1,8x производительности относительно конкурентов.
Отдельный плюс — энергоэффективность: память потребляет менее 30 Вт против 100+ Вт у стандартных DDR5-конфигураций. TDP настраивается от 250 до 450 Вт.
Для ИИ-фабрик это означает больше завершённых агентных задач, быстрее обученные модели и меньшие счета за электричество.
https://developer.nvidia.com/blog/nvidia-vera-cpu-sets-a-new-standard-for-agentic-workloads-in-ai-factories/
Суть в том, что современные ИИ-агенты всё больше нагружают именно CPU: запуск кода в песочницах, вызов инструментов, обработка данных, оркестрация задач. GPU ждут, пока процессор не закончит свою часть работы — и это становится узким местом.
Vera CPU построен на 88 ядрах Olympus с пропускной способностью памяти до 1,2 ТБ/с. По сравнению с предыдущим поколением Grace — прирост IPC до 50%. В реальных агентных нагрузках под полной загрузкой Vera показывает более чем 1,8x производительности относительно конкурентов.
Отдельный плюс — энергоэффективность: память потребляет менее 30 Вт против 100+ Вт у стандартных DDR5-конфигураций. TDP настраивается от 250 до 450 Вт.
Для ИИ-фабрик это означает больше завершённых агентных задач, быстрее обученные модели и меньшие счета за электричество.
https://developer.nvidia.com/blog/nvidia-vera-cpu-sets-a-new-standard-for-agentic-workloads-in-ai-factories/
NVIDIA Technical Blog
NVIDIA Vera CPU Sets a New Standard for Agentic Workloads in AI Factories
Each wave of AI has created a new scaling law. Pretraining scaled intelligence through larger datasets, more parameters, and massively parallel GPU systems. Post-training scaled usefulness through…
Видео на 24 часа без сбоев — это реально?
Авторы решили главную боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а RoPE-индексы вылетают за пределы обучения и всё ломается. Решение — Echo-Infinity.
Два ключевых трюка:
1. Обучаемые Memory Queries — набор токенов, которые играют роль долговременной памяти. Когда старые фреймы вытесняются из окна, queries обновляются через cross-attention по вытесненным KV-кэшам + sigmoid-гейт фильтрует лишнее. Память фиксированного размера, независимо от длины видео.
2. Unified Relative RoPE — одна и та же схема относительных позиционных индексов и при обучении, и при инференсе. Никакого train-test mismatch, никакого переполнения.
Результат: генерация >1.3M кадров (24 часа!) в реальном времени на одном H100 при 18.5 FPS и всего +10.6% overhead к baseline без памяти.
https://arxiv.org/abs/2606.04527
Авторы решили главную боль авторегрессивной генерации видео: KV-кэш растёт бесконечно, а RoPE-индексы вылетают за пределы обучения и всё ломается. Решение — Echo-Infinity.
Два ключевых трюка:
1. Обучаемые Memory Queries — набор токенов, которые играют роль долговременной памяти. Когда старые фреймы вытесняются из окна, queries обновляются через cross-attention по вытесненным KV-кэшам + sigmoid-гейт фильтрует лишнее. Память фиксированного размера, независимо от длины видео.
2. Unified Relative RoPE — одна и та же схема относительных позиционных индексов и при обучении, и при инференсе. Никакого train-test mismatch, никакого переполнения.
Результат: генерация >1.3M кадров (24 часа!) в реальном времени на одном H100 при 18.5 FPS и всего +10.6% overhead к baseline без памяти.
https://arxiv.org/abs/2606.04527
🔥1
Маленькая модель, которая не «помнит» лишнего — и именно поэтому лучше больших
Когда LLM отвечает на вопрос, она часто игнорирует контекст и лезет в свою «память». Для RAG-систем это катастрофа. Авторы OCC-RAG решили проблему радикально: обучили маленькие модели (0.6B и 1.7B) специально на три свойства — многошаговый вывод по контексту, избегание меморизации и отказ отвечать при недостатке информации.
Как: взяли базовые Qwen3-0.6B/1.7B, сгенерировали 3M+ синтетических QA-примеров с явными reasoning-трейсами и цитатами из контекста, добавили «неотвечаемые» примеры для обучения abstention.
Результат: OCC-RAG-0.6B обходит Qwen3-1.7B (в 2.8 раза больше) на +9.5 пунктов по faithfulness и превосходит Pleias-RAG-1.2B на +21.6 на MuSiQue. Модели в 2–6 раз меньше конкурентов, но точнее следуют контексту.
Ключевой инсайт: специализация важнее масштаба, если задача конкретная.
https://arxiv.org/abs/2606.00683
Когда LLM отвечает на вопрос, она часто игнорирует контекст и лезет в свою «память». Для RAG-систем это катастрофа. Авторы OCC-RAG решили проблему радикально: обучили маленькие модели (0.6B и 1.7B) специально на три свойства — многошаговый вывод по контексту, избегание меморизации и отказ отвечать при недостатке информации.
Как: взяли базовые Qwen3-0.6B/1.7B, сгенерировали 3M+ синтетических QA-примеров с явными reasoning-трейсами и цитатами из контекста, добавили «неотвечаемые» примеры для обучения abstention.
Результат: OCC-RAG-0.6B обходит Qwen3-1.7B (в 2.8 раза больше) на +9.5 пунктов по faithfulness и превосходит Pleias-RAG-1.2B на +21.6 на MuSiQue. Модели в 2–6 раз меньше конкурентов, но точнее следуют контексту.
Ключевой инсайт: специализация важнее масштаба, если задача конкретная.
https://arxiv.org/abs/2606.00683
🔥2
Нейронаука встречает причинно-следственный анализ: 70% "открытий" о мозге оказались ложными (by MIT)
Классический подход в нейронауке: найди зону мозга, которая сильно активируется на кошек — значит, она "представляет" кошек. Но что если она реагирует на фон, цвет или позу, а не на саму концепцию?
MIT представили BrainCause — фреймворк, который проверяет причинность, а не просто корреляцию. Идея: для каждой концепции генерируются три типа стимулов — позитивные изображения, семантические негативы (похожие, но другие концепции) и контрфактуалы (то же изображение, но концепция убрана). Затем предсказываются ответы мозга через fMRI-энкодер.
Результат шокирует: более 70% зон, найденных активационными методами — ложные срабатывания. Из 260 проверенных концептов BrainCause надёжно подтвердил представления лиц, тел, мест, рук, еды, инструментов и социальных взаимодействий.
https://arxiv.org/abs/2605.23895
Классический подход в нейронауке: найди зону мозга, которая сильно активируется на кошек — значит, она "представляет" кошек. Но что если она реагирует на фон, цвет или позу, а не на саму концепцию?
MIT представили BrainCause — фреймворк, который проверяет причинность, а не просто корреляцию. Идея: для каждой концепции генерируются три типа стимулов — позитивные изображения, семантические негативы (похожие, но другие концепции) и контрфактуалы (то же изображение, но концепция убрана). Затем предсказываются ответы мозга через fMRI-энкодер.
Результат шокирует: более 70% зон, найденных активационными методами — ложные срабатывания. Из 260 проверенных концептов BrainCause надёжно подтвердил представления лиц, тел, мест, рук, еды, инструментов и социальных взаимодействий.
https://arxiv.org/abs/2605.23895
OpenAI представила GPT-Rosalind — специализированную модель для исследований в области биологических наук.
Что нового: улучшенное биологическое мышление, экспертиза в медицинской химии, анализ геномики и поддержка экспериментальных рабочих процессов.
Почему важно: это не универсальный ИИ, а заточенный инструмент для учёных. Модель понимает специфику лабораторных задач — от разработки лекарств до расшифровки генетических данных.
Для пользователей: исследователи получают помощника, который говорит на языке науки — помогает планировать эксперименты, анализировать геномные последовательности и работать с молекулярными структурами. Это может серьёзно ускорить разработки в фармацевтике и биотехе.
https://openai.com/index/introducing-new-capabilities-to-gpt-rosalind
Что нового: улучшенное биологическое мышление, экспертиза в медицинской химии, анализ геномики и поддержка экспериментальных рабочих процессов.
Почему важно: это не универсальный ИИ, а заточенный инструмент для учёных. Модель понимает специфику лабораторных задач — от разработки лекарств до расшифровки генетических данных.
Для пользователей: исследователи получают помощника, который говорит на языке науки — помогает планировать эксперименты, анализировать геномные последовательности и работать с молекулярными структурами. Это может серьёзно ускорить разработки в фармацевтике и биотехе.
https://openai.com/index/introducing-new-capabilities-to-gpt-rosalind
OpenAI
Introducing new capabilities to GPT-Rosalind
GPT-Rosalind advances life sciences research with enhanced biological reasoning, medicinal chemistry expertise, genomics analysis, and experimental workflow capabilities.
Amazon Science: как правильно проверять факты в AI-отчётах
Команда Amazon AGI столкнулась с неожиданной проблемой: прежде чем научить ИИ проверять факты в длинных исследовательских отчётах, нужно было создать надёжный эталон для оценки самого проверщика.
Оказалось, что эксперты с учёными степенями справлялись с разметкой данных лишь на 60,8% — задача слишком когнитивно сложная. Тогда исследователи предложили протокол audit-then-score: когда ИИ не соглашается с человеческой оценкой, он обязан предоставить доказательства и аргументы. Эксперт не создаёт разметку с нуля, а сравнивает два конкретных случая — это гораздо проще.
Результат: точность выросла с 60,8% до 90,9% за четыре раунда. Система DeepFact-Eval достигла 83,4% против 58,5% у лучших традиционных фактчекеров.
Главный вывод: эталонные датасеты не могут быть статичными — оценка ИИ должна стать живым процессом с постоянным пересмотром и сотрудничеством людей и моделей.
https://www.amazon.science/blog/ground-truth-is-a-process-not-a-dataset
Команда Amazon AGI столкнулась с неожиданной проблемой: прежде чем научить ИИ проверять факты в длинных исследовательских отчётах, нужно было создать надёжный эталон для оценки самого проверщика.
Оказалось, что эксперты с учёными степенями справлялись с разметкой данных лишь на 60,8% — задача слишком когнитивно сложная. Тогда исследователи предложили протокол audit-then-score: когда ИИ не соглашается с человеческой оценкой, он обязан предоставить доказательства и аргументы. Эксперт не создаёт разметку с нуля, а сравнивает два конкретных случая — это гораздо проще.
Результат: точность выросла с 60,8% до 90,9% за четыре раунда. Система DeepFact-Eval достигла 83,4% против 58,5% у лучших традиционных фактчекеров.
Главный вывод: эталонные датасеты не могут быть статичными — оценка ИИ должна стать живым процессом с постоянным пересмотром и сотрудничеством людей и моделей.
https://www.amazon.science/blog/ground-truth-is-a-process-not-a-dataset
Amazon Science
Ground truth is a process, not a dataset
Automatically fact-checking long, AI-generated research reports poses new challenges — including benchmarking.
PyTorch / DeepSpeed: поддержка оптимизатора Muon
DeepSpeed теперь поддерживает Muon — оптимизатор, который активно вытесняет AdamW в крупных лабораториях. Его уже используют Kimi-K2 (1T параметров), GLM-5 (744B) и DeepSeek-V4 (1.6T).
Что такое Muon? Вместо двух буферов момента (как у Adam) он использует один, плюс ортогонализирует матрицу градиентов через итерации Ньютона-Шульца. Результат: на 35% быстрее AdamW в бенчмарках NanoGPT, а модель на 1.5B параметров достигает уровня GPT-2 XL на 25% быстрее.
Что это даёт пользователям: экономия памяти ~9% на GPU (около 3 ГБ для Qwen2.5-3B), лучшая сходимость на задачах рассуждения и кода. Muon работает только для 2D-весов, остальные параметры автоматически используют AdamW.
ZeRO Stage 2 и 3 уже поддерживаются. В планах: CPU offloading и MuonClip — вариант из Kimi-K2.
https://pytorch.org/blog/using-muon-optimizer-with-deepspeed/
DeepSpeed теперь поддерживает Muon — оптимизатор, который активно вытесняет AdamW в крупных лабораториях. Его уже используют Kimi-K2 (1T параметров), GLM-5 (744B) и DeepSeek-V4 (1.6T).
Что такое Muon? Вместо двух буферов момента (как у Adam) он использует один, плюс ортогонализирует матрицу градиентов через итерации Ньютона-Шульца. Результат: на 35% быстрее AdamW в бенчмарках NanoGPT, а модель на 1.5B параметров достигает уровня GPT-2 XL на 25% быстрее.
Что это даёт пользователям: экономия памяти ~9% на GPU (около 3 ГБ для Qwen2.5-3B), лучшая сходимость на задачах рассуждения и кода. Muon работает только для 2D-весов, остальные параметры автоматически используют AdamW.
ZeRO Stage 2 и 3 уже поддерживаются. В планах: CPU offloading и MuonClip — вариант из Kimi-K2.
https://pytorch.org/blog/using-muon-optimizer-with-deepspeed/
3DGS без привязки к пикселям — в 6 раз меньше гауссиан, качество лучше (by ETH Zurich)
Стандартные feed-forward методы 3D Gaussian Splatting привязывают каждую гауссиану к пикселю: плоская стена и детальный объект получают одинаковый бюджет, а перекрывающиеся виды дублируют одни и те же поверхности.
ZipSplat ломает эту логику. Вместо пикселей — компактные scene tokens: мультивью-бэкбон извлекает визуальные токены, k-means в пространстве признаков сжимает их до K кластеров, cross- и self-attention уточняют, MLP декодирует каждый токен в группу гауссиан со свободными 3D-позициями.
Ключевые плюсы: гауссианы концентрируются там, где геометрия сложная; дубликаты из перекрывающихся видов сливаются автоматически; один обученный model покрывает весь диапазон quality–efficiency через один параметр r во время инференса.
Результат: SOTA на DL3DV и RealEstate10K при 6× меньшем числе гауссиан, чем у pixel-aligned методов.
https://arxiv.org/abs/2606.05102
Стандартные feed-forward методы 3D Gaussian Splatting привязывают каждую гауссиану к пикселю: плоская стена и детальный объект получают одинаковый бюджет, а перекрывающиеся виды дублируют одни и те же поверхности.
ZipSplat ломает эту логику. Вместо пикселей — компактные scene tokens: мультивью-бэкбон извлекает визуальные токены, k-means в пространстве признаков сжимает их до K кластеров, cross- и self-attention уточняют, MLP декодирует каждый токен в группу гауссиан со свободными 3D-позициями.
Ключевые плюсы: гауссианы концентрируются там, где геометрия сложная; дубликаты из перекрывающихся видов сливаются автоматически; один обученный model покрывает весь диапазон quality–efficiency через один параметр r во время инференса.
Результат: SOTA на DL3DV и RealEstate10K при 6× меньшем числе гауссиан, чем у pixel-aligned методов.
https://arxiv.org/abs/2606.05102
Одна модель на 5B параметров вместо 13B+ для генерации и редактирования видео
LoomVideo от Peking University решает главную боль unified video-моделей: когда хочешь редактировать видео, надо подавать исходное видео как условие. Обычно это делают конкатенацией токенов — и длина последовательности удваивается, а вычисления в self-attention растут в 4 раза.
Авторы придумали Scale-and-Add: просто масштабируй латент исходного видео на текущий timestep и прибавляй к зашумлённому целевому латенту. Ноль лишних токенов, зато работает даже для сложных нежёстких правок (смена позы, ракурса камеры).
Ещё два трюка: Deepstack injection — фичи извлекаются из каждого слоя Qwen3-VL и инжектируются в соответствующие слои DiT через cross-attention. И Negative Temporal RoPE — специальные индексы позиционного кодирования для референсных изображений, чтобы они не путались с кадрами видео.
Итог: ускорение инференса в 5.4× по сравнению с конкурентами при сопоставимом качестве.
https://arxiv.org/abs/2606.06042
LoomVideo от Peking University решает главную боль unified video-моделей: когда хочешь редактировать видео, надо подавать исходное видео как условие. Обычно это делают конкатенацией токенов — и длина последовательности удваивается, а вычисления в self-attention растут в 4 раза.
Авторы придумали Scale-and-Add: просто масштабируй латент исходного видео на текущий timestep и прибавляй к зашумлённому целевому латенту. Ноль лишних токенов, зато работает даже для сложных нежёстких правок (смена позы, ракурса камеры).
Ещё два трюка: Deepstack injection — фичи извлекаются из каждого слоя Qwen3-VL и инжектируются в соответствующие слои DiT через cross-attention. И Negative Temporal RoPE — специальные индексы позиционного кодирования для референсных изображений, чтобы они не путались с кадрами видео.
Итог: ускорение инференса в 5.4× по сравнению с конкурентами при сопоставимом качестве.
https://arxiv.org/abs/2606.06042
Видео с химическими опытами учит модели рассуждать, а не просто смотреть
Большинство датасетов для видеопонимания — это бытовые сцены: спорт, готовка, прогулки. Модели отлично распознают действия, но пасуют, когда нужно объяснить, почему в пробирке выделяется газ или что показывает термометр.
VideoKR — первый большой обучающий корпус, заточенный под знания и рассуждения. Авторы собрали 145K CC-licensed видео по 82 профессиональным дисциплинам (химия, инженерия, финансы и др.), причём средняя длина видео — 344 секунды против 37 секунд у конкурентов.
Ключевая идея: skill-oriented генерация данных. Каждый пример привязан к одному из трёх навыков — базовое восприятие, восприятие с опорой на знания, рассуждение с опорой на знания. Плюс строгий контроль качества с участием экспертов.
Результат: Qwen2.5-VL-7B, дообученный на VideoKR, обходит все предыдущие подходы на knowledge-intensive бенчмарках — без каких-либо алгоритмических трюков, только данные.
https://arxiv.org/abs/2606.05259
Большинство датасетов для видеопонимания — это бытовые сцены: спорт, готовка, прогулки. Модели отлично распознают действия, но пасуют, когда нужно объяснить, почему в пробирке выделяется газ или что показывает термометр.
VideoKR — первый большой обучающий корпус, заточенный под знания и рассуждения. Авторы собрали 145K CC-licensed видео по 82 профессиональным дисциплинам (химия, инженерия, финансы и др.), причём средняя длина видео — 344 секунды против 37 секунд у конкурентов.
Ключевая идея: skill-oriented генерация данных. Каждый пример привязан к одному из трёх навыков — базовое восприятие, восприятие с опорой на знания, рассуждение с опорой на знания. Плюс строгий контроль качества с участием экспертов.
Результат: Qwen2.5-VL-7B, дообученный на VideoKR, обходит все предыдущие подходы на knowledge-intensive бенчмарках — без каких-либо алгоритмических трюков, только данные.
https://arxiv.org/abs/2606.05259
NVIDIA выпустила Nemotron 3 Ultra — мощную модель для долгосрочных агентов
NVIDIA представила Nemotron 3 Ultra: 550B-параметровую модель типа Mixture-of-Experts с 55B активными параметрами. Она создана специально для сложных агентных систем, где задачи выполняются в десятки и сотни шагов.
Что нового: гибридная архитектура Mamba-Transformer для длинного контекста, квантизация NVFP4 с поддержкой Hopper, Blackwell и Ampere, технология LatentMoE для умной маршрутизации между экспертами. Всё это даёт до 5x прироста скорости и снижает стоимость агентных задач на 30%.
Обучение велось с помощью Multi-Teacher Distillation — более 10 специализированных учителей прокачивали модель по разным доменам. Дополнительно добавлено 212B токенов: юридические данные, Wikipedia, свежий GitHub.
Для разработчиков: веса, рецепты обучения и данные открыты. Модель поддерживает LoRA, SFT и RL-файнтюнинг. Это важно для тех, кто строит корпоративных или суверенных AI-агентов.
https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/
NVIDIA представила Nemotron 3 Ultra: 550B-параметровую модель типа Mixture-of-Experts с 55B активными параметрами. Она создана специально для сложных агентных систем, где задачи выполняются в десятки и сотни шагов.
Что нового: гибридная архитектура Mamba-Transformer для длинного контекста, квантизация NVFP4 с поддержкой Hopper, Blackwell и Ampere, технология LatentMoE для умной маршрутизации между экспертами. Всё это даёт до 5x прироста скорости и снижает стоимость агентных задач на 30%.
Обучение велось с помощью Multi-Teacher Distillation — более 10 специализированных учителей прокачивали модель по разным доменам. Дополнительно добавлено 212B токенов: юридические данные, Wikipedia, свежий GitHub.
Для разработчиков: веса, рецепты обучения и данные открыты. Модель поддерживает LoRA, SFT и RL-файнтюнинг. Это важно для тех, кто строит корпоративных или суверенных AI-агентов.
https://developer.nvidia.com/blog/nvidia-nemotron-3-ultra-powers-faster-more-efficient-reasoning-for-long-running-agents/
NVIDIA Technical Blog
NVIDIA Nemotron 3 Ultra Powers Faster, More Efficient Reasoning for Long-Running Agents
Single-turn chatbots are evolving into long-running agents that can reason, maintain context, use tools, and run efficiently across many turns to complete complex workflows. However…
Знание о репозитории — в веса модели, а не в контекст!
RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.
Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!
Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.
Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.
https://arxiv.org/abs/2606.06492
RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.
Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!
Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.
Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.
https://arxiv.org/abs/2606.06492
Умеет ли языковая модель играть Гарри Поттера из книги 1 иначе, чем из книги 5?
Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?
Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.
Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.
https://arxiv.org/abs/2606.05553
Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?
Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.
Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.
https://arxiv.org/abs/2606.05553
LLM-агент, который сам находит проблемы — до того, как вы их заметили (by KAIST AI)
Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?
TIDE делает именно это. Два ключевых механизма:
1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.
2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.
На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.
Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.
https://arxiv.org/abs/2606.04743
Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?
TIDE делает именно это. Два ключевых механизма:
1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.
2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.
На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.
Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.
https://arxiv.org/abs/2606.04743
Как проверить, умеет ли LLM-агент планировать в реальном мире?
Реальные задачи редко бывают без ограничений. Инструмент сломан, пользователь не любит использовать фен — агент должен это учитывать. Но большинство бенчмарков тестируют либо ограничения мира, либо предпочтения пользователя — но не оба сразу.
Авторы из UIUC представили AdaPlanBench: агент получает задачу (например, "высушить мяч"), предлагает план, и только когда нарушает скрытое ограничение — узнаёт о нём. Затем должен перепланировать. Ограничения раскрываются постепенно, по мере ошибок.
307 бытовых задач, у каждой — автоматически сгенерированные мировые ограничения (нет полотенца дома) и пользовательские (не люблю вентиляторы). Результат: лучшая модель набирает лишь 67.75%, open-source модели — ниже 30%. Явное отслеживание ограничений почти не помогает.
https://arxiv.org/abs/2606.05622
Реальные задачи редко бывают без ограничений. Инструмент сломан, пользователь не любит использовать фен — агент должен это учитывать. Но большинство бенчмарков тестируют либо ограничения мира, либо предпочтения пользователя — но не оба сразу.
Авторы из UIUC представили AdaPlanBench: агент получает задачу (например, "высушить мяч"), предлагает план, и только когда нарушает скрытое ограничение — узнаёт о нём. Затем должен перепланировать. Ограничения раскрываются постепенно, по мере ошибок.
307 бытовых задач, у каждой — автоматически сгенерированные мировые ограничения (нет полотенца дома) и пользовательские (не люблю вентиляторы). Результат: лучшая модель набирает лишь 67.75%, open-source модели — ниже 30%. Явное отслеживание ограничений почти не помогает.
https://arxiv.org/abs/2606.05622
Робот в доме: помочь или уважить приватность?
Представьте: пожилая женщина с трудом идёт в ванную. Робот может подойти и помочь, позвать мужа или просто держаться рядом. Каждый вариант правильный — но они противоречат друг другу по ценностям. Существующие бенчмарки для роботов меряют только успех задачи, но не то, как робот выбирает между безопасностью, автономией и приватностью человека.
Авторы из Seoul National University предлагают RobotValues — бенчмарк из 10K реалистичных сценариев для оценки VLM-роботов в ситуациях конфликта ценностей. Данные генерировались автоматически с привязкой к демографике из World Values Survey (64 страны). Ценности аннотируются не напрямую, а через реакции стейкхолдеров на каждое действие.
Результат: модели по умолчанию предпочитают безопасность и услужливость в ущерб приватности. А если попросить модель приоритизировать другую ценность — точность падает на 30+ процентных пунктов.
https://arxiv.org/abs/2606.03312
Представьте: пожилая женщина с трудом идёт в ванную. Робот может подойти и помочь, позвать мужа или просто держаться рядом. Каждый вариант правильный — но они противоречат друг другу по ценностям. Существующие бенчмарки для роботов меряют только успех задачи, но не то, как робот выбирает между безопасностью, автономией и приватностью человека.
Авторы из Seoul National University предлагают RobotValues — бенчмарк из 10K реалистичных сценариев для оценки VLM-роботов в ситуациях конфликта ценностей. Данные генерировались автоматически с привязкой к демографике из World Values Survey (64 страны). Ценности аннотируются не напрямую, а через реакции стейкхолдеров на каждое действие.
Результат: модели по умолчанию предпочитают безопасность и услужливость в ущерб приватности. А если попросить модель приоритизировать другую ценность — точность падает на 30+ процентных пунктов.
https://arxiv.org/abs/2606.03312
RL учит модель читать грамматику — и переводить языки, которых она никогда не видела
Перевести текст на язык, которого нет в обучающих данных — казалось бы, невозможно. Но исследователи из Университета Цюриха показали: если обучить LLM через RL с наградой за качество перевода (chrF), модель приобретает мета-навык — умение извлекать смысл из грамматик и словарей прямо в контексте.
Идея: вместо того чтобы запоминать конкретный язык, модель учится рассуждать над лингвистическими описаниями. Контекст — это грамматика + словарь, награда — качество перевода. SFT на тех же данных переобучается на тренировочных языках, а RL обобщается на новые.
Эксперименты на 14 малоресурсных языках (Kalamang, Japhug, Ulwa и др.) подтверждают: RL реально улучшает перевод unseen языков, тогда как файнтюнинг — нет.
https://arxiv.org/abs/2606.06428
Перевести текст на язык, которого нет в обучающих данных — казалось бы, невозможно. Но исследователи из Университета Цюриха показали: если обучить LLM через RL с наградой за качество перевода (chrF), модель приобретает мета-навык — умение извлекать смысл из грамматик и словарей прямо в контексте.
Идея: вместо того чтобы запоминать конкретный язык, модель учится рассуждать над лингвистическими описаниями. Контекст — это грамматика + словарь, награда — качество перевода. SFT на тех же данных переобучается на тренировочных языках, а RL обобщается на новые.
Эксперименты на 14 малоресурсных языках (Kalamang, Japhug, Ulwa и др.) подтверждают: RL реально улучшает перевод unseen языков, тогда как файнтюнинг — нет.
https://arxiv.org/abs/2606.06428
Новый датасет для автопилота из Европы — и он реально крутой
Большинство датасетов для автономного вождения сделаны в США или Азии, а европейские городские сцены почти не представлены. Карлсруйский технологический институт выпустил KITScenes Multimodal — датасет с сенсорной платформой уровня роботакси.
Что внутри: 7 лидаров дают >900к точек на кадр (в 3 раза плотнее аналогов) с дальностью до 400 м, 72.5 Мпикс синхронизированных камер с глобальным затвором, 3 радара 4D и HD-карты в формате Lanelet2 на 62 км² с 29 классами дорожной разметки и 120 классами знаков.
Четыре бенчмарка: предсказание HD-карт онлайн, оценка глубины дальше 200 м (где все существующие методы деградируют), neural rendering и мультимодальный end-to-end driving.
Особенность: карты валидированы в стеке Autoware и пригодны для реального автопилота, а не только для исследований.
https://arxiv.org/abs/2606.02956
Большинство датасетов для автономного вождения сделаны в США или Азии, а европейские городские сцены почти не представлены. Карлсруйский технологический институт выпустил KITScenes Multimodal — датасет с сенсорной платформой уровня роботакси.
Что внутри: 7 лидаров дают >900к точек на кадр (в 3 раза плотнее аналогов) с дальностью до 400 м, 72.5 Мпикс синхронизированных камер с глобальным затвором, 3 радара 4D и HD-карты в формате Lanelet2 на 62 км² с 29 классами дорожной разметки и 120 классами знаков.
Четыре бенчмарка: предсказание HD-карт онлайн, оценка глубины дальше 200 м (где все существующие методы деградируют), neural rendering и мультимодальный end-to-end driving.
Особенность: карты валидированы в стеке Autoware и пригодны для реального автопилота, а не только для исследований.
https://arxiv.org/abs/2606.02956
ToolMaze: LLM-агенты ломаются, когда ломаются инструменты (by Baidu)
Все бенчмарки для LLM-агентов тестируют "счастливый путь" — когда все API работают идеально. Но в реальности инструменты падают с 404, таймаутами или возвращают семантически битые данные (например, отрицательный баланс акций).
Авторы создали TOOLMAZE — бенчмарк с двумя осями: сложность топологии задачи (DAG от линейного до комплексного) и тип поломки (явная/неявная × временная/постоянная). Агент должен не просто выполнить задачу, а детектировать аномалию, откатиться и перепланировать маршрут через альтернативные инструменты.
Вместо бинарного "решил/не решил" вводят PRR (насколько точно агент восстановился) и RC (стоимость восстановления — штраф за бесконечные ретраи).
Вывод: топовые модели часто не замечают семантические сбои и застревают в петлях ретраев. Динамическое перепланирование — это отдельный навык, не отражаемый обычными метриками успеха.
https://arxiv.org/abs/2606.05806
Все бенчмарки для LLM-агентов тестируют "счастливый путь" — когда все API работают идеально. Но в реальности инструменты падают с 404, таймаутами или возвращают семантически битые данные (например, отрицательный баланс акций).
Авторы создали TOOLMAZE — бенчмарк с двумя осями: сложность топологии задачи (DAG от линейного до комплексного) и тип поломки (явная/неявная × временная/постоянная). Агент должен не просто выполнить задачу, а детектировать аномалию, откатиться и перепланировать маршрут через альтернативные инструменты.
Вместо бинарного "решил/не решил" вводят PRR (насколько точно агент восстановился) и RC (стоимость восстановления — штраф за бесконечные ретраи).
Вывод: топовые модели часто не замечают семантические сбои и застревают в петлях ретраев. Динамическое перепланирование — это отдельный навык, не отражаемый обычными метриками успеха.
https://arxiv.org/abs/2606.05806
AffordanceVLA: робот смотрит на кружку и сразу понимает, за ручку её брать
Главная проблема VLA-моделей — огромная пропасть между "понять картинку" и "двинуть рукой". Авторы из Peking University предлагают заполнить этот gap через affordance — структурированное промежуточное представление, отвечающее на три вопроса: Which2Act (что трогать?), Where2Act (где именно?), How2Act (как взаимодействовать в 3D?).
Архитектура — Mixture-of-Transformers с тремя экспертами: понимание сцены, генерация affordance и управление действием. Обучение в три стадии: сначала grounding, потом синтетические роботизированные данные, потом файнтюн под конкретную задачу.
Ключевая фишка: affordance используется только при обучении как supervision-сигнал, не замедляя инференс. На LIBERO и CALVIN результаты конкурентны с сильными baseline вроде π0.
https://arxiv.org/abs/2606.06155
Главная проблема VLA-моделей — огромная пропасть между "понять картинку" и "двинуть рукой". Авторы из Peking University предлагают заполнить этот gap через affordance — структурированное промежуточное представление, отвечающее на три вопроса: Which2Act (что трогать?), Where2Act (где именно?), How2Act (как взаимодействовать в 3D?).
Архитектура — Mixture-of-Transformers с тремя экспертами: понимание сцены, генерация affordance и управление действием. Обучение в три стадии: сначала grounding, потом синтетические роботизированные данные, потом файнтюн под конкретную задачу.
Ключевая фишка: affordance используется только при обучении как supervision-сигнал, не замедляя инференс. На LIBERO и CALVIN результаты конкурентны с сильными baseline вроде π0.
https://arxiv.org/abs/2606.06155