Знание о репозитории — в веса модели, а не в контекст!
RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.
Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!
Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.
Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.
https://arxiv.org/abs/2606.06492
RAG для кода дорог: каждый запрос тащит огромный контекст репозитория. Fine-tune под конкретный репо — тоже боль, особенно когда код постоянно меняется и адаптер устаревает после каждого коммита.
Code2LoRA (University of Waterloo) решает это через гиперсеть: один проход — и репозиторий "вшит" в LoRA-адаптер замороженной LLM. Ноль токенов оверхеда при инференсе!
Два режима:
Static — снимок репозитория → адаптер. Достигает 63.8% exact match, обходя RAG.
Evo — GRU обрабатывает последовательность git-диффов и обновляет адаптер с каждым коммитом. +5.2 пп над shared LoRA на эволюционирующих репо.
Бенчмарк RepoPeftBench: 604 Python-репозитория, включая темпоральный holdout из постобучающих данных — честная проверка на OOD.
https://arxiv.org/abs/2606.06492
Умеет ли языковая модель играть Гарри Поттера из книги 1 иначе, чем из книги 5?
Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?
Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.
Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.
https://arxiv.org/abs/2606.05553
Исследователи из Seoul National University указали на слепое пятно в оценке ролевых агентов: персонажи меняются по ходу сюжета, но LLM обычно играют их как статичный образ. Молодой Гарри — жёсткий и мстительный, а после гибели Сириуса и воспоминаний Снейпа — способен к прощению. Воспроизводит ли модель эту разницу?
Авторы создали бенчмарк ARCANE: 17 романов, 80 персонажей, 544 "дуги характера" и 4601 проба. Ключевая идея — задавать один и тот же вопрос персонажу в разные моменты нарратива и смотреть, меняется ли ответ. Причём сценарии специально выходят за рамки исходного текста — чтобы нельзя было просто вспомнить факт из книги.
Вывод: контекст в виде "дуги характера" работает лучше обычного RAG, особенно для сцен, которых в книге вообще нет.
https://arxiv.org/abs/2606.05553
LLM-агент, который сам находит проблемы — до того, как вы их заметили (by KAIST AI)
Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?
TIDE делает именно это. Два ключевых механизма:
1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.
2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.
На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.
Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.
https://arxiv.org/abs/2606.04743
Обычные LLM-агенты реактивны: ждут запроса пользователя. Но что если агент сам проходится по вашим документам, почте и коду — и находит скрытые проблемы, о которых вы ещё не знаете?
TIDE делает именно это. Два ключевых механизма:
1. Thought Templates — шаблоны классов проблем, дистиллированные из прошлых решённых кейсов (например, "конфликт версий документа перед дедлайном"). Вместо того чтобы каждый раз инферить паттерны с нуля, агент использует готовые схемы.
2. Iterative Discovery — поиск проблем идёт раундами. Каждый следующий раунд знает, что уже нашли, и ищет дальше — за пределами самых заметных случаев.
На выходе — не просто "вот проблема", а тройка: описание + доказательства из документов + конкретный план действий.
Протестировано на личных воркспейсах и репозиториях с кодом. TIDE стабильно обходит single-shot и multi-agent baseline по покрытию и точности.
https://arxiv.org/abs/2606.04743
Как проверить, умеет ли LLM-агент планировать в реальном мире?
Реальные задачи редко бывают без ограничений. Инструмент сломан, пользователь не любит использовать фен — агент должен это учитывать. Но большинство бенчмарков тестируют либо ограничения мира, либо предпочтения пользователя — но не оба сразу.
Авторы из UIUC представили AdaPlanBench: агент получает задачу (например, "высушить мяч"), предлагает план, и только когда нарушает скрытое ограничение — узнаёт о нём. Затем должен перепланировать. Ограничения раскрываются постепенно, по мере ошибок.
307 бытовых задач, у каждой — автоматически сгенерированные мировые ограничения (нет полотенца дома) и пользовательские (не люблю вентиляторы). Результат: лучшая модель набирает лишь 67.75%, open-source модели — ниже 30%. Явное отслеживание ограничений почти не помогает.
https://arxiv.org/abs/2606.05622
Реальные задачи редко бывают без ограничений. Инструмент сломан, пользователь не любит использовать фен — агент должен это учитывать. Но большинство бенчмарков тестируют либо ограничения мира, либо предпочтения пользователя — но не оба сразу.
Авторы из UIUC представили AdaPlanBench: агент получает задачу (например, "высушить мяч"), предлагает план, и только когда нарушает скрытое ограничение — узнаёт о нём. Затем должен перепланировать. Ограничения раскрываются постепенно, по мере ошибок.
307 бытовых задач, у каждой — автоматически сгенерированные мировые ограничения (нет полотенца дома) и пользовательские (не люблю вентиляторы). Результат: лучшая модель набирает лишь 67.75%, open-source модели — ниже 30%. Явное отслеживание ограничений почти не помогает.
https://arxiv.org/abs/2606.05622
Робот в доме: помочь или уважить приватность?
Представьте: пожилая женщина с трудом идёт в ванную. Робот может подойти и помочь, позвать мужа или просто держаться рядом. Каждый вариант правильный — но они противоречат друг другу по ценностям. Существующие бенчмарки для роботов меряют только успех задачи, но не то, как робот выбирает между безопасностью, автономией и приватностью человека.
Авторы из Seoul National University предлагают RobotValues — бенчмарк из 10K реалистичных сценариев для оценки VLM-роботов в ситуациях конфликта ценностей. Данные генерировались автоматически с привязкой к демографике из World Values Survey (64 страны). Ценности аннотируются не напрямую, а через реакции стейкхолдеров на каждое действие.
Результат: модели по умолчанию предпочитают безопасность и услужливость в ущерб приватности. А если попросить модель приоритизировать другую ценность — точность падает на 30+ процентных пунктов.
https://arxiv.org/abs/2606.03312
Представьте: пожилая женщина с трудом идёт в ванную. Робот может подойти и помочь, позвать мужа или просто держаться рядом. Каждый вариант правильный — но они противоречат друг другу по ценностям. Существующие бенчмарки для роботов меряют только успех задачи, но не то, как робот выбирает между безопасностью, автономией и приватностью человека.
Авторы из Seoul National University предлагают RobotValues — бенчмарк из 10K реалистичных сценариев для оценки VLM-роботов в ситуациях конфликта ценностей. Данные генерировались автоматически с привязкой к демографике из World Values Survey (64 страны). Ценности аннотируются не напрямую, а через реакции стейкхолдеров на каждое действие.
Результат: модели по умолчанию предпочитают безопасность и услужливость в ущерб приватности. А если попросить модель приоритизировать другую ценность — точность падает на 30+ процентных пунктов.
https://arxiv.org/abs/2606.03312
RL учит модель читать грамматику — и переводить языки, которых она никогда не видела
Перевести текст на язык, которого нет в обучающих данных — казалось бы, невозможно. Но исследователи из Университета Цюриха показали: если обучить LLM через RL с наградой за качество перевода (chrF), модель приобретает мета-навык — умение извлекать смысл из грамматик и словарей прямо в контексте.
Идея: вместо того чтобы запоминать конкретный язык, модель учится рассуждать над лингвистическими описаниями. Контекст — это грамматика + словарь, награда — качество перевода. SFT на тех же данных переобучается на тренировочных языках, а RL обобщается на новые.
Эксперименты на 14 малоресурсных языках (Kalamang, Japhug, Ulwa и др.) подтверждают: RL реально улучшает перевод unseen языков, тогда как файнтюнинг — нет.
https://arxiv.org/abs/2606.06428
Перевести текст на язык, которого нет в обучающих данных — казалось бы, невозможно. Но исследователи из Университета Цюриха показали: если обучить LLM через RL с наградой за качество перевода (chrF), модель приобретает мета-навык — умение извлекать смысл из грамматик и словарей прямо в контексте.
Идея: вместо того чтобы запоминать конкретный язык, модель учится рассуждать над лингвистическими описаниями. Контекст — это грамматика + словарь, награда — качество перевода. SFT на тех же данных переобучается на тренировочных языках, а RL обобщается на новые.
Эксперименты на 14 малоресурсных языках (Kalamang, Japhug, Ulwa и др.) подтверждают: RL реально улучшает перевод unseen языков, тогда как файнтюнинг — нет.
https://arxiv.org/abs/2606.06428
Новый датасет для автопилота из Европы — и он реально крутой
Большинство датасетов для автономного вождения сделаны в США или Азии, а европейские городские сцены почти не представлены. Карлсруйский технологический институт выпустил KITScenes Multimodal — датасет с сенсорной платформой уровня роботакси.
Что внутри: 7 лидаров дают >900к точек на кадр (в 3 раза плотнее аналогов) с дальностью до 400 м, 72.5 Мпикс синхронизированных камер с глобальным затвором, 3 радара 4D и HD-карты в формате Lanelet2 на 62 км² с 29 классами дорожной разметки и 120 классами знаков.
Четыре бенчмарка: предсказание HD-карт онлайн, оценка глубины дальше 200 м (где все существующие методы деградируют), neural rendering и мультимодальный end-to-end driving.
Особенность: карты валидированы в стеке Autoware и пригодны для реального автопилота, а не только для исследований.
https://arxiv.org/abs/2606.02956
Большинство датасетов для автономного вождения сделаны в США или Азии, а европейские городские сцены почти не представлены. Карлсруйский технологический институт выпустил KITScenes Multimodal — датасет с сенсорной платформой уровня роботакси.
Что внутри: 7 лидаров дают >900к точек на кадр (в 3 раза плотнее аналогов) с дальностью до 400 м, 72.5 Мпикс синхронизированных камер с глобальным затвором, 3 радара 4D и HD-карты в формате Lanelet2 на 62 км² с 29 классами дорожной разметки и 120 классами знаков.
Четыре бенчмарка: предсказание HD-карт онлайн, оценка глубины дальше 200 м (где все существующие методы деградируют), neural rendering и мультимодальный end-to-end driving.
Особенность: карты валидированы в стеке Autoware и пригодны для реального автопилота, а не только для исследований.
https://arxiv.org/abs/2606.02956
ToolMaze: LLM-агенты ломаются, когда ломаются инструменты (by Baidu)
Все бенчмарки для LLM-агентов тестируют "счастливый путь" — когда все API работают идеально. Но в реальности инструменты падают с 404, таймаутами или возвращают семантически битые данные (например, отрицательный баланс акций).
Авторы создали TOOLMAZE — бенчмарк с двумя осями: сложность топологии задачи (DAG от линейного до комплексного) и тип поломки (явная/неявная × временная/постоянная). Агент должен не просто выполнить задачу, а детектировать аномалию, откатиться и перепланировать маршрут через альтернативные инструменты.
Вместо бинарного "решил/не решил" вводят PRR (насколько точно агент восстановился) и RC (стоимость восстановления — штраф за бесконечные ретраи).
Вывод: топовые модели часто не замечают семантические сбои и застревают в петлях ретраев. Динамическое перепланирование — это отдельный навык, не отражаемый обычными метриками успеха.
https://arxiv.org/abs/2606.05806
Все бенчмарки для LLM-агентов тестируют "счастливый путь" — когда все API работают идеально. Но в реальности инструменты падают с 404, таймаутами или возвращают семантически битые данные (например, отрицательный баланс акций).
Авторы создали TOOLMAZE — бенчмарк с двумя осями: сложность топологии задачи (DAG от линейного до комплексного) и тип поломки (явная/неявная × временная/постоянная). Агент должен не просто выполнить задачу, а детектировать аномалию, откатиться и перепланировать маршрут через альтернативные инструменты.
Вместо бинарного "решил/не решил" вводят PRR (насколько точно агент восстановился) и RC (стоимость восстановления — штраф за бесконечные ретраи).
Вывод: топовые модели часто не замечают семантические сбои и застревают в петлях ретраев. Динамическое перепланирование — это отдельный навык, не отражаемый обычными метриками успеха.
https://arxiv.org/abs/2606.05806
AffordanceVLA: робот смотрит на кружку и сразу понимает, за ручку её брать
Главная проблема VLA-моделей — огромная пропасть между "понять картинку" и "двинуть рукой". Авторы из Peking University предлагают заполнить этот gap через affordance — структурированное промежуточное представление, отвечающее на три вопроса: Which2Act (что трогать?), Where2Act (где именно?), How2Act (как взаимодействовать в 3D?).
Архитектура — Mixture-of-Transformers с тремя экспертами: понимание сцены, генерация affordance и управление действием. Обучение в три стадии: сначала grounding, потом синтетические роботизированные данные, потом файнтюн под конкретную задачу.
Ключевая фишка: affordance используется только при обучении как supervision-сигнал, не замедляя инференс. На LIBERO и CALVIN результаты конкурентны с сильными baseline вроде π0.
https://arxiv.org/abs/2606.06155
Главная проблема VLA-моделей — огромная пропасть между "понять картинку" и "двинуть рукой". Авторы из Peking University предлагают заполнить этот gap через affordance — структурированное промежуточное представление, отвечающее на три вопроса: Which2Act (что трогать?), Where2Act (где именно?), How2Act (как взаимодействовать в 3D?).
Архитектура — Mixture-of-Transformers с тремя экспертами: понимание сцены, генерация affordance и управление действием. Обучение в три стадии: сначала grounding, потом синтетические роботизированные данные, потом файнтюн под конкретную задачу.
Ключевая фишка: affordance используется только при обучении как supervision-сигнал, не замедляя инференс. На LIBERO и CALVIN результаты конкурентны с сильными baseline вроде π0.
https://arxiv.org/abs/2606.06155
Можно ли доверить ИИ целую научную статью — от сырых данных до выводов?
ResearchClawBench — новый бенчмарк для оценки автономных научных агентов. Идея простая и жёсткая: дать модели реальные экспериментальные данные и несколько связанных статей, а затем проверить, сможет ли она самостоятельно переоткрыть результаты скрытой целевой публикации.
40 задач из 10 областей: астрономия, химия, физика, нейронауки и др. Оценка — экспертные рубрики по 5 измерениям (глубина, полнота, следование инструкциям и т.д.). Порог в 50 баллов = уровень целевой статьи.
Результат: лучший агент Claude Code набирает лишь 21.5 из 50. Даже если брать лучший результат каждого агента по каждой задаче — фронтир всего 24.6. Нативные LLM без агентного обвеса не лучше: Claude-Opus-4.7 даёт 20.7.
Вывод: современные ИИ-системы ещё очень далеки от надёжного автономного научного открытия.
https://arxiv.org/abs/2606.07591
ResearchClawBench — новый бенчмарк для оценки автономных научных агентов. Идея простая и жёсткая: дать модели реальные экспериментальные данные и несколько связанных статей, а затем проверить, сможет ли она самостоятельно переоткрыть результаты скрытой целевой публикации.
40 задач из 10 областей: астрономия, химия, физика, нейронауки и др. Оценка — экспертные рубрики по 5 измерениям (глубина, полнота, следование инструкциям и т.д.). Порог в 50 баллов = уровень целевой статьи.
Результат: лучший агент Claude Code набирает лишь 21.5 из 50. Даже если брать лучший результат каждого агента по каждой задаче — фронтир всего 24.6. Нативные LLM без агентного обвеса не лучше: Claude-Opus-4.7 даёт 20.7.
Вывод: современные ИИ-системы ещё очень далеки от надёжного автономного научного открытия.
https://arxiv.org/abs/2606.07591
Latent Spatial Memory для видео-генерации: в 10 раз быстрее и в 55 раз экономнее по памяти (by Microsoft Research)
Современные видео-модели хранят 3D-память как облако точек с RGB-цветами. Проблема: при каждом шаге нужно рендерить пиксели и снова прогонять через VAE-энкодер. Это медленно и накапливает ошибки.
Авторы предложили хранить память прямо в латентном пространстве VAE — без конвертации в пиксели. Каждая точка 3D-сцены хранит не цвет, а латентный токен. При чтении — прямая проекция в латентное пространство, без рендеринга.
На этом построена модель Mirage: инициализация из первого кадра → readout → диффузионная генерация → обновление кэша. По кругу, чанк за чанком.
Результат: до 10.57× ускорение, до 55× меньше GPU-памяти, SOTA на WorldScore.
https://arxiv.org/abs/2606.09828
Современные видео-модели хранят 3D-память как облако точек с RGB-цветами. Проблема: при каждом шаге нужно рендерить пиксели и снова прогонять через VAE-энкодер. Это медленно и накапливает ошибки.
Авторы предложили хранить память прямо в латентном пространстве VAE — без конвертации в пиксели. Каждая точка 3D-сцены хранит не цвет, а латентный токен. При чтении — прямая проекция в латентное пространство, без рендеринга.
На этом построена модель Mirage: инициализация из первого кадра → readout → диффузионная генерация → обновление кэша. По кругу, чанк за чанком.
Результат: до 10.57× ускорение, до 55× меньше GPU-памяти, SOTA на WorldScore.
https://arxiv.org/abs/2606.09828
Как сэкономить 86% GPU-памяти при длинных контекстах, не потеряв точность? (by Tencent)
Ключевое наблюдение: при инференсе с контекстом >64K токенов более 90% запросов можно корректно обработать, используя лишь последние 8K токенов. Значит, огромная часть KV-кэша просто зря занимает GPU-память.
Авторы предлагают Lookahead Sparse Attention (LSA) поверх DeepSeek-V4. Идея: каждые τ шагов (например, 64) лёгкий Neural Memory Indexer предсказывает, какие исторические KV-чанки понадобятся в ближайшем окне, и подгружает только их из CPU в GPU. Остальное спокойно лежит в "холодном" хранилище.
Изюминка — indexer обучается полностью независимо от основной модели (backbone-free), на заранее посчитанных представлениях, за 1 час на одном GPU H20.
Результат: память сокращается до 13.5% от базового уровня (при 500K контексте — до 90%), а точность на LongBench-v2, LongMemEval и RULER даже чуть выше (+0.6%) по сравнению с DeepSeek-V4-Flash.
https://arxiv.org/abs/2606.09079
Ключевое наблюдение: при инференсе с контекстом >64K токенов более 90% запросов можно корректно обработать, используя лишь последние 8K токенов. Значит, огромная часть KV-кэша просто зря занимает GPU-память.
Авторы предлагают Lookahead Sparse Attention (LSA) поверх DeepSeek-V4. Идея: каждые τ шагов (например, 64) лёгкий Neural Memory Indexer предсказывает, какие исторические KV-чанки понадобятся в ближайшем окне, и подгружает только их из CPU в GPU. Остальное спокойно лежит в "холодном" хранилище.
Изюминка — indexer обучается полностью независимо от основной модели (backbone-free), на заранее посчитанных представлениях, за 1 час на одном GPU H20.
Результат: память сокращается до 13.5% от базового уровня (при 500K контексте — до 90%), а точность на LongBench-v2, LongMemEval и RULER даже чуть выше (+0.6%) по сравнению с DeepSeek-V4-Flash.
https://arxiv.org/abs/2606.09079
Nvidia Tech: обучение LLM стало быстрее с NVFP4 на Blackwell
Nvidia представила поддержку формата NVFP4 для предобучения больших языковых моделей через JAX и фреймворк MaxText. Это 4-битная смешанная точность, которая работает на чипах серии Blackwell и Rubin.
Главное: скорость обучения выросла до 1.73x по сравнению с FP8 при практически нулевой потере точности. На моделях Llama 3 8B и Llama 3.1 405B деградация финального лосса не зафиксирована.
Как это работает: NVFP4 применяется к MLP-слоям трансформера, а блоки внимания остаются в более высокой точности — это защищает от шума квантования в softmax. Пять ключевых техник обеспечивают сходимость: микроблочное масштабирование, E4M3 коэффициенты, преобразование Адамара, 2D-масштабирование весов и стохастическое округление.
Для разработчиков: рецепт уже доступен в репозитории JAX-Toolbox, включается одним флагом quantization=te_nvfp4. Это позволяет обучать больше моделей за тот же бюджет вычислений или сокращать время обучения.
https://developer.nvidia.com/blog/train-models-faster-with-jax-and-maxtext-using-nvfp4-on-nvidia-blackwell/
Nvidia представила поддержку формата NVFP4 для предобучения больших языковых моделей через JAX и фреймворк MaxText. Это 4-битная смешанная точность, которая работает на чипах серии Blackwell и Rubin.
Главное: скорость обучения выросла до 1.73x по сравнению с FP8 при практически нулевой потере точности. На моделях Llama 3 8B и Llama 3.1 405B деградация финального лосса не зафиксирована.
Как это работает: NVFP4 применяется к MLP-слоям трансформера, а блоки внимания остаются в более высокой точности — это защищает от шума квантования в softmax. Пять ключевых техник обеспечивают сходимость: микроблочное масштабирование, E4M3 коэффициенты, преобразование Адамара, 2D-масштабирование весов и стохастическое округление.
Для разработчиков: рецепт уже доступен в репозитории JAX-Toolbox, включается одним флагом quantization=te_nvfp4. Это позволяет обучать больше моделей за тот же бюджет вычислений или сокращать время обучения.
https://developer.nvidia.com/blog/train-models-faster-with-jax-and-maxtext-using-nvfp4-on-nvidia-blackwell/
NVIDIA Technical Blog
Train Models Faster with JAX and MaxText Using NVFP4 on NVIDIA Blackwell
Pre-training frontier LLMs comes down to throughput. When training spans trillions of tokens across thousands of accelerators, every percentage point of step time can add up to days of training and…
Amazon Science предложила 4 подхода к «заземлению» AI-агентов в реальном мире.
Проблема: агенты нового поколения уже не просто отвечают на вопросы — они действуют в физической среде: на складах, в больницах, на производстве. Галлюцинации здесь опасны буквально — неверный расчёт траектории робота может навредить людям.
Решение — четыре метода:
1. Физически обоснованное обучение — модель знает законы физики ещё на этапе претрейнинга и не нарушает их.
2. Калиброванная неопределённость — агент понимает, когда не уверен, и сам запрашивает помощь человека. Ошибка калибровки снижается на 25%.
3. Фреймворк AWL — мост между языком и математикой: агент обращается к симуляторам при сложных задачах. Точность выросла на 29% по сравнению с GPT-4o и Claude 3.5.
4. Формальная верификация — внешний софт проверяет логику выводов в реальном времени.
Всё это уже применяется в Project Eluna — агенте для управления складами Amazon.
https://www.amazon.science/blog/real-world-grounding-in-agentic-ai
Проблема: агенты нового поколения уже не просто отвечают на вопросы — они действуют в физической среде: на складах, в больницах, на производстве. Галлюцинации здесь опасны буквально — неверный расчёт траектории робота может навредить людям.
Решение — четыре метода:
1. Физически обоснованное обучение — модель знает законы физики ещё на этапе претрейнинга и не нарушает их.
2. Калиброванная неопределённость — агент понимает, когда не уверен, и сам запрашивает помощь человека. Ошибка калибровки снижается на 25%.
3. Фреймворк AWL — мост между языком и математикой: агент обращается к симуляторам при сложных задачах. Точность выросла на 29% по сравнению с GPT-4o и Claude 3.5.
4. Формальная верификация — внешний софт проверяет логику выводов в реальном времени.
Всё это уже применяется в Project Eluna — агенте для управления складами Amazon.
https://www.amazon.science/blog/real-world-grounding-in-agentic-ai
Amazon Science
Real-world grounding in agentic AI
Four approaches can dramatically improve the performance and trustworthiness of AI agents in operational environments.
Amazon Science: как сделать ИИ-агентов надёжнее
Исследователи Amazon выявили ключевую проблему агентных систем — intent-execution gap: разрыв между тем, что модель хочет сделать, и тем, что реально выполняет система-обвязка (harness).
Проще говоря: агент хочет исправить одну строку кода, а harness меняет все похожие строки в проекте. Итог — баги вместо фикса.
Чтобы решить это, Amazon выпустила Simple Strands Agent (SSA) — лёгкий open-source harness с тремя ключевыми принципами: умное сжатие длинных логов вместо грубой обрезки, защита от неоднозначных замен текста и обратная связь через diff-файлы.
SSA показал стабильный прирост на бенчмарках SWE-Pro, SWE-Verified и Terminal-Bench2 — причём без тонкой настройки под конкретные задачи.
Главный вывод: производительность агентов — это не только качество модели, но и качество инфраструктуры вокруг неё. Весь код открыт для воспроизведения.
https://www.amazon.science/blog/bridging-intent-and-execution-in-agentic-systems
Исследователи Amazon выявили ключевую проблему агентных систем — intent-execution gap: разрыв между тем, что модель хочет сделать, и тем, что реально выполняет система-обвязка (harness).
Проще говоря: агент хочет исправить одну строку кода, а harness меняет все похожие строки в проекте. Итог — баги вместо фикса.
Чтобы решить это, Amazon выпустила Simple Strands Agent (SSA) — лёгкий open-source harness с тремя ключевыми принципами: умное сжатие длинных логов вместо грубой обрезки, защита от неоднозначных замен текста и обратная связь через diff-файлы.
SSA показал стабильный прирост на бенчмарках SWE-Pro, SWE-Verified и Terminal-Bench2 — причём без тонкой настройки под конкретные задачи.
Главный вывод: производительность агентов — это не только качество модели, но и качество инфраструктуры вокруг неё. Весь код открыт для воспроизведения.
https://www.amazon.science/blog/bridging-intent-and-execution-in-agentic-systems
Amazon Science
Bridging intent and execution in agentic systems
The harnesses that mediate between models and tools in agentic systems are becoming their own performance bottleneck, but a few simple design principles can fix what ails them.
MemDreamer: как смотреть часовые видео, не загружая их целиком в контекст
Главная боль с длинными видео — это token explosion: 2 часа при 1 FPS = 1.6M токенов. Ни одна модель столько не переварит нормально. MemDreamer решает это радикально: разделяет восприятие и рассуждение.
Идея: сначала perception-модель стримит видео и строит иерархическую граф-память (три уровня: глобальный сюжет → сцены → микро-события с каузальными связями). Потом reasoning-модель работает ТОЛЬКО с этим текстовым графом через агентский инструментарий — навигация по иерархии, поиск узлов, обход рёбер графа.
Результат: +12.5 пунктов над end-to-end подходами при использовании лишь 2% контекстного окна. До уровня эксперта-человека остаётся 3.7 пункта на часовых бенчмарках.
Бонус-находка: авторы обнаружили сильную корреляцию между агентскими способностями модели и качеством понимания длинных видео — то есть качать надо агентику, а не контекст.
https://arxiv.org/abs/2606.07512
Главная боль с длинными видео — это token explosion: 2 часа при 1 FPS = 1.6M токенов. Ни одна модель столько не переварит нормально. MemDreamer решает это радикально: разделяет восприятие и рассуждение.
Идея: сначала perception-модель стримит видео и строит иерархическую граф-память (три уровня: глобальный сюжет → сцены → микро-события с каузальными связями). Потом reasoning-модель работает ТОЛЬКО с этим текстовым графом через агентский инструментарий — навигация по иерархии, поиск узлов, обход рёбер графа.
Результат: +12.5 пунктов над end-to-end подходами при использовании лишь 2% контекстного окна. До уровня эксперта-человека остаётся 3.7 пункта на часовых бенчмарках.
Бонус-находка: авторы обнаружили сильную корреляцию между агентскими способностями модели и качеством понимания длинных видео — то есть качать надо агентику, а не контекст.
https://arxiv.org/abs/2606.07512
Retrospective Harness Optimization: агент улучшает себя без разметки (by Microsoft Research)
Обычно агентские системы улучшают свой «harness» (инструменты, промпты, скиллы) через валидационный сет с разметкой. Но что, если разметки нет, а есть только прошлые траектории?
Метод RHO делает это в три шага:
1. Coreset Selection — отбирает сложные и разнообразные задачи из прошлых траекторий через DPP
2. Group Rollout — прогоняет каждую задачу G раз, извлекая сигналы self-validation (ошибки внутри траектории) и self-consistency (расхождения между запусками)
3. Best-of-N Harness Proposal — генерирует N кандидатов нового harness и выбирает лучший через попарное self-preference агента
Никаких ground-truth меток! Один проход — и harness обновлён.
Результат: на SWE-Bench Pro pass rate вырос с 59% до 78% без единой размеченной задачи.
https://arxiv.org/abs/2606.05922
Обычно агентские системы улучшают свой «harness» (инструменты, промпты, скиллы) через валидационный сет с разметкой. Но что, если разметки нет, а есть только прошлые траектории?
Метод RHO делает это в три шага:
1. Coreset Selection — отбирает сложные и разнообразные задачи из прошлых траекторий через DPP
2. Group Rollout — прогоняет каждую задачу G раз, извлекая сигналы self-validation (ошибки внутри траектории) и self-consistency (расхождения между запусками)
3. Best-of-N Harness Proposal — генерирует N кандидатов нового harness и выбирает лучший через попарное self-preference агента
Никаких ground-truth меток! Один проход — и harness обновлён.
Результат: на SWE-Bench Pro pass rate вырос с 59% до 78% без единой размеченной задачи.
https://arxiv.org/abs/2606.05922
Разные LLM вместе ищут лучше, чем одна мощная (by Gensyn)
Что если запустить эволюционный поиск не на одной языковой модели, а на нескольких разных одновременно?
Авторы из Gensyn построили систему DEI: несколько LLM параллельно эволюционируют решения в задаче Core War (программы-воины сражаются в виртуальной памяти). Каждая модель — отдельный узел со своими "инстинктами": одна любит компактный код, другая — агрессивное сканирование памяти. Узлы асинхронно обмениваются лучшими решениями-чемпионами, не дожидаясь друг друга.
Ключевой результат: при одинаковом бюджете вычислений гетерогенный ансамбль (разные LLM) покрывает больше поведенческого пространства и находит более общие решения, чем 4 копии одной модели. Разнообразие моделей — не просто больше случайности, а принципиально разные "точки зрения" на задачу.
https://arxiv.org/abs/2605.27130
Что если запустить эволюционный поиск не на одной языковой модели, а на нескольких разных одновременно?
Авторы из Gensyn построили систему DEI: несколько LLM параллельно эволюционируют решения в задаче Core War (программы-воины сражаются в виртуальной памяти). Каждая модель — отдельный узел со своими "инстинктами": одна любит компактный код, другая — агрессивное сканирование памяти. Узлы асинхронно обмениваются лучшими решениями-чемпионами, не дожидаясь друг друга.
Ключевой результат: при одинаковом бюджете вычислений гетерогенный ансамбль (разные LLM) покрывает больше поведенческого пространства и находит более общие решения, чем 4 копии одной модели. Разнообразие моделей — не просто больше случайности, а принципиально разные "точки зрения" на задачу.
https://arxiv.org/abs/2605.27130
Google DeepMind выпустил Gemini 3.5 Live Translate — модель для голосового перевода в реальном времени.
Модель поддерживает 70+ языков и переводит речь практически без задержки, сохраняя интонацию, темп и тон голоса говорящего. В отличие от старых систем, которые ждут паузы в речи, 3.5 Live Translate генерирует перевод непрерывно, отставая от спикера всего на несколько секунд.
Где уже доступно: в приложении Google Translate на Android и iOS, для разработчиков через Gemini Live API и Google AI Studio, а также в Google Meet для корпоративных клиентов в закрытом тестировании.
Особенно интересна функция listening mode для Android: держишь телефон у уха, как при звонке, и слышишь перевод прямо через динамик — без наушников и лишнего шума для окружающих.
Весь сгенерированный аудио маркируется невидимым водяным знаком SynthID для защиты от дипфейков.
https://deepmind.google/blog/fluid-natural-voice-translation-with-gemini-35-live-translate/
Модель поддерживает 70+ языков и переводит речь практически без задержки, сохраняя интонацию, темп и тон голоса говорящего. В отличие от старых систем, которые ждут паузы в речи, 3.5 Live Translate генерирует перевод непрерывно, отставая от спикера всего на несколько секунд.
Где уже доступно: в приложении Google Translate на Android и iOS, для разработчиков через Gemini Live API и Google AI Studio, а также в Google Meet для корпоративных клиентов в закрытом тестировании.
Особенно интересна функция listening mode для Android: держишь телефон у уха, как при звонке, и слышишь перевод прямо через динамик — без наушников и лишнего шума для окружающих.
Весь сгенерированный аудио маркируется невидимым водяным знаком SynthID для защиты от дипфейков.
https://deepmind.google/blog/fluid-natural-voice-translation-with-gemini-35-live-translate/
Google
Fluid, natural voice translation with Gemini 3.5 Live Translate
Gemini 3.5 Live Translate brings near real-time, natural speech translation to Google AI Studio, Google Translate and Google Meet.
Google DeepMind выпустила Gemma 4 12B — новую открытую мультимодальную модель, которая помещается на обычном ноутбуке.
Главная фишка — архитектура без отдельных энкодеров. Изображения и аудио обрабатываются прямо в основной языковой модели, без промежуточных блоков. Это снижает задержку и экономит память.
Что важно для пользователей:
— Запускается локально при 16 ГБ VRAM или unified memory
— Понимает текст, картинки и аудио одновременно
— По качеству рассуждений почти догоняет 26B MoE-модель
— Лицензия Apache 2.0 — можно использовать свободно
— Поддерживается в Ollama, LM Studio, llama.cpp, MLX и других инструментах
Модель уже доступна на Hugging Face и Kaggle. Серия Gemma 4 преодолела 150 миллионов загрузок.
https://deepmind.google/blog/introducing-gemma-4-12b-a-unified-encoder-free-multimodal-model/
Главная фишка — архитектура без отдельных энкодеров. Изображения и аудио обрабатываются прямо в основной языковой модели, без промежуточных блоков. Это снижает задержку и экономит память.
Что важно для пользователей:
— Запускается локально при 16 ГБ VRAM или unified memory
— Понимает текст, картинки и аудио одновременно
— По качеству рассуждений почти догоняет 26B MoE-модель
— Лицензия Apache 2.0 — можно использовать свободно
— Поддерживается в Ollama, LM Studio, llama.cpp, MLX и других инструментах
Модель уже доступна на Hugging Face и Kaggle. Серия Gemma 4 преодолела 150 миллионов загрузок.
https://deepmind.google/blog/introducing-gemma-4-12b-a-unified-encoder-free-multimodal-model/
Google
Introducing Gemma 4 12B: a unified, encoder-free multimodal model
An overview of Gemma 4 12B, a model designed to bring high-performance multimodal intelligence directly to your laptop.
Nvidia Tech обновила инструментарий для квантизации моделей.
Инженеры показали полный пайплайн: берёшь FP8-чекпоинт CLIP, экспортируешь через ModelOpt в ONNX, компилируешь в TensorRT-движок — и получаешь модель, готовую к продакшену.
Что даёт FP8 против FP16: файлы текстового энкодера уменьшаются на 34%, а визуального — на 50%. Скорость инференса на GPU RTX 6000 Ada вырастает в 1.39–1.45 раза. TensorRT при сборке движка сливает Q/DQ-узлы с соседними слоями и гоняет вычисления напрямую на FP8 Tensor Cores.
Почему важно: меньше VRAM, выше пропускная способность, быстрее ответ. Для компаний, которые деплоят embedding-модели в масштабе, это прямая экономия на железе без потери качества.
https://developer.nvidia.com/blog/model-quantization-turn-fp8-checkpoints-into-high-performance-inference-engines-with-nvidia-tensorrt/
Инженеры показали полный пайплайн: берёшь FP8-чекпоинт CLIP, экспортируешь через ModelOpt в ONNX, компилируешь в TensorRT-движок — и получаешь модель, готовую к продакшену.
Что даёт FP8 против FP16: файлы текстового энкодера уменьшаются на 34%, а визуального — на 50%. Скорость инференса на GPU RTX 6000 Ada вырастает в 1.39–1.45 раза. TensorRT при сборке движка сливает Q/DQ-узлы с соседними слоями и гоняет вычисления напрямую на FP8 Tensor Cores.
Почему важно: меньше VRAM, выше пропускная способность, быстрее ответ. Для компаний, которые деплоят embedding-модели в масштабе, это прямая экономия на железе без потери качества.
https://developer.nvidia.com/blog/model-quantization-turn-fp8-checkpoints-into-high-performance-inference-engines-with-nvidia-tensorrt/
NVIDIA Technical Blog
Model Quantization: Turn FP8 Checkpoints into High-Performance Inference Engines with NVIDIA TensorRT
Converting a quantized checkpoint into an NVIDIA TensorRT engine bridges the gap between model optimization and production deployment, enabling faster inference, higher throughput…