MemLens: у LLM нет долгосрочной мультимодальной памяти (by NVIDIA)
Представьте: вы общаетесь с ИИ-ассистентом месяцами, делитесь фотками, и вдруг он забывает всё что было раньше. Насколько хорошо современные модели справляются с долгосрочной мультимодальной памятью?
NVIDIA выпустила бенчмарк MemLens — 789 вопросов по 5 типам памяти: извлечение фактов, многосессионные рассуждения, временная логика, обновление знаний и отказ от ответа. Фишка: убери картинки — точность двух топовых моделей падает ниже 2%. Визуальные доказательства реально нужны.
Протестировали 27 LVLMs и 7 memory-агентов на контекстах 32K–256K токенов. Итог жёсткий:
— Длинный контекст работает хорошо на коротких историях, но деградирует при росте
— Memory-агенты стабильны по длине, но теряют визуальные детали при сжатии
— Multi-session reasoning не покоряется никому: большинство систем ниже 30%
Вывод: ни один подход не решает задачу. Нужна гибридная архитектура — длинный контекст + структурированный мультимодальный retrieval.
Представьте: вы общаетесь с ИИ-ассистентом месяцами, делитесь фотками, и вдруг он забывает всё что было раньше. Насколько хорошо современные модели справляются с долгосрочной мультимодальной памятью?
NVIDIA выпустила бенчмарк MemLens — 789 вопросов по 5 типам памяти: извлечение фактов, многосессионные рассуждения, временная логика, обновление знаний и отказ от ответа. Фишка: убери картинки — точность двух топовых моделей падает ниже 2%. Визуальные доказательства реально нужны.
Протестировали 27 LVLMs и 7 memory-агентов на контекстах 32K–256K токенов. Итог жёсткий:
— Длинный контекст работает хорошо на коротких историях, но деградирует при росте
— Memory-агенты стабильны по длине, но теряют визуальные детали при сжатии
— Multi-session reasoning не покоряется никому: большинство систем ниже 30%
Вывод: ни один подход не решает задачу. Нужна гибридная архитектура — длинный контекст + структурированный мультимодальный retrieval.
Можно улучшить LLM-рассуждения без единого шага обучения?
Darwin — фреймворк, который сливает несколько языковых моделей прямо в пространстве весов, не запуская градиентный спуск. Ключевая идея: не все слои одинаково важны для рассуждений, и это можно измерить без обучения.
Авторы вводят метрику MRI (Model-layer Response Importance) — комбинацию статистик тензоров (энтропия, дисперсия, норма) и косинусного расстояния между активациями на «рассуждательных» и обычных промптах. MRI показывает, какие слои модели B важнее для логики, чем слои модели A — и пропорционально им назначаются коэффициенты смешивания.
Поверх этого работает эволюционный поиск: 14-мерный геном кодирует стратегию слияния, а параметр τ балансирует доверие к MRI-диагностике против случайного поиска. Итог — merged-модель без дообучения, которая лучше рассуждает, чем каждый из родителей по отдельности.
https://arxiv.org/abs/2605.14386
Darwin — фреймворк, который сливает несколько языковых моделей прямо в пространстве весов, не запуская градиентный спуск. Ключевая идея: не все слои одинаково важны для рассуждений, и это можно измерить без обучения.
Авторы вводят метрику MRI (Model-layer Response Importance) — комбинацию статистик тензоров (энтропия, дисперсия, норма) и косинусного расстояния между активациями на «рассуждательных» и обычных промптах. MRI показывает, какие слои модели B важнее для логики, чем слои модели A — и пропорционально им назначаются коэффициенты смешивания.
Поверх этого работает эволюционный поиск: 14-мерный геном кодирует стратегию слияния, а параметр τ балансирует доверие к MRI-диагностике против случайного поиска. Итог — merged-модель без дообучения, которая лучше рассуждает, чем каждый из родителей по отдельности.
https://arxiv.org/abs/2605.14386
Microsoft Research предупреждает: ИИ портит ваши документы при делегировании задач
Исследователи опубликовали работу "LLMs Corrupt Your Documents When You Delegate" — о надёжности ИИ в длинных рабочих цепочках. Суть: когда вы поручаете модели многошаговую работу с документами, таблицами или кодом без промежуточной проверки, она постепенно «деградирует».
Конкретные цифры: у топовых моделей за 20 итераций редактирования смысловое содержание артефактов ухудшалось на 19–34%. Исключение — Python-код: там деградация составила менее 1%.
Важно: авторы не говорят, что ИИ бесполезен. Они указывают на конкретную проблему — автономное делегирование без человеческого контроля. Продакшн-системы с верификацией и оркестрацией справляются лучше.
Вывод для пользователей: если вы отдаёте ИИ важные документы на длительную самостоятельную обработку — проверяйте промежуточные результаты. Доверяй, но верифицируй.
https://www.microsoft.com/en-us/research/blog/further-notes-on-our-recent-research-on-ai-delegation-and-long-horizon-reliability/
Исследователи опубликовали работу "LLMs Corrupt Your Documents When You Delegate" — о надёжности ИИ в длинных рабочих цепочках. Суть: когда вы поручаете модели многошаговую работу с документами, таблицами или кодом без промежуточной проверки, она постепенно «деградирует».
Конкретные цифры: у топовых моделей за 20 итераций редактирования смысловое содержание артефактов ухудшалось на 19–34%. Исключение — Python-код: там деградация составила менее 1%.
Важно: авторы не говорят, что ИИ бесполезен. Они указывают на конкретную проблему — автономное делегирование без человеческого контроля. Продакшн-системы с верификацией и оркестрацией справляются лучше.
Вывод для пользователей: если вы отдаёте ИИ важные документы на длительную самостоятельную обработку — проверяйте промежуточные результаты. Доверяй, но верифицируй.
https://www.microsoft.com/en-us/research/blog/further-notes-on-our-recent-research-on-ai-delegation-and-long-horizon-reliability/
Microsoft Research
Further Notes on Our Recent Research on AI Delegation and Long-Horizon Reliability - Microsoft Research
Our recent paper, “LLMs Corrupt Your Documents When You Delegate”, has generated discussion about the reliability of AI systems in delegated workflows. We appreciate the interest in this work and want to clarify several important points about what the paper…
Nvidia выпустила VSS 3 — платформу для превращения видео в поисковую базу данных
Nvidia Metropolis Blueprint для поиска и анализа видео (VSS) обновился до версии 3. Теперь компании могут превращать миллионы прямых трансляций или часы записанного видео в мгновенно доступную аналитику.
Что нового: модульная архитектура, улучшенный поиск по нескольким источникам и набор Skills — готовых инструментов для интеграции с AI-агентами. Разработчики могут подключить VSS к агентам вроде Codex или OpenClaw и управлять всем через обычный чат: разворачивать сервисы, искать нужные моменты в видео, получать отчёты.
Практический пример: агент автоматически просматривает часы складских записей и находит все случаи использования лестниц, проверяя, надеты ли у рабочих каски и жилеты.
Почему важно: раньше настройка требовала ручной конфигурации десятков микросервисов. Теперь это делает агент по одной команде. Порог входа для видеоаналитики резко снижается.
https://developer.nvidia.com/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/
Nvidia Metropolis Blueprint для поиска и анализа видео (VSS) обновился до версии 3. Теперь компании могут превращать миллионы прямых трансляций или часы записанного видео в мгновенно доступную аналитику.
Что нового: модульная архитектура, улучшенный поиск по нескольким источникам и набор Skills — готовых инструментов для интеграции с AI-агентами. Разработчики могут подключить VSS к агентам вроде Codex или OpenClaw и управлять всем через обычный чат: разворачивать сервисы, искать нужные моменты в видео, получать отчёты.
Практический пример: агент автоматически просматривает часы складских записей и находит все случаи использования лестниц, проверяя, надеты ли у рабочих каски и жилеты.
Почему важно: раньше настройка требовала ручной конфигурации десятков микросервисов. Теперь это делает агент по одной команде. Порог входа для видеоаналитики резко снижается.
https://developer.nvidia.com/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/
Amazon Science ускоряет LLM без потери точности
Исследователи Amazon представили на конференции ICLR 2026 новый подход к оптимизации языковых моделей. Суть: они расширили известный закон масштабирования Chinchilla, добавив в него архитектурные параметры — размер скрытого слоя, соотношение MLP и attention-блоков, а также групповое внимание (GQA).
На основе этого фреймворка созданы две линейки моделей. Panda — максимальная точность, превосходит LLaMA-3.2 на 0.6–2.1%. Surefire — баланс скорости и точности: не уступает LLaMA-3.2 по качеству, но работает на 12–47% быстрее в зависимости от железа и фреймворка.
Ключевое открытие: оптимальное соотношение MLP к attention около 1.0, тогда как у LLaMA-3.2-1B оно равно 4.8 — далеко от оптимума.
Для пользователей это означает более быстрые и дешёвые AI-приложения без жертв в качестве ответов.
https://www.amazon.science/blog/making-llms-faster-without-sacrificing-accuracy
Исследователи Amazon представили на конференции ICLR 2026 новый подход к оптимизации языковых моделей. Суть: они расширили известный закон масштабирования Chinchilla, добавив в него архитектурные параметры — размер скрытого слоя, соотношение MLP и attention-блоков, а также групповое внимание (GQA).
На основе этого фреймворка созданы две линейки моделей. Panda — максимальная точность, превосходит LLaMA-3.2 на 0.6–2.1%. Surefire — баланс скорости и точности: не уступает LLaMA-3.2 по качеству, но работает на 12–47% быстрее в зависимости от железа и фреймворка.
Ключевое открытие: оптимальное соотношение MLP к attention около 1.0, тогда как у LLaMA-3.2-1B оно равно 4.8 — далеко от оптимума.
Для пользователей это означает более быстрые и дешёвые AI-приложения без жертв в качестве ответов.
https://www.amazon.science/blog/making-llms-faster-without-sacrificing-accuracy
Amazon Science
Making LLMs faster without sacrificing accuracy
A new scaling law that relates particular architectural choices to loss helps identify models that improve throughput by up to 47% with no loss of accuracy.
BitNet b1.58 2B4T — первая полноценная 1-битная LLM на 2B параметров, обученная с нуля
Веса нейросети обычно хранятся в float16 или bfloat16. А что если хранить только {-1, 0, +1}? Это и есть идея BitNet. Авторы обучили 2B модель на 4 триллионах токенов с нуля — не квантизация после обучения, а именно нативная 1.58-битная тренировка.
Ключевые трюки: замена стандартных Linear-слоёв на BitLinear (веса в ternary, активации в int8), squared ReLU вместо SwiGLU для большей разреженности, двухстадийный learning rate с cooldown на качественных данных. После претрейна — SFT и DPO.
Результат: сопоставимо с полноточными моделями того же размера при кратно меньшем потреблении памяти и энергии. Веса выложены на HuggingFace, есть оптимизированный инференс под CPU и GPU.
https://arxiv.org/abs/2504.12285
Веса нейросети обычно хранятся в float16 или bfloat16. А что если хранить только {-1, 0, +1}? Это и есть идея BitNet. Авторы обучили 2B модель на 4 триллионах токенов с нуля — не квантизация после обучения, а именно нативная 1.58-битная тренировка.
Ключевые трюки: замена стандартных Linear-слоёв на BitLinear (веса в ternary, активации в int8), squared ReLU вместо SwiGLU для большей разреженности, двухстадийный learning rate с cooldown на качественных данных. После претрейна — SFT и DPO.
Результат: сопоставимо с полноточными моделями того же размера при кратно меньшем потреблении памяти и энергии. Веса выложены на HuggingFace, есть оптимизированный инференс под CPU и GPU.
https://arxiv.org/abs/2504.12285
👍1
Orchard: универсальный слой окружений для обучения агентов (by Microsoft Research)
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
ThinkPRM: научи модель проверять рассуждения через рассуждения
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
PanoWorld: научить ИИ видеть всё вокруг сразу, а не по кускам
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Агент, который учится на своих ошибках в олимпиадном программировании
Большинство LLM-систем для кода решают каждую задачу с нуля — никакого накопленного опыта. Solvita это меняет: четыре агента (Planner, Solver, Oracle, Hacker) работают в замкнутом цикле, а каждый неудачный запуск обновляет граф знаний через RL.
Ключевая идея: вместо файн-тюнинга модели — обучаемые графовые сети памяти у каждого агента. Веса рёбер меняются по сигналам pass/fail, а не по статическому сходству текстов. Hacker специально ищет adversarial тесты, ломающие текущее решение — и это тоже идёт в обучение.
Solver чинит код патчами (search-and-replace), а не перегенерирует с нуля — экономит токены.
Результат на CodeContests с GPT backbone: pass@1 вырос с 40% до 82.4% — почти вдвое, при сопоставимом расходе токенов с другими пайплайнами.
https://arxiv.org/abs/2605.15301
Большинство LLM-систем для кода решают каждую задачу с нуля — никакого накопленного опыта. Solvita это меняет: четыре агента (Planner, Solver, Oracle, Hacker) работают в замкнутом цикле, а каждый неудачный запуск обновляет граф знаний через RL.
Ключевая идея: вместо файн-тюнинга модели — обучаемые графовые сети памяти у каждого агента. Веса рёбер меняются по сигналам pass/fail, а не по статическому сходству текстов. Hacker специально ищет adversarial тесты, ломающие текущее решение — и это тоже идёт в обучение.
Solver чинит код патчами (search-and-replace), а не перегенерирует с нуля — экономит токены.
Результат на CodeContests с GPT backbone: pass@1 вырос с 40% до 82.4% — почти вдвое, при сопоставимом расходе токенов с другими пайплайнами.
https://arxiv.org/abs/2605.15301
PhysBrain 1.0: сначала понять физику, потом двигаться (by DeepCybo)
Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.
Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.
Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.
Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.
https://arxiv.org/abs/2605.15298
Большинство VLA-роботов учатся так: собери траектории телеоперации, обучи политику, масштабируй. PhysBrain 1.0 говорит: стоп, это тупик.
Идея: сначала научи модель понимать физический мир через видео от первого лица (Ego4D и др.), и только потом адаптируй под конкретного робота. Человеческое эго-видео дешевле, разнообразнее и полно физических паттернов: контакты, досягаемость, изменение состояния объектов.
Ключевой трюк — data engine, который работает как компилятор: сырое видео → структурированные метаданные сцены (объекты, пространственные отношения, глубина) → физически обоснованные QA-пары для обучения. Никаких дженерик-капшнов.
Результат: модель хорошо работает и на VLM-бенчмарках (MMMU, MME), и на робо-бенчмарках (LIBERO, SimplerEnv) — используя минимум реальных траекторий робота.
https://arxiv.org/abs/2605.15298
LongLive-2.0: генерация длинных видео в реальном времени (by NVIDIA)
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Главная боль генерации длинных видео — огромное потребление памяти GPU и низкая скорость. NVIDIA представила LongLive-2.0 — инфраструктуру, которая решает это через совместный дизайн обучения и инференса.
Ключевые идеи:
1. Balanced SP — новый sequence parallelism для AR-обучения. Вместо наивной нарезки последовательности каждый GPU получает пару clean+noisy латентов из одного временного чанка. Это балансирует нагрузку и убирает дублирование VAE-энкодинга.
2. NVFP4 — 4-битное квантование весов и активаций (W4A4) на Blackwell GPU даёт ускорение GEMM в 2-4x. Причём квантование используется и при обучении, и при инференсе — нет разрыва между ними.
3. Асинхронный декодинг — VAE-декодирование перекрывается с диффузионными шагами, что приближает end-to-end FPS к model-only FPS.
В итоге пайплайн обучения упростился: не нужны ODE-инициализация и многоэтапный DMD — только прямой AR fine-tuning + standalone LoRA для real-time инференса.
Агентский пруver для Lean 4, который учится на своих ошибках
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Большинство систем автодоказательства теорем генерируют доказательство за один проход и надеются на лучшее. OProver делает иначе: это единый фреймворк, где модель итеративно правит доказательство, используя обратную связь от компилятора Lean 4 и retrieved примеры похожих доказанных теорем.
Ключевая идея: устранить разрыв train-inference. Обычно retrieval и фидбек компилятора применяются только при инференсе, а модель их никогда не видела при обучении. OProver обучает политику именно на таких траекториях: провал → ошибка компилятора → правка → успех.
Корпус OProofs содержит 1.77M утверждений и 6.86M верифицированных доказательств, плюс сериализованные траектории с ошибками и починками — чего нет в других Lean-датасетах.
Обучение: CPT на Lean-коде → итеративный SFT+RL, где новые доказательства сразу добавляются в retrieval memory.
Результат: OProver-32B достигает Pass@32 = 93.3 на MiniF2F и 11.3 на PutnamBench — SOTA среди open-weight моделей.
Зачем вообще нужен отдельный vision encoder в мультимодальных моделях?
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
Оказывается — незачем. Новая работа изучает scaling laws для "нативных" мультимодальных моделей, обученных с нуля на всех модальностях сразу, без предобученных LLM или vision encoder'ов.
Главные находки:
Early fusion (сырые патчи изображений прямо в трансформер) работает так же хорошо, как late fusion (отдельный энкодер + LLM), но требует меньше параметров. Late fusion просто тратит их впустую.
Scaling laws для таких моделей похожи на законы для текстовых LLM — параметры и токены нужно масштабировать примерно одинаково.
Добавление MoE даёт большой прирост, причём эксперты сами учатся специализироваться по модальностям — особенно в первых и последних слоях. При этом modality-agnostic routing бьёт modality-aware.
Вывод: строить мультимодальные модели с нуля проще и эффективнее, чем склеивать готовые части.
https://arxiv.org/abs/2504.07951
PyTorch выпустил MLX делегат для ExecuTorch — теперь модели на Apple Silicon работают с ускорением на GPU через фреймворк Apple MLX.
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
Раньше пользователи macOS были ограничены CPU-бэкендами вроде XNNPACK. Новый делегат даёт 3-6x прирост производительности на генеративных задачах.
Что поддерживается: Llama, Qwen, Gemma, Phi-4, модели речи Whisper, Voxtral и Parakeet — включая стриминг в реальном времени. Квантизация: BF16, FP16, FP32, 2/4/8-bit и даже NVFP4.
Воркфлоу стандартный: экспортируешь модель через torch.export, применяешь MLXPartitioner, запускаешь .pte файл. Код приложения менять не нужно — тот же ExecuTorch API.
Делегат пока экспериментальный, но уже проверен на 30+ моделях.
https://pytorch.org/blog/running-pytorch-models-on-apple-silicon-gpus-with-the-executorch-mlx-delegate/
ИИ-исследователь, который учится на своих ошибках и не начинает каждый раз с нуля
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
AutoResearchClaw — это мультиагентная система для автономного проведения исследований, которая решает три ключевые проблемы существующих подходов типа AI Scientist.
Во-первых, гипотезы проверяются через дебаты трёх агентов с разными ролями: Инноватор, Прагматик и Скептик — чтобы не было эффекта "сам придумал, сам одобрил". Во-вторых, упавший эксперимент не выбрасывается, а анализируется: система решает — починить текущий подход (Refine) или сменить направление (Pivot). В-третьих, уроки из прошлых запусков сохраняются с временным затуханием и инжектируются в новые попытки.
Плюс есть 7 режимов участия человека: от полной автономии до пошагового одобрения. Оказалось, что точечное вмешательство в ключевых точках бьёт оба крайних варианта.
На бенчмарке ARC-Bench система обгоняет AI Scientist v2 на 54.7%.
https://arxiv.org/abs/2605.20025
EnvFactory: как автоматически строить среды для обучения tool-use агентов
Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.
EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.
Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.
https://arxiv.org/abs/2605.18703
Чтобы обучать LLM-агентов пользоваться инструментами через RL, нужны две вещи: реалистичные исполняемые среды и качественные траектории взаимодействия. Обе проблемы болезненные: реальные API дорогие и медленные, LLM-симуляции галлюцинируют, а синтетические данные выглядят как "списки инструкций", а не живые запросы.
EnvFactory решает это полностью автоматически. Три агента (Search, Code, Test) сами находят реальные онлайн-ресурсы, пишут код окружений с базами данных и проверяют их. Для данных используется topology-aware sampling — граф зависимостей инструментов, где рекурсивно разрешаются зависимости перед выбором следующего шага. Запросы потом "очеловечиваются": добавляется неявность и амбигуэтность.
Результат: 85 сред, 842 инструмента, +15% на BFCLv3 для Qwen3 — при в 5 раз меньшем числе сред, чем у конкурентов.
https://arxiv.org/abs/2605.18703
TDD для веб-приложений: от "запускается" к "работает как надо"
Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.
Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.
Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.
https://arxiv.org/abs/2605.17242
Агенты вроде Cursor или Devin умеют генерировать веб-приложения, но в 70% случаев они не выполняют требования. Проблема: TDD-подход (написал тест → написал код → проверил) не работает для веба, потому что нельзя просто "прочитать вывод компилятора" — нужно деплоить, кликать по кнопкам и наблюдать.
Авторы из CUHK сделали TDDev — фреймворк, который автоматизирует весь цикл: генерирует acceptance-тесты из требований через user personas (в духе "soap opera testing"), деплоит приложение, гоняет браузерного агента по UI, и переводит визуальные баги в конкретные инструкции для починки.
Результат: +34–48 процентных пунктов к качеству над baseline. Важный нюанс: сильным моделям нужен "agentic TDD" (низкий контроль), слабым — инкрементальный. Несовпадение стиля модели и протокола убивает весь профит и увеличивает расход токенов в 25 раз.
https://arxiv.org/abs/2605.17242
Google на I/O 2026 объявила о переходе в «агентную эру» Gemini.
Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.
Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.
Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.
Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.
https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/
Главное: два новых флагмана. Gemini Omni создаёт что угодно из любого типа контента — видео, текст, изображения — и понимает мир на новом уровне. Gemini 3.5 Flash заточен под сложные агентные задачи: он не просто отвечает, а действует.
Платформа Google Antigravity превращает AI из помощника в исполнителя: агенты теперь сами делают дела, а не просто советуют. Universal Cart — умная корзина для покупок, которая работает как агент. В поиске появились Information Agents. Gemini Spark и Daily Brief — новые фичи в приложении.
Из неожиданного: умные очки с навигацией и камерой выйдут осенью, Ask YouTube меняет поиск на платформе, а Co-Scientist помогает учёным ускорять открытия.
Google явно делает ставку на то, что AI перестаёт быть инструментом и становится агентом, который действует за вас.
https://blog.google/innovation-and-ai/technology/developers-tools/google-io-2026-collection/
blog.google
I/O 2026
At Google I/O 2026, we shared how we’re making AI more helpful for everyone. See everything we announced.
Google Gemini запустил Gemini 3.5 Flash — новую модель для агентных задач и кода.
Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.
Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.
Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.
Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/
Что нового: модель обгоняет Gemini 3.1 Pro на бенчмарках по коду и агентным задачам, работает в 4 раза быстрее других флагманских моделей и стоит вдвое дешевле конкурентов. Поддерживает запуск нескольких субагентов параллельно через платформу Google Antigravity.
Почему важно: то, что раньше занимало у разработчика несколько дней — теперь решается за часы. Shopify, Salesforce, Macquarie Bank и Xero уже используют модель для автоматизации сложных многонедельных процессов.
Для обычных пользователей: 3.5 Flash стал дефолтной моделью в приложении Gemini и в AI Mode в поиске. Скоро выйдет личный агент Gemini Spark — он будет работать 24/7 и выполнять задачи от вашего имени. Бета для подписчиков AI Ultra в США — уже на следующей неделе.
Следующий на очереди — Gemini 3.5 Pro, релиз ожидается в июне.
https://blog.google/innovation-and-ai/models-and-research/gemini-models/gemini-3-5/
Google
Gemini 3.5: frontier intelligence with action
At Google I/O we released Gemini 3.5, our latest series of models combining frontier intelligence with action.
Google DeepMind обновил Project Genie — теперь с реальными локациями из Street View.
Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.
Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.
Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.
https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/
Раньше Genie генерировал только фантазийные интерактивные миры. Теперь можно выбрать реальное место на карте США и превратить его в игровую среду: нырнуть под воду у Золотых Ворот, прогуляться по Форт-Уорту в стиле 1920-х или исследовать любимый район в пустынном антураже. Просто выбираешь точку на карте, стиль мира и описываешь своего персонажа — Genie делает остальное.
Технически это важно: модели теперь могут обучаться и взаимодействовать с виртуальными копиями реального мира. Та же технология уже помогает Waymo симулировать дороги.
Доступ открыт подписчикам Google AI Ultra за $200/мес по всему миру. Пока только места в США, расширение обещают позже. Проект всё ещё экспериментальный.
https://deepmind.google/blog/simulate-real-world-places-with-project-genie-and-street-view/