RL для 3D-редактирования сцен без парных данных (by AMAP-ML)
Главная боль 3D-редактирования: нужна мультивью-консистентность, но собрать парные данные почти нереально. Авторы решили это через RL — как в LLM, только вместо "правильного ответа" используют 3D-верификатор.
Идея: берём мощный 2D-редактор FLUX-Kontext, умеющий совместно редактировать несколько изображений, и дообучаем его через GRPO. Reward считает замороженная 3D-модель VGGT — она оценивает геометрическую консистентность по картам уверенности и предсказаниям камерных поз. Никаких парных 3D-данных не нужно!
Результат: метод RL3DEdit обучается на 5% данных по сравнению с конкурентами, работает за один проход (в 2х быстрее), справляется с геометрическими изменениями ("надень капюшон", "поклонись") и сохраняет качество 2D-редактирования.
По сути — это SDS, но вместо диффузионной модели как оракула качества используется 3D foundation model как оракул консистентности.
https://arxiv.org/abs/2603.03143
Главная боль 3D-редактирования: нужна мультивью-консистентность, но собрать парные данные почти нереально. Авторы решили это через RL — как в LLM, только вместо "правильного ответа" используют 3D-верификатор.
Идея: берём мощный 2D-редактор FLUX-Kontext, умеющий совместно редактировать несколько изображений, и дообучаем его через GRPO. Reward считает замороженная 3D-модель VGGT — она оценивает геометрическую консистентность по картам уверенности и предсказаниям камерных поз. Никаких парных 3D-данных не нужно!
Результат: метод RL3DEdit обучается на 5% данных по сравнению с конкурентами, работает за один проход (в 2х быстрее), справляется с геометрическими изменениями ("надень капюшон", "поклонись") и сохраняет качество 2D-редактирования.
По сути — это SDS, но вместо диффузионной модели как оракула качества используется 3D foundation model как оракул консистентности.
https://arxiv.org/abs/2603.03143
RLVR без разметки: красивая идея с неприятным потолком
Обычный RLVR (как в DeepSeek-R1) требует правильных ответов для обучения. А что если учить модель вообще без разметки — только на её собственных сигналах? Это и есть Unsupervised RLVR (URLVR).
Авторы провели масштабный анализ таких методов и обнаружили неприятную закономерность: все intrinsic-методы (majority voting, entropy-based rewards и т.п.) делают одно и то же — они "заостряют" (sharpening) исходное распределение модели. То есть усиливают то, во что модель уже верила, а не учат чему-то новому.
Следствие: если модель изначально была права — URLVR помогает. Если нет — коллапс неизбежен. Все методы следуют паттерну "рост, потом падение", различаясь лишь когда именно падают.
Что работает: intrinsic URLVR полезен для test-time training на маленьких доменных датасетах. А для масштабирования нужны внешние награды — например, через асимметрию генерации и верификации (self-verification).
https://arxiv.org/abs/2603.08660
Обычный RLVR (как в DeepSeek-R1) требует правильных ответов для обучения. А что если учить модель вообще без разметки — только на её собственных сигналах? Это и есть Unsupervised RLVR (URLVR).
Авторы провели масштабный анализ таких методов и обнаружили неприятную закономерность: все intrinsic-методы (majority voting, entropy-based rewards и т.п.) делают одно и то же — они "заостряют" (sharpening) исходное распределение модели. То есть усиливают то, во что модель уже верила, а не учат чему-то новому.
Следствие: если модель изначально была права — URLVR помогает. Если нет — коллапс неизбежен. Все методы следуют паттерну "рост, потом падение", различаясь лишь когда именно падают.
Что работает: intrinsic URLVR полезен для test-time training на маленьких доменных датасетах. А для масштабирования нужны внешние награды — например, через асимметрию генерации и верификации (self-verification).
https://arxiv.org/abs/2603.08660
Первая any-to-any мультимодальная модель без авторегрессии (by Nanjing University)
Omni-Diffusion — первая система, которая объединяет текст, изображения и речь через единую маскированную дискретную диффузию. Никакого авторегрессивного LLM в основе!
Идея проста: токенизируем все модальности в дискретные токены, случайно маскируем их и учим модель восстанавливать оригинал. На инференсе стартуем с полностью замаскированной последовательности и итеративно декодируем.
Ключевые трюки:
- трёхэтапный прогрессивный пайплайн обучения
- position penalty для улучшения качества изображений
- special token pre-infilling для речевой генерации
- attenuated tail-pad masking для переменной длины ответов
Результат: качество сравнимо с авторегрессивными мультимодальными системами, плюс параллельный декодинг и нативное управление структурой вывода. Диффузия наступает на пятки LLM-парадигме.
https://arxiv.org/abs/2603.06577
Omni-Diffusion — первая система, которая объединяет текст, изображения и речь через единую маскированную дискретную диффузию. Никакого авторегрессивного LLM в основе!
Идея проста: токенизируем все модальности в дискретные токены, случайно маскируем их и учим модель восстанавливать оригинал. На инференсе стартуем с полностью замаскированной последовательности и итеративно декодируем.
Ключевые трюки:
- трёхэтапный прогрессивный пайплайн обучения
- position penalty для улучшения качества изображений
- special token pre-infilling для речевой генерации
- attenuated tail-pad masking для переменной длины ответов
Результат: качество сравнимо с авторегрессивными мультимодальными системами, плюс параллельный декодинг и нативное управление структурой вывода. Диффузия наступает на пятки LLM-парадигме.
https://arxiv.org/abs/2603.06577
OpenAI улучшила иерархию инструкций в своих моделях
Компания представила IH-Challenge — подход к обучению, который учит модели правильно расставлять приоритеты между инструкциями от разных источников. Теперь модель чётче понимает, чьим командам доверять больше: системному промпту разработчика, запросу пользователя или внешнему тексту.
Главный практический эффект — повышенная устойчивость к prompt injection атакам. Это когда вредоносный текст в документе или на веб-странице пытается «перехватить» управление моделью и заставить её игнорировать исходные инструкции.
Для разработчиков это означает более предсказуемое поведение моделей в продакшене, а для бизнеса — меньше рисков при работе с пользовательским контентом. Безопасность и управляемость моделей растут — и это важный шаг для всей индустрии.
https://openai.com/index/instruction-hierarchy-challenge
Компания представила IH-Challenge — подход к обучению, который учит модели правильно расставлять приоритеты между инструкциями от разных источников. Теперь модель чётче понимает, чьим командам доверять больше: системному промпту разработчика, запросу пользователя или внешнему тексту.
Главный практический эффект — повышенная устойчивость к prompt injection атакам. Это когда вредоносный текст в документе или на веб-странице пытается «перехватить» управление моделью и заставить её игнорировать исходные инструкции.
Для разработчиков это означает более предсказуемое поведение моделей в продакшене, а для бизнеса — меньше рисков при работе с пользовательским контентом. Безопасность и управляемость моделей растут — и это важный шаг для всей индустрии.
https://openai.com/index/instruction-hierarchy-challenge
OpenAI
Improving instruction hierarchy in frontier LLMs
IH-Challenge trains models to prioritize trusted instructions, improving instruction hierarchy, safety steerability, and resistance to prompt injection attacks.
Google Gemini обновил ИИ-помощника в Google Sheets
Gemini в Google Таблицах получил новые бета-функции: теперь можно создавать, редактировать и организовывать целые таблицы — от простых задач до сложного анализа данных. Просто описываешь, что нужно, и ИИ делает сам.
Главное достижение — результат 70,48% на бенчмарке SpreadsheetBench, который проверяет модели на реальных сценариях работы с таблицами. Это лучший показатель среди конкурентов и вплотную приближается к уровню эксперта-человека.
Для пользователей это значит: меньше ручной работы с формулами и форматированием, больше времени на реальные задачи. Обновления также коснулись Google Docs, Drive и Slides.
https://blog.google/products-and-platforms/products/workspace/gemini-google-sheets-state-of-the-art/
Gemini в Google Таблицах получил новые бета-функции: теперь можно создавать, редактировать и организовывать целые таблицы — от простых задач до сложного анализа данных. Просто описываешь, что нужно, и ИИ делает сам.
Главное достижение — результат 70,48% на бенчмарке SpreadsheetBench, который проверяет модели на реальных сценариях работы с таблицами. Это лучший показатель среди конкурентов и вплотную приближается к уровню эксперта-человека.
Для пользователей это значит: меньше ручной работы с формулами и форматированием, больше времени на реальные задачи. Обновления также коснулись Google Docs, Drive и Slides.
https://blog.google/products-and-platforms/products/workspace/gemini-google-sheets-state-of-the-art/
Google
Gemini in Google Sheets just achieved state-of-the-art performance.
Today we announced new beta features for Gemini in Sheets to help you create, organize and edit entire sheets, from basic tasks to complex data analysis — just describe …
Google DeepMind отмечает 10 лет с момента создания AlphaGo — системы, которая впервые победила чемпиона мира по игре в го.
Но главное не сама победа, а то, что случилось потом. Подходы, отработанные на AlphaGo, легли в основу AlphaFold — инструмента, который предсказывает структуры белков и буквально изменил биологию и медицину. Сегодня эти методы применяются в разработке лекарств, изучении болезней и десятках других научных областей.
За 10 лет AlphaGo превратился из шахматного эксперимента в доказательство того, что ИИ способен решать реальные научные задачи. Google DeepMind использует этот юбилей как напоминание: игры были лишь полигоном, а настоящая цель — наука и польза для людей.
https://deepmind.google/blog/10-years-of-alphago/
Но главное не сама победа, а то, что случилось потом. Подходы, отработанные на AlphaGo, легли в основу AlphaFold — инструмента, который предсказывает структуры белков и буквально изменил биологию и медицину. Сегодня эти методы применяются в разработке лекарств, изучении болезней и десятках других научных областей.
За 10 лет AlphaGo превратился из шахматного эксперимента в доказательство того, что ИИ способен решать реальные научные задачи. Google DeepMind использует этот юбилей как напоминание: игры были лишь полигоном, а настоящая цель — наука и польза для людей.
https://deepmind.google/blog/10-years-of-alphago/
Google DeepMind
AlphaGo at 10: How AI Innovation Is Paving the Path to AGI
Ten years since AlphaGo, we explore how its search and learning methods are catalyzing scientific discovery and paving a path to AGI.
Ноам Браун (исследователь OpenAI) заметил любопытную параллель: современные reasoning-модели устроены почти так же, как AlphaGo десятилетней давности.
Рецепт одинаковый: сначала учишь модель подражать людям на огромном количестве данных, потом масштабируешь вычисления во время инференса чтобы она лучше "думала" — раньше это был метод Монте-Карло, сейчас цепочки рассуждений (Chain of Thought). И наконец — обучение с подкреплением, чтобы выйти за пределы простого подражания и научиться чему-то новому.
По сути, прорыв AlphaGo в го и прорыв o1/DeepSeek в рассуждениях — это одна и та же идея, просто применённая к разным задачам. История повторяется.
https://x.com/polynoamial/status/2031404079583473953
Рецепт одинаковый: сначала учишь модель подражать людям на огромном количестве данных, потом масштабируешь вычисления во время инференса чтобы она лучше "думала" — раньше это был метод Монте-Карло, сейчас цепочки рассуждений (Chain of Thought). И наконец — обучение с подкреплением, чтобы выйти за пределы простого подражания и научиться чему-то новому.
По сути, прорыв AlphaGo в го и прорыв o1/DeepSeek в рассуждениях — это одна и та же идея, просто применённая к разным задачам. История повторяется.
https://x.com/polynoamial/status/2031404079583473953
X (formerly Twitter)
Noam Brown (@polynoamial) on X
The recipe behind today’s frontier reasoning models is surprisingly similar to AlphaGo:
1) Imitate large amounts of human data
2) Scale inference compute to reason better (back then it was Monte Carlo Tree Search, today it's Chain of Thought)
3) Use RL…
1) Imitate large amounts of human data
2) Scale inference compute to reason better (back then it was Monte Carlo Tree Search, today it's Chain of Thought)
3) Use RL…
👍1
OpenClaw-RL: агент учится прямо в процессе разговора (by Princeton AI Lab)
Каждый раз, когда агент что-то делает, он получает ответ: пользователь недоволен, тест упал, GUI сменил состояние. Обычно это просто контекст для следующего шага. OpenClaw-RL предлагает использовать эти сигналы как живой источник обучения — прямо во время деплоя, без остановки сервиса.
Два ключевых метода:
1. Binary RL — PRM-судья конвертирует реакцию среды в пошаговую скалярную награду.
2. Hindsight-Guided OPD — если пользователь написал "надо было сначала проверить файл", система извлекает это как директивный сигнал и дистиллирует на уровне токенов обратно в модель.
Архитектура полностью асинхронная: inference, сбор роллаутов, PRM-судья и обучение — четыре независимых цикла без блокировок. Работает для терминала, GUI, SWE и tool-call агентов одновременно.
https://arxiv.org/abs/2603.10165
Каждый раз, когда агент что-то делает, он получает ответ: пользователь недоволен, тест упал, GUI сменил состояние. Обычно это просто контекст для следующего шага. OpenClaw-RL предлагает использовать эти сигналы как живой источник обучения — прямо во время деплоя, без остановки сервиса.
Два ключевых метода:
1. Binary RL — PRM-судья конвертирует реакцию среды в пошаговую скалярную награду.
2. Hindsight-Guided OPD — если пользователь написал "надо было сначала проверить файл", система извлекает это как директивный сигнал и дистиллирует на уровне токенов обратно в модель.
Архитектура полностью асинхронная: inference, сбор роллаутов, PRM-судья и обучение — четыре независимых цикла без блокировок. Работает для терминала, GUI, SWE и tool-call агентов одновременно.
https://arxiv.org/abs/2603.10165
Думать, чтобы вспомнить: зачем LLM нужна цепочка рассуждений для простых фактов? (by Google)
Казалось бы, зачем модели "думать вслух" перед ответом на простой вопрос типа "В каком году родился Эйнштейн?"
Оказывается, reasoning существенно расширяет границу параметрических знаний модели — то есть помогает извлечь факты, которые без рассуждений практически недостижимы. Авторы выявили два механизма:
1. Вычислительный буфер — токены рассуждения дают модели "время подумать" даже без смыслового содержания.
2. Фактическое прайминг — модель сама генерирует связанные факты, которые помогают вспомнить нужный ответ (этакий self-retrieval).
Но есть риск: галлюцинации в промежуточных рассуждениях резко повышают вероятность галлюцинации в финальном ответе. Менее мощные модели выигрывают от reasoning больше — у них больше "скрытых знаний".
https://arxiv.org/abs/2603.09906
Казалось бы, зачем модели "думать вслух" перед ответом на простой вопрос типа "В каком году родился Эйнштейн?"
Оказывается, reasoning существенно расширяет границу параметрических знаний модели — то есть помогает извлечь факты, которые без рассуждений практически недостижимы. Авторы выявили два механизма:
1. Вычислительный буфер — токены рассуждения дают модели "время подумать" даже без смыслового содержания.
2. Фактическое прайминг — модель сама генерирует связанные факты, которые помогают вспомнить нужный ответ (этакий self-retrieval).
Но есть риск: галлюцинации в промежуточных рассуждениях резко повышают вероятность галлюцинации в финальном ответе. Менее мощные модели выигрывают от reasoning больше — у них больше "скрытых знаний".
https://arxiv.org/abs/2603.09906
MM-Zero: VLM сама себе учитель (by NVIDIA)
Что если обучить мультимодальную модель вообще без единого реального изображения? NVIDIA придумала MM-Zero — систему из трёх агентов, которые эволюционируют вместе через self-play.
Как это работает: три роли, инициализированные из одного базового VLM:
— Proposer придумывает сцену и вопросы (лёгкий + сложный)
— Coder генерирует Python/SVG код, который рендерит картинку
— Solver отвечает на вопросы по этой картинке
Каждый агент учится на сигналах от других через GRPO. Proposer получает награду если задача «в самый раз» — не слишком лёгкая и не слишком сложная. Coder учится по качеству рендеринга. Solver — по правильности ответов.
Результат: Qwen3-VL и Mimo-VL стабильно улучшились на мультимодальных бенчмарках — без единого реального обучающего примера.
https://arxiv.org/abs/2603.09206
Что если обучить мультимодальную модель вообще без единого реального изображения? NVIDIA придумала MM-Zero — систему из трёх агентов, которые эволюционируют вместе через self-play.
Как это работает: три роли, инициализированные из одного базового VLM:
— Proposer придумывает сцену и вопросы (лёгкий + сложный)
— Coder генерирует Python/SVG код, который рендерит картинку
— Solver отвечает на вопросы по этой картинке
Каждый агент учится на сигналах от других через GRPO. Proposer получает награду если задача «в самый раз» — не слишком лёгкая и не слишком сложная. Coder учится по качеству рендеринга. Solver — по правильности ответов.
Результат: Qwen3-VL и Mimo-VL стабильно улучшились на мультимодальных бенчмарках — без единого реального обучающего примера.
https://arxiv.org/abs/2603.09206
❤1
Могут ли VLM посчитать, на каком расстоянии игрок от сетки?
Оказывается, нет — даже лучшие модели проваливаются на задачах пространственного мышления в спорте. Авторы представили CourtSI: датасет из 1M+ QA-пар и бенчмарк на 3686 вопросов о бадминтоне, теннисе и настольном теннисе.
Фишка в пайплайне: корты имеют стандартную геометрию, поэтому авторы восстанавливают 3D-сцену из обычных трансляций через PnP-солвер по угловым точкам корта. Это даёт точность на уровне сантиметров без специального оборудования.
Тесты 25 топовых VLM показали: все сильно отстают от человека, особенно на измерении расстояний. Файнтюнинг Qwen3-VL-8B на CourtSI дал +23.5 п.п. точности, а модель обобщилась на пиклбол — спорт, которого не видела в обучении.
https://arxiv.org/abs/2603.09896
Оказывается, нет — даже лучшие модели проваливаются на задачах пространственного мышления в спорте. Авторы представили CourtSI: датасет из 1M+ QA-пар и бенчмарк на 3686 вопросов о бадминтоне, теннисе и настольном теннисе.
Фишка в пайплайне: корты имеют стандартную геометрию, поэтому авторы восстанавливают 3D-сцену из обычных трансляций через PnP-солвер по угловым точкам корта. Это даёт точность на уровне сантиметров без специального оборудования.
Тесты 25 топовых VLM показали: все сильно отстают от человека, особенно на измерении расстояний. Файнтюнинг Qwen3-VL-8B на CourtSI дал +23.5 п.п. точности, а модель обобщилась на пиклбол — спорт, которого не видела в обучении.
https://arxiv.org/abs/2603.09896
Модель видит текст, но не думает над ним — вот в чём проблема (by Johns Hopkins)
Когда ты показываешь мультимодальной LLM текст как картинку вместо токенов — она тупит. На задачах по математике разрыв достигает 60+ процентных пунктов. Но почему?
Авторы провели анализ 4000+ ошибок и выяснили: image-режим ломает чтение, а не мышление. Модель делает больше перцептивных и вычислительных ошибок, но концептуальные ошибки остаются теми же. Плюс — модель перестаёт генерировать chain-of-thought, выдавая короткие ответы вместо пошаговых рассуждений.
Бонусный инсайт: выбор шрифта один влияет на точность до 47%!
Решение — self-distillation: модель обучается на своих же текстовых рассуждениях, но с image-входом. Результат: GSM8K вырастает с 30.71% до 92.72% в image-режиме.
https://arxiv.org/abs/2603.09095
Когда ты показываешь мультимодальной LLM текст как картинку вместо токенов — она тупит. На задачах по математике разрыв достигает 60+ процентных пунктов. Но почему?
Авторы провели анализ 4000+ ошибок и выяснили: image-режим ломает чтение, а не мышление. Модель делает больше перцептивных и вычислительных ошибок, но концептуальные ошибки остаются теми же. Плюс — модель перестаёт генерировать chain-of-thought, выдавая короткие ответы вместо пошаговых рассуждений.
Бонусный инсайт: выбор шрифта один влияет на точность до 47%!
Решение — self-distillation: модель обучается на своих же текстовых рассуждениях, но с image-входом. Результат: GSM8K вырастает с 30.71% до 92.72% в image-режиме.
https://arxiv.org/abs/2603.09095
OpenAI рассказала, как защищает своих AI-агентов от prompt injection — одной из главных угроз при автономной работе моделей.
Суть атаки: вредоносный текст в письме, документе или на сайте пытается «перехватить» управление агентом и заставить его выполнить опасные действия — слить данные, отправить сообщения или изменить настройки.
Как ChatGPT с этим борется: агенты теперь работают с ограниченными правами по умолчанию — рискованные действия требуют явного подтверждения. Чувствительные данные изолируются и не передаются дальше по цепочке без необходимости. Модель также обучена распознавать попытки социальной инженерии внутри контента.
Почему это важно: по мере того как агенты берут на себя реальные задачи — читают почту, управляют файлами, совершают действия в браузере — цена ошибки резко растёт. Эти меры делают автономные сценарии заметно безопаснее для бизнеса и обычных пользователей.
https://openai.com/index/designing-agents-to-resist-prompt-injection
Суть атаки: вредоносный текст в письме, документе или на сайте пытается «перехватить» управление агентом и заставить его выполнить опасные действия — слить данные, отправить сообщения или изменить настройки.
Как ChatGPT с этим борется: агенты теперь работают с ограниченными правами по умолчанию — рискованные действия требуют явного подтверждения. Чувствительные данные изолируются и не передаются дальше по цепочке без необходимости. Модель также обучена распознавать попытки социальной инженерии внутри контента.
Почему это важно: по мере того как агенты берут на себя реальные задачи — читают почту, управляют файлами, совершают действия в браузере — цена ошибки резко растёт. Эти меры делают автономные сценарии заметно безопаснее для бизнеса и обычных пользователей.
https://openai.com/index/designing-agents-to-resist-prompt-injection
OpenAI
Designing AI agents to resist prompt injection
How ChatGPT defends against prompt injection and social engineering by constraining risky actions and protecting sensitive data in agent workflows.
OpenAI запустила агентную среду на базе Responses API.
Компания показала, как превратить языковую модель в полноценного агента: теперь Responses API поддерживает shell-инструмент и изолированные облачные контейнеры. Агент может работать с файлами, запускать команды в терминале, использовать инструменты — и всё это в безопасной, масштабируемой среде без лишней инфраструктуры на стороне разработчика.
Проще говоря: раньше нужно было самому поднимать окружение для агента, следить за состоянием и безопасностью. Теперь OpenAI берёт это на себя — контейнер живёт на их стороне, хранит состояние между вызовами и изолирован от остальных процессов.
Для разработчиков это серьёзное упрощение: меньше DevOps, больше фокуса на логике агента. Фактически OpenAI строит полноценный runtime для агентов прямо внутри своего API.
https://openai.com/index/equip-responses-api-computer-environment
Компания показала, как превратить языковую модель в полноценного агента: теперь Responses API поддерживает shell-инструмент и изолированные облачные контейнеры. Агент может работать с файлами, запускать команды в терминале, использовать инструменты — и всё это в безопасной, масштабируемой среде без лишней инфраструктуры на стороне разработчика.
Проще говоря: раньше нужно было самому поднимать окружение для агента, следить за состоянием и безопасностью. Теперь OpenAI берёт это на себя — контейнер живёт на их стороне, хранит состояние между вызовами и изолирован от остальных процессов.
Для разработчиков это серьёзное упрощение: меньше DevOps, больше фокуса на логике агента. Фактически OpenAI строит полноценный runtime для агентов прямо внутри своего API.
https://openai.com/index/equip-responses-api-computer-environment
OpenAI
From model to agent: Equipping the Responses API with a computer environment
How OpenAI built an agent runtime using the Responses API, shell tool, and hosted containers to run secure, scalable agents with files, tools, and state.
Microsoft Research представила PlugMem — систему, которая превращает сырые взаимодействия AI-агентов в переиспользуемые знания.
Суть проблемы: AI-агенты каждый раз начинают с нуля, не запоминая опыт прошлых задач. PlugMem решает это, автоматически извлекая полезные паттерны из истории работы агента и сохраняя их в структурированную "память".
Что это даёт на практике: агент, который уже решал похожую задачу, не будет изобретать велосипед заново. Он обращается к накопленным знаниям и работает быстрее и точнее.
Технология разработана в рамках проекта CORPGEN, направленного на адаптацию AI-агентов к реальным рабочим сценариям — корпоративным процессам, где повторяемость и накопление экспертизы критически важны.
Для пользователей это означает более умных и эффективных агентов-помощников, которые со временем становятся лучше — как опытный сотрудник, а не вечный стажёр.
https://www.microsoft.com/en-us/research/blog/from-raw-interaction-to-reusable-knowledge-rethinking-memory-for-ai-agents/
Суть проблемы: AI-агенты каждый раз начинают с нуля, не запоминая опыт прошлых задач. PlugMem решает это, автоматически извлекая полезные паттерны из истории работы агента и сохраняя их в структурированную "память".
Что это даёт на практике: агент, который уже решал похожую задачу, не будет изобретать велосипед заново. Он обращается к накопленным знаниям и работает быстрее и точнее.
Технология разработана в рамках проекта CORPGEN, направленного на адаптацию AI-агентов к реальным рабочим сценариям — корпоративным процессам, где повторяемость и накопление экспертизы критически важны.
Для пользователей это означает более умных и эффективных агентов-помощников, которые со временем становятся лучше — как опытный сотрудник, а не вечный стажёр.
https://www.microsoft.com/en-us/research/blog/from-raw-interaction-to-reusable-knowledge-rethinking-memory-for-ai-agents/
Microsoft Research
PlugMem: A single memory system adaptable across AI agent tasks
PlugMem transforms AI agents’ interaction histories into structured, reusable knowledge. It integrates with any agent, supports diverse tasks and memory types, and maximizes decision quality while significantly reducing memory token use:
❤1
Джефф Дин (глава Google DeepMind) поделился впечатляющими результатами совместного исследования Google Research, британской NHS и Имперского колледжа Лондона.
ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.
Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.
https://x.com/JeffDean/status/2031889502424469660
ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.
Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.
https://x.com/JeffDean/status/2031889502424469660
X (formerly Twitter)
Jeff Dean (@JeffDean) on X
Excited to see this joint collaboration between @GoogleResearch, @NHSuk and @imperialcollege showing AI’s potential to detect 25% of the interval cancers previously missed by conventional methods. Additionally, the research found AI can reduce screening workloads…
Meta рассказала об эволюции своего собственного чипа MTIA (Meta Training and Inference Accelerator) — фирменного железа для обучения и запуска ИИ-моделей.
Главная мысль: без своего кремния масштабировать ИИ следующего поколения не получится. Традиционные циклы разработки чипов занимают годы, а архитектуры моделей меняются куда быстрее — поэтому Meta делает ставку на собственное железо, заточенное именно под её задачи.
Это прямой ответ на зависимость от Nvidia и попытка пойти по пути Google (TPU) и Amazon (Trainium). Своя микросхема — это контроль над производительностью, стоимостью и скоростью итераций.
https://x.com/AIatMeta/status/2031735560948068790
Главная мысль: без своего кремния масштабировать ИИ следующего поколения не получится. Традиционные циклы разработки чипов занимают годы, а архитектуры моделей меняются куда быстрее — поэтому Meta делает ставку на собственное железо, заточенное именно под её задачи.
Это прямой ответ на зависимость от Nvidia и попытка пойти по пути Google (TPU) и Amazon (Trainium). Своя микросхема — это контроль над производительностью, стоимостью и скоростью итераций.
https://x.com/AIatMeta/status/2031735560948068790
X (formerly Twitter)
AI at Meta (@AIatMeta) on X
Custom silicon is critical to scaling next-gen AI. We’re detailing the evolution of the Meta Training and Inference Accelerator (MTIA), our homegrown silicon family designed to power the next era of AI experiences.
Traditional chip cycles span years, but…
Traditional chip cycles span years, but…
K-Means на GPU ускорили в 200 раз — и без всяких приближений (by UC Berkeley)
K-means давно считается «решённой» задачей. Но когда его начали встраивать прямо в forward pass LLM-ов и диффузионных трансформеров — выяснилось, что стандартные реализации катастрофически медленные.
Главная проблема: на каждой итерации нужно вычислить матрицу расстояний N×K и сохранить её в память GPU. При N=65k, K=1024 само вычисление занимает 2.6 мс, а запись/чтение матрицы — 23 мс. Плюс атомарные конфликты при обновлении центроидов.
Авторы сделали Flash-KMeans по аналогии с FlashAttention: FlashAssign стримит данные блоками и сразу считает argmin на лету, никогда не материализуя огромную матрицу. Для обновления центроидов — сортируют точки по кластерам и делают регулярные сегментные операции вместо атомарных scatter-записей.
Результат: до 21x на assignment, до 6x на update, итого до 200x против FAISS и 33x против cuML. Математика — та же самая, нулевых приближений нет.
https://arxiv.org/abs/2603.09229
K-means давно считается «решённой» задачей. Но когда его начали встраивать прямо в forward pass LLM-ов и диффузионных трансформеров — выяснилось, что стандартные реализации катастрофически медленные.
Главная проблема: на каждой итерации нужно вычислить матрицу расстояний N×K и сохранить её в память GPU. При N=65k, K=1024 само вычисление занимает 2.6 мс, а запись/чтение матрицы — 23 мс. Плюс атомарные конфликты при обновлении центроидов.
Авторы сделали Flash-KMeans по аналогии с FlashAttention: FlashAssign стримит данные блоками и сразу считает argmin на лету, никогда не материализуя огромную матрицу. Для обновления центроидов — сортируют точки по кластерам и делают регулярные сегментные операции вместо атомарных scatter-записей.
Результат: до 21x на assignment, до 6x на update, итого до 200x против FAISS и 33x против cuML. Математика — та же самая, нулевых приближений нет.
https://arxiv.org/abs/2603.09229
SVG-EAR: считай не то, что важно, а то, где ошибаешься (by UC Berkeley)
Ускорение видеогенерации через sparse attention — горячая тема. Стандартный подход: кластеризуй токены, выбирай top-k блоков по attention score, остальное выбрасывай. Проблема: "неважные" блоки всё равно несут глобальный контекст — фон, слабые дальние зависимости.
Авторы делают два хода:
1. Вместо выброса низкоскоровых блоков — parameter-free линейная компенсация через центроиды кластеров. Ноль обучаемых параметров, plug-and-play.
2. Главная идея: если компенсация есть, то выбирать блоки по score — неправильно! Надо выбирать те блоки, где компенсация ошибается сильнее всего. Высокий score ≠ плохая аппроксимация центроидом.
SVG-EAR оценивает ошибку компенсации для каждого блока через лёгкий probing (запросы заменяются центроидами, сложность O(CqNkd) вместо квадратичной), и направляет точные вычисления туда, где компенсация "ломается".
Результат: до 1.93× ускорение на HunyuanVideo при сопоставимом PSNR.
Ускорение видеогенерации через sparse attention — горячая тема. Стандартный подход: кластеризуй токены, выбирай top-k блоков по attention score, остальное выбрасывай. Проблема: "неважные" блоки всё равно несут глобальный контекст — фон, слабые дальние зависимости.
Авторы делают два хода:
1. Вместо выброса низкоскоровых блоков — parameter-free линейная компенсация через центроиды кластеров. Ноль обучаемых параметров, plug-and-play.
2. Главная идея: если компенсация есть, то выбирать блоки по score — неправильно! Надо выбирать те блоки, где компенсация ошибается сильнее всего. Высокий score ≠ плохая аппроксимация центроидом.
SVG-EAR оценивает ошибку компенсации для каждого блока через лёгкий probing (запросы заменяются центроидами, сложность O(CqNkd) вместо квадратичной), и направляет точные вычисления туда, где компенсация "ломается".
Результат: до 1.93× ускорение на HunyuanVideo при сопоставимом PSNR.
Лучшее из двух миров: детерминированная глубина видео с генеративными приорами
Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).
Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания
Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.
https://arxiv.org/abs/2603.12250
Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).
Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания
Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.
https://arxiv.org/abs/2603.12250
Один референс-аудио + одна картинка = полноценное видео с голосом в новом контексте
Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.
Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:
1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.
2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.
Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.
Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:
1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.
2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.