Думать, чтобы вспомнить: зачем LLM нужна цепочка рассуждений для простых фактов? (by Google)
Казалось бы, зачем модели "думать вслух" перед ответом на простой вопрос типа "В каком году родился Эйнштейн?"
Оказывается, reasoning существенно расширяет границу параметрических знаний модели — то есть помогает извлечь факты, которые без рассуждений практически недостижимы. Авторы выявили два механизма:
1. Вычислительный буфер — токены рассуждения дают модели "время подумать" даже без смыслового содержания.
2. Фактическое прайминг — модель сама генерирует связанные факты, которые помогают вспомнить нужный ответ (этакий self-retrieval).
Но есть риск: галлюцинации в промежуточных рассуждениях резко повышают вероятность галлюцинации в финальном ответе. Менее мощные модели выигрывают от reasoning больше — у них больше "скрытых знаний".
https://arxiv.org/abs/2603.09906
Казалось бы, зачем модели "думать вслух" перед ответом на простой вопрос типа "В каком году родился Эйнштейн?"
Оказывается, reasoning существенно расширяет границу параметрических знаний модели — то есть помогает извлечь факты, которые без рассуждений практически недостижимы. Авторы выявили два механизма:
1. Вычислительный буфер — токены рассуждения дают модели "время подумать" даже без смыслового содержания.
2. Фактическое прайминг — модель сама генерирует связанные факты, которые помогают вспомнить нужный ответ (этакий self-retrieval).
Но есть риск: галлюцинации в промежуточных рассуждениях резко повышают вероятность галлюцинации в финальном ответе. Менее мощные модели выигрывают от reasoning больше — у них больше "скрытых знаний".
https://arxiv.org/abs/2603.09906
MM-Zero: VLM сама себе учитель (by NVIDIA)
Что если обучить мультимодальную модель вообще без единого реального изображения? NVIDIA придумала MM-Zero — систему из трёх агентов, которые эволюционируют вместе через self-play.
Как это работает: три роли, инициализированные из одного базового VLM:
— Proposer придумывает сцену и вопросы (лёгкий + сложный)
— Coder генерирует Python/SVG код, который рендерит картинку
— Solver отвечает на вопросы по этой картинке
Каждый агент учится на сигналах от других через GRPO. Proposer получает награду если задача «в самый раз» — не слишком лёгкая и не слишком сложная. Coder учится по качеству рендеринга. Solver — по правильности ответов.
Результат: Qwen3-VL и Mimo-VL стабильно улучшились на мультимодальных бенчмарках — без единого реального обучающего примера.
https://arxiv.org/abs/2603.09206
Что если обучить мультимодальную модель вообще без единого реального изображения? NVIDIA придумала MM-Zero — систему из трёх агентов, которые эволюционируют вместе через self-play.
Как это работает: три роли, инициализированные из одного базового VLM:
— Proposer придумывает сцену и вопросы (лёгкий + сложный)
— Coder генерирует Python/SVG код, который рендерит картинку
— Solver отвечает на вопросы по этой картинке
Каждый агент учится на сигналах от других через GRPO. Proposer получает награду если задача «в самый раз» — не слишком лёгкая и не слишком сложная. Coder учится по качеству рендеринга. Solver — по правильности ответов.
Результат: Qwen3-VL и Mimo-VL стабильно улучшились на мультимодальных бенчмарках — без единого реального обучающего примера.
https://arxiv.org/abs/2603.09206
❤1
Могут ли VLM посчитать, на каком расстоянии игрок от сетки?
Оказывается, нет — даже лучшие модели проваливаются на задачах пространственного мышления в спорте. Авторы представили CourtSI: датасет из 1M+ QA-пар и бенчмарк на 3686 вопросов о бадминтоне, теннисе и настольном теннисе.
Фишка в пайплайне: корты имеют стандартную геометрию, поэтому авторы восстанавливают 3D-сцену из обычных трансляций через PnP-солвер по угловым точкам корта. Это даёт точность на уровне сантиметров без специального оборудования.
Тесты 25 топовых VLM показали: все сильно отстают от человека, особенно на измерении расстояний. Файнтюнинг Qwen3-VL-8B на CourtSI дал +23.5 п.п. точности, а модель обобщилась на пиклбол — спорт, которого не видела в обучении.
https://arxiv.org/abs/2603.09896
Оказывается, нет — даже лучшие модели проваливаются на задачах пространственного мышления в спорте. Авторы представили CourtSI: датасет из 1M+ QA-пар и бенчмарк на 3686 вопросов о бадминтоне, теннисе и настольном теннисе.
Фишка в пайплайне: корты имеют стандартную геометрию, поэтому авторы восстанавливают 3D-сцену из обычных трансляций через PnP-солвер по угловым точкам корта. Это даёт точность на уровне сантиметров без специального оборудования.
Тесты 25 топовых VLM показали: все сильно отстают от человека, особенно на измерении расстояний. Файнтюнинг Qwen3-VL-8B на CourtSI дал +23.5 п.п. точности, а модель обобщилась на пиклбол — спорт, которого не видела в обучении.
https://arxiv.org/abs/2603.09896
Модель видит текст, но не думает над ним — вот в чём проблема (by Johns Hopkins)
Когда ты показываешь мультимодальной LLM текст как картинку вместо токенов — она тупит. На задачах по математике разрыв достигает 60+ процентных пунктов. Но почему?
Авторы провели анализ 4000+ ошибок и выяснили: image-режим ломает чтение, а не мышление. Модель делает больше перцептивных и вычислительных ошибок, но концептуальные ошибки остаются теми же. Плюс — модель перестаёт генерировать chain-of-thought, выдавая короткие ответы вместо пошаговых рассуждений.
Бонусный инсайт: выбор шрифта один влияет на точность до 47%!
Решение — self-distillation: модель обучается на своих же текстовых рассуждениях, но с image-входом. Результат: GSM8K вырастает с 30.71% до 92.72% в image-режиме.
https://arxiv.org/abs/2603.09095
Когда ты показываешь мультимодальной LLM текст как картинку вместо токенов — она тупит. На задачах по математике разрыв достигает 60+ процентных пунктов. Но почему?
Авторы провели анализ 4000+ ошибок и выяснили: image-режим ломает чтение, а не мышление. Модель делает больше перцептивных и вычислительных ошибок, но концептуальные ошибки остаются теми же. Плюс — модель перестаёт генерировать chain-of-thought, выдавая короткие ответы вместо пошаговых рассуждений.
Бонусный инсайт: выбор шрифта один влияет на точность до 47%!
Решение — self-distillation: модель обучается на своих же текстовых рассуждениях, но с image-входом. Результат: GSM8K вырастает с 30.71% до 92.72% в image-режиме.
https://arxiv.org/abs/2603.09095
OpenAI рассказала, как защищает своих AI-агентов от prompt injection — одной из главных угроз при автономной работе моделей.
Суть атаки: вредоносный текст в письме, документе или на сайте пытается «перехватить» управление агентом и заставить его выполнить опасные действия — слить данные, отправить сообщения или изменить настройки.
Как ChatGPT с этим борется: агенты теперь работают с ограниченными правами по умолчанию — рискованные действия требуют явного подтверждения. Чувствительные данные изолируются и не передаются дальше по цепочке без необходимости. Модель также обучена распознавать попытки социальной инженерии внутри контента.
Почему это важно: по мере того как агенты берут на себя реальные задачи — читают почту, управляют файлами, совершают действия в браузере — цена ошибки резко растёт. Эти меры делают автономные сценарии заметно безопаснее для бизнеса и обычных пользователей.
https://openai.com/index/designing-agents-to-resist-prompt-injection
Суть атаки: вредоносный текст в письме, документе или на сайте пытается «перехватить» управление агентом и заставить его выполнить опасные действия — слить данные, отправить сообщения или изменить настройки.
Как ChatGPT с этим борется: агенты теперь работают с ограниченными правами по умолчанию — рискованные действия требуют явного подтверждения. Чувствительные данные изолируются и не передаются дальше по цепочке без необходимости. Модель также обучена распознавать попытки социальной инженерии внутри контента.
Почему это важно: по мере того как агенты берут на себя реальные задачи — читают почту, управляют файлами, совершают действия в браузере — цена ошибки резко растёт. Эти меры делают автономные сценарии заметно безопаснее для бизнеса и обычных пользователей.
https://openai.com/index/designing-agents-to-resist-prompt-injection
OpenAI
Designing AI agents to resist prompt injection
How ChatGPT defends against prompt injection and social engineering by constraining risky actions and protecting sensitive data in agent workflows.
OpenAI запустила агентную среду на базе Responses API.
Компания показала, как превратить языковую модель в полноценного агента: теперь Responses API поддерживает shell-инструмент и изолированные облачные контейнеры. Агент может работать с файлами, запускать команды в терминале, использовать инструменты — и всё это в безопасной, масштабируемой среде без лишней инфраструктуры на стороне разработчика.
Проще говоря: раньше нужно было самому поднимать окружение для агента, следить за состоянием и безопасностью. Теперь OpenAI берёт это на себя — контейнер живёт на их стороне, хранит состояние между вызовами и изолирован от остальных процессов.
Для разработчиков это серьёзное упрощение: меньше DevOps, больше фокуса на логике агента. Фактически OpenAI строит полноценный runtime для агентов прямо внутри своего API.
https://openai.com/index/equip-responses-api-computer-environment
Компания показала, как превратить языковую модель в полноценного агента: теперь Responses API поддерживает shell-инструмент и изолированные облачные контейнеры. Агент может работать с файлами, запускать команды в терминале, использовать инструменты — и всё это в безопасной, масштабируемой среде без лишней инфраструктуры на стороне разработчика.
Проще говоря: раньше нужно было самому поднимать окружение для агента, следить за состоянием и безопасностью. Теперь OpenAI берёт это на себя — контейнер живёт на их стороне, хранит состояние между вызовами и изолирован от остальных процессов.
Для разработчиков это серьёзное упрощение: меньше DevOps, больше фокуса на логике агента. Фактически OpenAI строит полноценный runtime для агентов прямо внутри своего API.
https://openai.com/index/equip-responses-api-computer-environment
OpenAI
From model to agent: Equipping the Responses API with a computer environment
How OpenAI built an agent runtime using the Responses API, shell tool, and hosted containers to run secure, scalable agents with files, tools, and state.
Microsoft Research представила PlugMem — систему, которая превращает сырые взаимодействия AI-агентов в переиспользуемые знания.
Суть проблемы: AI-агенты каждый раз начинают с нуля, не запоминая опыт прошлых задач. PlugMem решает это, автоматически извлекая полезные паттерны из истории работы агента и сохраняя их в структурированную "память".
Что это даёт на практике: агент, который уже решал похожую задачу, не будет изобретать велосипед заново. Он обращается к накопленным знаниям и работает быстрее и точнее.
Технология разработана в рамках проекта CORPGEN, направленного на адаптацию AI-агентов к реальным рабочим сценариям — корпоративным процессам, где повторяемость и накопление экспертизы критически важны.
Для пользователей это означает более умных и эффективных агентов-помощников, которые со временем становятся лучше — как опытный сотрудник, а не вечный стажёр.
https://www.microsoft.com/en-us/research/blog/from-raw-interaction-to-reusable-knowledge-rethinking-memory-for-ai-agents/
Суть проблемы: AI-агенты каждый раз начинают с нуля, не запоминая опыт прошлых задач. PlugMem решает это, автоматически извлекая полезные паттерны из истории работы агента и сохраняя их в структурированную "память".
Что это даёт на практике: агент, который уже решал похожую задачу, не будет изобретать велосипед заново. Он обращается к накопленным знаниям и работает быстрее и точнее.
Технология разработана в рамках проекта CORPGEN, направленного на адаптацию AI-агентов к реальным рабочим сценариям — корпоративным процессам, где повторяемость и накопление экспертизы критически важны.
Для пользователей это означает более умных и эффективных агентов-помощников, которые со временем становятся лучше — как опытный сотрудник, а не вечный стажёр.
https://www.microsoft.com/en-us/research/blog/from-raw-interaction-to-reusable-knowledge-rethinking-memory-for-ai-agents/
Microsoft Research
PlugMem: A single memory system adaptable across AI agent tasks
PlugMem transforms AI agents’ interaction histories into structured, reusable knowledge. It integrates with any agent, supports diverse tasks and memory types, and maximizes decision quality while significantly reducing memory token use:
❤1
Джефф Дин (глава Google DeepMind) поделился впечатляющими результатами совместного исследования Google Research, британской NHS и Имперского колледжа Лондона.
ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.
Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.
https://x.com/JeffDean/status/2031889502424469660
ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.
Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.
https://x.com/JeffDean/status/2031889502424469660
X (formerly Twitter)
Jeff Dean (@JeffDean) on X
Excited to see this joint collaboration between @GoogleResearch, @NHSuk and @imperialcollege showing AI’s potential to detect 25% of the interval cancers previously missed by conventional methods. Additionally, the research found AI can reduce screening workloads…
Meta рассказала об эволюции своего собственного чипа MTIA (Meta Training and Inference Accelerator) — фирменного железа для обучения и запуска ИИ-моделей.
Главная мысль: без своего кремния масштабировать ИИ следующего поколения не получится. Традиционные циклы разработки чипов занимают годы, а архитектуры моделей меняются куда быстрее — поэтому Meta делает ставку на собственное железо, заточенное именно под её задачи.
Это прямой ответ на зависимость от Nvidia и попытка пойти по пути Google (TPU) и Amazon (Trainium). Своя микросхема — это контроль над производительностью, стоимостью и скоростью итераций.
https://x.com/AIatMeta/status/2031735560948068790
Главная мысль: без своего кремния масштабировать ИИ следующего поколения не получится. Традиционные циклы разработки чипов занимают годы, а архитектуры моделей меняются куда быстрее — поэтому Meta делает ставку на собственное железо, заточенное именно под её задачи.
Это прямой ответ на зависимость от Nvidia и попытка пойти по пути Google (TPU) и Amazon (Trainium). Своя микросхема — это контроль над производительностью, стоимостью и скоростью итераций.
https://x.com/AIatMeta/status/2031735560948068790
X (formerly Twitter)
AI at Meta (@AIatMeta) on X
Custom silicon is critical to scaling next-gen AI. We’re detailing the evolution of the Meta Training and Inference Accelerator (MTIA), our homegrown silicon family designed to power the next era of AI experiences.
Traditional chip cycles span years, but…
Traditional chip cycles span years, but…
K-Means на GPU ускорили в 200 раз — и без всяких приближений (by UC Berkeley)
K-means давно считается «решённой» задачей. Но когда его начали встраивать прямо в forward pass LLM-ов и диффузионных трансформеров — выяснилось, что стандартные реализации катастрофически медленные.
Главная проблема: на каждой итерации нужно вычислить матрицу расстояний N×K и сохранить её в память GPU. При N=65k, K=1024 само вычисление занимает 2.6 мс, а запись/чтение матрицы — 23 мс. Плюс атомарные конфликты при обновлении центроидов.
Авторы сделали Flash-KMeans по аналогии с FlashAttention: FlashAssign стримит данные блоками и сразу считает argmin на лету, никогда не материализуя огромную матрицу. Для обновления центроидов — сортируют точки по кластерам и делают регулярные сегментные операции вместо атомарных scatter-записей.
Результат: до 21x на assignment, до 6x на update, итого до 200x против FAISS и 33x против cuML. Математика — та же самая, нулевых приближений нет.
https://arxiv.org/abs/2603.09229
K-means давно считается «решённой» задачей. Но когда его начали встраивать прямо в forward pass LLM-ов и диффузионных трансформеров — выяснилось, что стандартные реализации катастрофически медленные.
Главная проблема: на каждой итерации нужно вычислить матрицу расстояний N×K и сохранить её в память GPU. При N=65k, K=1024 само вычисление занимает 2.6 мс, а запись/чтение матрицы — 23 мс. Плюс атомарные конфликты при обновлении центроидов.
Авторы сделали Flash-KMeans по аналогии с FlashAttention: FlashAssign стримит данные блоками и сразу считает argmin на лету, никогда не материализуя огромную матрицу. Для обновления центроидов — сортируют точки по кластерам и делают регулярные сегментные операции вместо атомарных scatter-записей.
Результат: до 21x на assignment, до 6x на update, итого до 200x против FAISS и 33x против cuML. Математика — та же самая, нулевых приближений нет.
https://arxiv.org/abs/2603.09229
SVG-EAR: считай не то, что важно, а то, где ошибаешься (by UC Berkeley)
Ускорение видеогенерации через sparse attention — горячая тема. Стандартный подход: кластеризуй токены, выбирай top-k блоков по attention score, остальное выбрасывай. Проблема: "неважные" блоки всё равно несут глобальный контекст — фон, слабые дальние зависимости.
Авторы делают два хода:
1. Вместо выброса низкоскоровых блоков — parameter-free линейная компенсация через центроиды кластеров. Ноль обучаемых параметров, plug-and-play.
2. Главная идея: если компенсация есть, то выбирать блоки по score — неправильно! Надо выбирать те блоки, где компенсация ошибается сильнее всего. Высокий score ≠ плохая аппроксимация центроидом.
SVG-EAR оценивает ошибку компенсации для каждого блока через лёгкий probing (запросы заменяются центроидами, сложность O(CqNkd) вместо квадратичной), и направляет точные вычисления туда, где компенсация "ломается".
Результат: до 1.93× ускорение на HunyuanVideo при сопоставимом PSNR.
Ускорение видеогенерации через sparse attention — горячая тема. Стандартный подход: кластеризуй токены, выбирай top-k блоков по attention score, остальное выбрасывай. Проблема: "неважные" блоки всё равно несут глобальный контекст — фон, слабые дальние зависимости.
Авторы делают два хода:
1. Вместо выброса низкоскоровых блоков — parameter-free линейная компенсация через центроиды кластеров. Ноль обучаемых параметров, plug-and-play.
2. Главная идея: если компенсация есть, то выбирать блоки по score — неправильно! Надо выбирать те блоки, где компенсация ошибается сильнее всего. Высокий score ≠ плохая аппроксимация центроидом.
SVG-EAR оценивает ошибку компенсации для каждого блока через лёгкий probing (запросы заменяются центроидами, сложность O(CqNkd) вместо квадратичной), и направляет точные вычисления туда, где компенсация "ломается".
Результат: до 1.93× ускорение на HunyuanVideo при сопоставимом PSNR.
Лучшее из двух миров: детерминированная глубина видео с генеративными приорами
Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).
Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания
Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.
https://arxiv.org/abs/2603.12250
Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).
Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания
Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.
https://arxiv.org/abs/2603.12250
Один референс-аудио + одна картинка = полноценное видео с голосом в новом контексте
Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.
Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:
1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.
2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.
Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.
Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:
1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.
2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.
Microsoft Research представила AgentRx — фреймворк для систематической отладки AI-агентов.
Главная проблема современных агентов: когда что-то идёт не так, разработчики не понимают почему. AgentRx решает это через мультимодальное обучение с подкреплением и специальный компонент — agentic verifier, который проверяет действия агента на каждом шаге.
Что это даёт на практике: агенты перестают "галлюцинировать" решения и начинают сами выявлять ошибки в своих цепочках рассуждений. Верификатор работает как внутренний критик — оценивает не только финальный результат, но и весь процесс.
Для разработчиков это означает меньше времени на ручную отладку и более надёжные агентные системы в продакшене. Особенно актуально для сложных многошаговых задач, где одна ошибка ломает всю цепочку.
Фреймворк появился 20 января 2026 года и пока описан в формате исследования.
https://www.microsoft.com/en-us/research/blog/systematic-debugging-for-ai-agents-introducing-the-agentrx-framework/
Главная проблема современных агентов: когда что-то идёт не так, разработчики не понимают почему. AgentRx решает это через мультимодальное обучение с подкреплением и специальный компонент — agentic verifier, который проверяет действия агента на каждом шаге.
Что это даёт на практике: агенты перестают "галлюцинировать" решения и начинают сами выявлять ошибки в своих цепочках рассуждений. Верификатор работает как внутренний критик — оценивает не только финальный результат, но и весь процесс.
Для разработчиков это означает меньше времени на ручную отладку и более надёжные агентные системы в продакшене. Особенно актуально для сложных многошаговых задач, где одна ошибка ломает всю цепочку.
Фреймворк появился 20 января 2026 года и пока описан в формате исследования.
https://www.microsoft.com/en-us/research/blog/systematic-debugging-for-ai-agents-introducing-the-agentrx-framework/
Microsoft Research
AgentRx: systematic debugging for AI agents
As AI agents transition from simple chatbots to complex autonomous systems, finding and fixing their errors gets harder. AgentRx is an automated diagnostic framework that pinpoints critical failures and supports more transparent, resilient agentic systems:
Nvidia выпустила обновление NVIDIA Warp — Python-фреймворка для GPU-ускоренного физического моделирования с поддержкой автодифференцирования.
Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.
Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.
Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.
https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/
Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.
Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.
Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.
https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/
NVIDIA Technical Blog
Build Accelerated, Differentiable Computational Physics Code for AI with NVIDIA Warp
Computer-aided engineering (CAE) is shifting from human-driven workflows toward AI-driven ones, including physics foundation models that generalize across geometries and operating conditions.
Nvidia обновила TensorRT Edge-LLM для физического ИИ
Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.
Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.
Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.
Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.
https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/
Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.
Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.
Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.
Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.
https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/
NVIDIA Technical Blog
Build Next-Gen Physical AI with Edge‑First LLMs for Autonomous Vehicles and Robotics
Physical AI is rapidly evolving, from next-generation software-defined autonomous vehicles (AVs) to humanoid robots. The challenge is no longer how to run a large language model (LLM)…
Деми Хассабис (глава Google DeepMind) в восторге от нового достижения AlphaEvolve — их ИИ-системы для научных открытий.
AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.
Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.
Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.
https://x.com/demishassabis/status/2032267485735460867
AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.
Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.
Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.
https://x.com/demishassabis/status/2032267485735460867
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Ramsey numbers are notoriously hard. Amazing to see AlphaEvolve improve bounds for 5 classical Ramsey numbers - some for the first time in 10+ years - by discovering search procedures itself. A big milestone in AI for maths - congrats to the team!
Meta AI анонсировала Canopy Height Maps v2 — обновлённую версию открытой модели для картирования лесного покрова по всему миру. Проект создан совместно с World Resources Institute.
В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.
Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.
https://x.com/AIatMeta/status/2032135993436909874
В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.
Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.
https://x.com/AIatMeta/status/2032135993436909874
X (formerly Twitter)
AI at Meta (@AIatMeta) on X
We’re announcing Canopy Height Maps v2 (CHMv2), an open source model for high-resolution global forest canopy mapping, developed in partnership with the @WorldResources.
CHMv2 leverages our DINOv3 Sat-L vision model, specifically optimized for satellite…
CHMv2 leverages our DINOv3 Sat-L vision model, specifically optimized for satellite…
Spatial-TTT: LLM учится понимать 3D-пространство прямо во время инференса (by Tencent Hunyuan)
Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.
Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.
Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса
Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.
https://arxiv.org/abs/2603.12255
Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.
Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.
Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса
Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.
https://arxiv.org/abs/2603.12255
Агенты vs люди: кто лучше ищет ответы в корпусе PDF-документов? (by Snowflake)
Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.
Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.
Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.
https://arxiv.org/abs/2603.12180
Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.
Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.
Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.
https://arxiv.org/abs/2603.12180
IndexCache: как убрать 75% вычислений в sparse attention (by Z.ai)
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201