Джефф Дин (глава Google DeepMind) поделился впечатляющими результатами совместного исследования Google Research, британской NHS и Имперского колледжа Лондона.
ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.
Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.
https://x.com/JeffDean/status/2031889502424469660
ИИ научился выявлять 25% так называемых "интервальных раков" — опухолей, которые врачи пропускали при обычном скрининге. Это случаи, когда рак обнаруживается уже между плановыми обследованиями, то есть фактически упускается системой.
Помимо точности, ИИ ещё и снижает нагрузку на врачей-рентгенологов — дефицитная профессия во всём мире. Исследование проходило в реальных условиях британского здравоохранения, что делает результаты особенно весомыми. Звучит как один из тех случаев, где ИИ реально спасает жизни.
https://x.com/JeffDean/status/2031889502424469660
X (formerly Twitter)
Jeff Dean (@JeffDean) on X
Excited to see this joint collaboration between @GoogleResearch, @NHSuk and @imperialcollege showing AI’s potential to detect 25% of the interval cancers previously missed by conventional methods. Additionally, the research found AI can reduce screening workloads…
Meta рассказала об эволюции своего собственного чипа MTIA (Meta Training and Inference Accelerator) — фирменного железа для обучения и запуска ИИ-моделей.
Главная мысль: без своего кремния масштабировать ИИ следующего поколения не получится. Традиционные циклы разработки чипов занимают годы, а архитектуры моделей меняются куда быстрее — поэтому Meta делает ставку на собственное железо, заточенное именно под её задачи.
Это прямой ответ на зависимость от Nvidia и попытка пойти по пути Google (TPU) и Amazon (Trainium). Своя микросхема — это контроль над производительностью, стоимостью и скоростью итераций.
https://x.com/AIatMeta/status/2031735560948068790
Главная мысль: без своего кремния масштабировать ИИ следующего поколения не получится. Традиционные циклы разработки чипов занимают годы, а архитектуры моделей меняются куда быстрее — поэтому Meta делает ставку на собственное железо, заточенное именно под её задачи.
Это прямой ответ на зависимость от Nvidia и попытка пойти по пути Google (TPU) и Amazon (Trainium). Своя микросхема — это контроль над производительностью, стоимостью и скоростью итераций.
https://x.com/AIatMeta/status/2031735560948068790
X (formerly Twitter)
AI at Meta (@AIatMeta) on X
Custom silicon is critical to scaling next-gen AI. We’re detailing the evolution of the Meta Training and Inference Accelerator (MTIA), our homegrown silicon family designed to power the next era of AI experiences.
Traditional chip cycles span years, but…
Traditional chip cycles span years, but…
K-Means на GPU ускорили в 200 раз — и без всяких приближений (by UC Berkeley)
K-means давно считается «решённой» задачей. Но когда его начали встраивать прямо в forward pass LLM-ов и диффузионных трансформеров — выяснилось, что стандартные реализации катастрофически медленные.
Главная проблема: на каждой итерации нужно вычислить матрицу расстояний N×K и сохранить её в память GPU. При N=65k, K=1024 само вычисление занимает 2.6 мс, а запись/чтение матрицы — 23 мс. Плюс атомарные конфликты при обновлении центроидов.
Авторы сделали Flash-KMeans по аналогии с FlashAttention: FlashAssign стримит данные блоками и сразу считает argmin на лету, никогда не материализуя огромную матрицу. Для обновления центроидов — сортируют точки по кластерам и делают регулярные сегментные операции вместо атомарных scatter-записей.
Результат: до 21x на assignment, до 6x на update, итого до 200x против FAISS и 33x против cuML. Математика — та же самая, нулевых приближений нет.
https://arxiv.org/abs/2603.09229
K-means давно считается «решённой» задачей. Но когда его начали встраивать прямо в forward pass LLM-ов и диффузионных трансформеров — выяснилось, что стандартные реализации катастрофически медленные.
Главная проблема: на каждой итерации нужно вычислить матрицу расстояний N×K и сохранить её в память GPU. При N=65k, K=1024 само вычисление занимает 2.6 мс, а запись/чтение матрицы — 23 мс. Плюс атомарные конфликты при обновлении центроидов.
Авторы сделали Flash-KMeans по аналогии с FlashAttention: FlashAssign стримит данные блоками и сразу считает argmin на лету, никогда не материализуя огромную матрицу. Для обновления центроидов — сортируют точки по кластерам и делают регулярные сегментные операции вместо атомарных scatter-записей.
Результат: до 21x на assignment, до 6x на update, итого до 200x против FAISS и 33x против cuML. Математика — та же самая, нулевых приближений нет.
https://arxiv.org/abs/2603.09229
SVG-EAR: считай не то, что важно, а то, где ошибаешься (by UC Berkeley)
Ускорение видеогенерации через sparse attention — горячая тема. Стандартный подход: кластеризуй токены, выбирай top-k блоков по attention score, остальное выбрасывай. Проблема: "неважные" блоки всё равно несут глобальный контекст — фон, слабые дальние зависимости.
Авторы делают два хода:
1. Вместо выброса низкоскоровых блоков — parameter-free линейная компенсация через центроиды кластеров. Ноль обучаемых параметров, plug-and-play.
2. Главная идея: если компенсация есть, то выбирать блоки по score — неправильно! Надо выбирать те блоки, где компенсация ошибается сильнее всего. Высокий score ≠ плохая аппроксимация центроидом.
SVG-EAR оценивает ошибку компенсации для каждого блока через лёгкий probing (запросы заменяются центроидами, сложность O(CqNkd) вместо квадратичной), и направляет точные вычисления туда, где компенсация "ломается".
Результат: до 1.93× ускорение на HunyuanVideo при сопоставимом PSNR.
Ускорение видеогенерации через sparse attention — горячая тема. Стандартный подход: кластеризуй токены, выбирай top-k блоков по attention score, остальное выбрасывай. Проблема: "неважные" блоки всё равно несут глобальный контекст — фон, слабые дальние зависимости.
Авторы делают два хода:
1. Вместо выброса низкоскоровых блоков — parameter-free линейная компенсация через центроиды кластеров. Ноль обучаемых параметров, plug-and-play.
2. Главная идея: если компенсация есть, то выбирать блоки по score — неправильно! Надо выбирать те блоки, где компенсация ошибается сильнее всего. Высокий score ≠ плохая аппроксимация центроидом.
SVG-EAR оценивает ошибку компенсации для каждого блока через лёгкий probing (запросы заменяются центроидами, сложность O(CqNkd) вместо квадратичной), и направляет точные вычисления туда, где компенсация "ломается".
Результат: до 1.93× ускорение на HunyuanVideo при сопоставимом PSNR.
Лучшее из двух миров: детерминированная глубина видео с генеративными приорами
Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).
Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания
Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.
https://arxiv.org/abs/2603.12250
Оценка глубины по видео — боль: генеративные диффузионные модели галлюцинируют геометрию, а дискриминативные модели путаются в размытых и однородных регионах. DVD решает эту дилемму радикально — берёт предобученную видео-диффузионную модель и превращает её в детерминированный регрессор глубины (без стохастического сэмплинга!).
Три ключевых трюка:
1. Timestep как структурный якорь — фиксированный шаг диффузии балансирует детали и стабильность геометрии
2. Latent Manifold Rectification — supervision на дифференциалах латентов устраняет "mean collapse" и возвращает чёткие границы
3. Global Affine Coherence — скользящее окно с аффинным выравниванием для длинных видео без сложного сшивания
Результат: state-of-the-art zero-shot качество на KITTI, ScanNet и Bonn, используя менее 1% обучающих данных конкурентов.
https://arxiv.org/abs/2603.12250
Один референс-аудио + одна картинка = полноценное видео с голосом в новом контексте
Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.
Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:
1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.
2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.
Большинство методов персонализации видео либо немые, либо используют каскадные пайплайны: сначала клонируют голос, потом генерируют видео. Проблема: голос клонируется без учёта текстового промпта — попросишь "кричать на ветру", а получишь студийную запись.
Авторы из Tel Aviv University предлагают ID-LoRA: единый диффузионный backbone (LTX-2), который генерирует аудио и видео совместно в одном латентном пространстве. Ключевые трюки:
1. Negative temporal positions — референсные аудио-токены помещаются в отрицательную область RoPE, чисто отделяя их от целевых токенов.
2. Identity guidance — аналог classifier-free guidance, применённый к аудио-потоку для усиления черт конкретного голоса.
Microsoft Research представила AgentRx — фреймворк для систематической отладки AI-агентов.
Главная проблема современных агентов: когда что-то идёт не так, разработчики не понимают почему. AgentRx решает это через мультимодальное обучение с подкреплением и специальный компонент — agentic verifier, который проверяет действия агента на каждом шаге.
Что это даёт на практике: агенты перестают "галлюцинировать" решения и начинают сами выявлять ошибки в своих цепочках рассуждений. Верификатор работает как внутренний критик — оценивает не только финальный результат, но и весь процесс.
Для разработчиков это означает меньше времени на ручную отладку и более надёжные агентные системы в продакшене. Особенно актуально для сложных многошаговых задач, где одна ошибка ломает всю цепочку.
Фреймворк появился 20 января 2026 года и пока описан в формате исследования.
https://www.microsoft.com/en-us/research/blog/systematic-debugging-for-ai-agents-introducing-the-agentrx-framework/
Главная проблема современных агентов: когда что-то идёт не так, разработчики не понимают почему. AgentRx решает это через мультимодальное обучение с подкреплением и специальный компонент — agentic verifier, который проверяет действия агента на каждом шаге.
Что это даёт на практике: агенты перестают "галлюцинировать" решения и начинают сами выявлять ошибки в своих цепочках рассуждений. Верификатор работает как внутренний критик — оценивает не только финальный результат, но и весь процесс.
Для разработчиков это означает меньше времени на ручную отладку и более надёжные агентные системы в продакшене. Особенно актуально для сложных многошаговых задач, где одна ошибка ломает всю цепочку.
Фреймворк появился 20 января 2026 года и пока описан в формате исследования.
https://www.microsoft.com/en-us/research/blog/systematic-debugging-for-ai-agents-introducing-the-agentrx-framework/
Microsoft Research
AgentRx: systematic debugging for AI agents
As AI agents transition from simple chatbots to complex autonomous systems, finding and fixing their errors gets harder. AgentRx is an automated diagnostic framework that pinpoints critical failures and supports more transparent, resilient agentic systems:
Nvidia выпустила обновление NVIDIA Warp — Python-фреймворка для GPU-ускоренного физического моделирования с поддержкой автодифференцирования.
Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.
Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.
Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.
https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/
Что нового: Warp позволяет писать высокопроизводительные симуляционные ядра на Python, которые JIT-компилируются под GPU. В отличие от тензорных фреймворков, каждый поток может независимо ветвиться и выходить — без громоздких масок. Встроенное автодифференцирование генерирует прямой и обратный проходы, что делает солверы совместимыми с PyTorch и JAX.
Почему важно: реальные кейсы впечатляют — ускорение до 669x по сравнению с CPU и более 250x по сравнению с JAX. Autodesk, Google DeepMind (MuJoCo) и C-Infinity уже используют Warp в продакшне для инженерного ПО, робототехники и пространственных вычислений.
Для кого: разработчики AI-моделей для физики, CFD и робототехники получают инструмент, где симуляция напрямую встраивается в ML-пайплайн без компромиссов по скорости.
https://developer.nvidia.com/blog/build-accelerated-differentiable-computational-physics-code-for-ai-with-nvidia-warp/
NVIDIA Technical Blog
Build Accelerated, Differentiable Computational Physics Code for AI with NVIDIA Warp
Computer-aided engineering (CAE) is shifting from human-driven workflows toward AI-driven ones, including physics foundation models that generalize across geometries and operating conditions.
Nvidia обновила TensorRT Edge-LLM для физического ИИ
Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.
Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.
Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.
Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.
https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/
Nvidia выпустила крупное обновление TensorRT Edge-LLM — рантайма для запуска языковых и мультимодальных моделей прямо на бортовых чипах DRIVE AGX Thor и Jetson Thor.
Что нового: поддержка архитектуры MoE (активируются только нужные параметры — меньше вычислений, выше интеллект), модели Cosmos Reason 2 для пространственно-временного рассуждения роботов, и Qwen3-TTS/ASR для голосового диалога без задержек. Также добавлен Nemotron 2 Nano с гибридной архитектурой Mamba-Transformer.
Почему важно: автономные машины и роботы теперь могут рассуждать, слышать и отвечать голосом прямо на устройстве — без облака, в реальном времени, в рамках жёстких ограничений по энергопотреблению.
Для разработчиков это означает переход от модульных пайплайнов к единым производительным моделям для планирования маршрутов, диалога с водителем и навигации роботов.
https://developer.nvidia.com/blog/build-next-gen-physical-ai-with-edge%e2%80%91first-llms-for-autonomous-vehicles-and-robotics/
NVIDIA Technical Blog
Build Next-Gen Physical AI with Edge‑First LLMs for Autonomous Vehicles and Robotics
Physical AI is rapidly evolving, from next-generation software-defined autonomous vehicles (AVs) to humanoid robots. The challenge is no longer how to run a large language model (LLM)…
Деми Хассабис (глава Google DeepMind) в восторге от нового достижения AlphaEvolve — их ИИ-системы для научных открытий.
AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.
Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.
Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.
https://x.com/demishassabis/status/2032267485735460867
AlphaEvolve улучшил границы для 5 классических чисел Рэмси. Для тех, кто не в теме: числа Рэмси — это одна из самых сложных областей комбинаторики, где даже крошечный прогресс требует огромных усилий. Некоторые из этих результатов не удавалось улучшить более 10 лет.
Что особенно круто: ИИ не просто перебирал варианты по заданным правилам — он сам придумал процедуры поиска решений. То есть система фактически занималась математическим творчеством.
Хассабис называет это большой вехой в применении ИИ к математике. И сложно не согласиться.
https://x.com/demishassabis/status/2032267485735460867
X (formerly Twitter)
Demis Hassabis (@demishassabis) on X
Ramsey numbers are notoriously hard. Amazing to see AlphaEvolve improve bounds for 5 classical Ramsey numbers - some for the first time in 10+ years - by discovering search procedures itself. A big milestone in AI for maths - congrats to the team!
Meta AI анонсировала Canopy Height Maps v2 — обновлённую версию открытой модели для картирования лесного покрова по всему миру. Проект создан совместно с World Resources Institute.
В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.
Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.
https://x.com/AIatMeta/status/2032135993436909874
В основе CHMv2 — их собственная модель компьютерного зрения DINOv3 Sat-L, заточенная специально под спутниковые снимки. Она позволяет строить детальные карты высоты лесного полога с высоким разрешением в глобальном масштабе.
Проще говоря: ИИ смотрит на спутниковые фото и точно определяет, где и насколько высокие деревья. Это важно для мониторинга вырубки лесов, оценки запасов углерода и климатических исследований. Модель открытая — любой желающий может её использовать.
https://x.com/AIatMeta/status/2032135993436909874
X (formerly Twitter)
AI at Meta (@AIatMeta) on X
We’re announcing Canopy Height Maps v2 (CHMv2), an open source model for high-resolution global forest canopy mapping, developed in partnership with the @WorldResources.
CHMv2 leverages our DINOv3 Sat-L vision model, specifically optimized for satellite…
CHMv2 leverages our DINOv3 Sat-L vision model, specifically optimized for satellite…
Spatial-TTT: LLM учится понимать 3D-пространство прямо во время инференса (by Tencent Hunyuan)
Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.
Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.
Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса
Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.
https://arxiv.org/abs/2603.12255
Обычные мультимодальные LLM плохо понимают 3D-пространство — они обучались на 2D картинках без геометрических прiors. А если дать модели длинное видео (тысячи кадров) из движущейся камеры? Квадратичный attention просто умрёт.
Авторы предлагают Spatial-TTT: модель обновляет свои "быстрые веса" прямо на лету, пока смотрит видеопоток. Эти веса работают как компактная нелинейная память, накапливающая 3D-информацию из потока кадров.
Ключевые трюки:
— Гибридная архитектура: TTT-слои чередуются с обычным self-attention (3:1), чтобы не сломать предобученные знания
— Вместо точечных проекций Q/K/V — лёгкие 3D depth-wise свёртки, которые захватывают пространственно-временную структуру
— Специальный датасет плотных описаний сцен, чтобы модель училась правильно обновлять быстрые веса
Результат: state-of-the-art на видео-пространственных бенчмарках при работе с длинными потоками.
https://arxiv.org/abs/2603.12255
Агенты vs люди: кто лучше ищет ответы в корпусе PDF-документов? (by Snowflake)
Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.
Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.
Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.
https://arxiv.org/abs/2603.12180
Snowflake выпустили новый бенчмарк MADQA — 2250 вопросов по 800 разнородным PDF-документам, полностью написанных людьми. Задача: найти ответ в коллекции документов, причём одним запросом к поиску не обойтись — нужно итеративно искать, рассуждать и синтезировать данные из разных страниц и файлов.
Главный вопрос: агент реально планирует поиск или просто случайно бродит по документам? Сравнение с людьми показало принципиально разные стратегии и огромный разрыв в эффективности.
Ключевые выводы: constrained agency (агент с ограниченным бюджетом действий) бьёт статичный RAG, но при этом не улетает в бесконечный перебор как Recursive LM. Люди и агенты решают задачи принципиально по-разному.
https://arxiv.org/abs/2603.12180
IndexCache: как убрать 75% вычислений в sparse attention (by Z.ai)
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
Соседние слои трансформера выбирают почти одинаковые токены — зачем тогда каждый слой считает это заново?
В DeepSeek Sparse Attention есть лёгкий "indexer" — он для каждого слоя выбирает top-k нужных токенов из всей последовательности. Проблема: при длинных контекстах (200K токенов) этот indexer начинает занимать 80% времени prefill-стадии.
Авторы заметили: соседние слои совпадают по выбранным токенам на 70-100%. Значит, можно оставить indexer только в каждом 4-м слое, а остальные просто переиспользуют кэшированный результат.
Два варианта: без дообучения (greedy-поиск, какие слои оставить) и с дообучением (distillation-лосс, тогда хватает простого равномерного прореживания).
Результат на 30B модели: 1.82× ускорение prefill и 1.48× decode при 200K контексте без заметной потери качества. На 744B GLM-5 — минимум 1.3× ускорение.
https://arxiv.org/abs/2603.12201
DreamVideo-Omni: управляй движением каждого персонажа в видео (by Alibaba Tongyi Lab)
Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.
DreamVideo-Omni решает это двухэтапно:
Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.
Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.
Бонус: модель сама научилась image-to-video без явного обучения этому.
https://arxiv.org/abs/2603.12257
Хочешь сгенерировать видео, где конкретный мальчик гонится за мячом, а конкретная девочка играет с щенком — и всё это с контролем камеры? Существующие методы либо сохраняют внешность персонажей, либо управляют движением, но не вместе.
DreamVideo-Omni решает это двухэтапно:
Этап 1: обучают DiT-модель на триплетах ⟨Персонаж, Bounding Box, Траектория⟩. Специальные group/role embeddings явно привязывают сигналы движения к нужному персонажу, устраняя путаницу в сценах с несколькими людьми.
Этап 2: вместо стандартного reconstruction loss обучают Latent Identity Reward Model на базе видео-диффузии. Она оценивает сохранность личности с учётом динамики — и штрафует за "copy-paste" артефакты при больших движениях.
Бонус: модель сама научилась image-to-video без явного обучения этому.
https://arxiv.org/abs/2603.12257
Reward hacking убивает RL для генерации изображений — вот как это починить (by SJTU VisionXLab)
Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.
Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:
Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.
Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.
Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.
Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.
https://arxiv.org/abs/2603.12247
Когда обучаешь диффузионную модель через RL, качество всего пайплайна упирается в одно: насколько хорош reward model. Проблема — обычные MLLM как судьи ужасны: галлюцинируют, игнорируют детали, не умеют в пространственное мышление.
Авторы предложили FIRM — систему для обучения специализированных reward моделей. Ключевые трюки:
Для редактирования: вместо прямой оценки "хорошо ли отредактировано?" — сначала описываем разницу между картинками текстом, потом уже оцениваем. Модели лучше описывают, чем судят.
Для генерации: LLM заранее составляет чеклист из промпта, и MLLM проверяет каждый пункт явно.
Так собрали датасеты FIRM-Edit-370K и FIRM-Gen-293K, обучили reward модели на Qwen3-VL-8B.
Плюс придумали стратегию "Base-and-Bonus" против reward hacking при балансировке нескольких наград одновременно.
https://arxiv.org/abs/2603.12247
Nvidia Tech обновила платформу Cosmos — набор фундаментальных моделей для обучения роботов и автономных автомобилей.
Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.
Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.
https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
Вышли три новые версии. Cosmos Transfer 2.5 превращает 3D-симуляции в фотореалистичное видео с разным освещением и условиями среды — это дешевле и быстрее, чем собирать реальные данные. Cosmos Predict 2.5 генерирует правдоподобные сценарии будущего длиной до 30 секунд и даёт в 10 раз выше точность при дообучении на собственных данных. Cosmos Reason 2 — модель с цепочкой рассуждений, которая понимает движение объектов, определяет их координаты в 2D/3D и поддерживает контекст до 256К токенов.
Главная проблема физического ИИ — нехватка разнообразных обучающих данных. Cosmos решает её синтетической генерацией, снижая стоимость и риски реальных испытаний. Полезно разработчикам роботов и беспилотников, которые хотят быстрее переходить от симуляции к реальному миру.
https://developer.nvidia.com/blog/scale-synthetic-data-and-physical-ai-reasoning-with-nvidia-cosmos-world-foundation-models/
NVIDIA Technical Blog
Scale Synthetic Data and Physical AI Reasoning with NVIDIA Cosmos World Foundation Models
The next generation of AI-driven robots like humanoids and autonomous vehicles depends on high-fidelity, physics-aware training data. Without diverse and representative datasets, these systems don’t…
Nvidia выпустила Nemotron 3 Super — открытую гибридную модель для агентного ИИ
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
120 миллиардов параметров суммарно, но только 12B активных — это ключевая фишка новой модели. Nemotron 3 Super создана специально для многоагентных систем, где обычные LLM буквально «тонут» в контексте и дорого обходятся при каждом шаге.
Что внутри: гибридная архитектура Mamba-Transformer + MoE, контекстное окно 1 миллион токенов, нативное обучение в формате NVFP4 для чипов Blackwell. Скорость — в 5 раз выше предыдущего Nemotron Super, память и вычисления эффективнее в 4 раза.
Почему важно: агентные системы генерируют в 15 раз больше токенов, чем обычный чат. Super решает два главных боли — «взрыв контекста» и «налог на мышление», когда мощная модель тратится на каждую мелкую подзадачу.
Модель полностью открытая: веса, датасеты и рецепты доступны всем. Доступна на build.nvidia.com.
https://developer.nvidia.com/blog/introducing-nemotron-3-super-an-open-hybrid-mamba-transformer-moe-for-agentic-reasoning/
NVIDIA Technical Blog
Introducing Nemotron 3 Super: An Open Hybrid Mamba-Transformer MoE for Agentic Reasoning
Agentic AI systems need models with the specialized depth to solve dense technical problems autonomously. They must excel at reasoning, coding, and long-context analysis…
Apple ML выпустила Multilingual Reasoning Gym — набор задач для обучения и оценки ИИ на 14 языках.
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Это расширение популярного Reasoning Gym: исследователи перевели шаблоны 94 задач с валидацией от носителей языка в 10 из них. Задачи генерируются процедурно — то есть их количество практически неограничено, а сложность можно регулировать.
Главная фишка: задачи параллельны между языками. Это позволяет создавать огромные мультиязычные датасеты и обучать модели рассуждать не только по-английски. Набор совместим с методом обучения через подкрепление на верифицируемых наградах (RLVR) — тем самым, что стоит за успехами моделей вроде DeepSeek-R1.
Почему важно: большинство reasoning-моделей обучают на английском, а их качество на других языках резко падает. Этот инструмент даёт инфраструктуру для исправления этого перекоса. Код открыт на GitHub.
https://machinelearning.apple.com/research/multilingual-reasoning-gym
Apple Machine Learning Research
Multilingual Reasoning Gym: Multilingual Scaling of Procedural Reasoning Environments
We present the Multilingual Reasoning Gym, an extension of Reasoning Gym (Stojanovski et al., 2025), that procedurally generates verifiable…
RubiCap: как научить модель писать подписи к картинкам лучше, чем GPT-4V (by Apple)
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
Главная проблема применения RL к описанию изображений — нет надёжного верификатора. CIDEr/ROUGE меряют n-граммы, а не смысл. VLM-as-a-Judge даёт один мутный скаляр.
Авторы придумали RubiCap: вместо скалярной оценки — набор рубрик, специфичных для каждого изображения. Схема такая: комитет из K разных VLM генерирует кандидатные подписи → LLM-писатель рубрик находит консенсус и диагностирует слабости студента → превращает это в конкретные проверяемые правила (есть ли объект X? правильный ли атрибут? корректны ли пространственные отношения?) → LLM-судья применяет рубрики и даёт структурированный reward для RL.
Результат: 7B-модель обходит 32B и 72B фронтиры в слепом ранжировании, меньше галлюцинирует, а 3B-модель работает лучше, чем GPT-4V как источник данных для pretraining VLM.
https://arxiv.org/abs/2603.09160
ShotVerse: Plan-then-Control для кино из текста (by Tencent)
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421
Хочешь снять многоплановую сцену, просто написав "камера плавно панорамирует влево, затем зум на героя"? Звучит просто, но на деле — два отдельных ада: как автоматически спланировать кинематографические траектории камеры, и как потом видеомодель их точно выполнит?
ShotVerse решает это через "Plan-then-Control": сначала VLM (Qwen3-VL с LoRA) переводит текстовое описание в явные 3D-траектории камеры в едином глобальном координатном пространстве, а затем DiT-контроллер рендерит по этим траекториям видео с несколькими склейками.
Ключевая идея — обучение на тройках (Caption, Trajectory, Video), которые образуют единое распределение. Это позволяет оптимизировать планировщик и генератор раздельно, без нестабильности совместного обучения.
Отдельно собрали датасет ShotVerse-Bench из реальных съёмок с автоматической калибровкой траекторий разных планов в единую систему координат — первый такой датасет для multi-shot.
https://arxiv.org/abs/2603.11421