Nvidia представила Vera Rubin POD — суперкомпьютер масштаба дата-центра для агентного ИИ.
Система объединяет 5 специализированных стоечных систем на базе архитектуры MGX третьего поколения: 40 стоек, 1152 GPU Rubin, 60 экзафлопс вычислений и 10 ПБ/с пропускной способности — всё это спроектировано совместно на уровне 7 типов чипов.
Что внутри: NVL72 с 72 GPU Rubin даёт 10x больше производительности на ватт по сравнению с Blackwell. Groq 3 LPX с 256 LPU на стойку обеспечивает сверхнизкую задержку для триллионных моделей. Vera CPU rack поддерживает 22 500 параллельных RL-сред. BlueField-4 STX хранит KV-кэш с эффективностью в 5x выше обычного. Spectrum-6 SPX связывает всё в единый суперкомпьютер.
Почему важно: агентный ИИ требует одновременно высокой пропускной способности, минимальной задержки и масштабируемых CPU-сред. Vera Rubin POD — первая платформа, где всё это спроектировано как единое целое, а не собрано из разрозненных компонентов.
https://developer.nvidia.com/blog/nvidia-vera-rubin-pod-seven-chips-five-rack-scale-systems-one-ai-supercomputer/
Система объединяет 5 специализированных стоечных систем на базе архитектуры MGX третьего поколения: 40 стоек, 1152 GPU Rubin, 60 экзафлопс вычислений и 10 ПБ/с пропускной способности — всё это спроектировано совместно на уровне 7 типов чипов.
Что внутри: NVL72 с 72 GPU Rubin даёт 10x больше производительности на ватт по сравнению с Blackwell. Groq 3 LPX с 256 LPU на стойку обеспечивает сверхнизкую задержку для триллионных моделей. Vera CPU rack поддерживает 22 500 параллельных RL-сред. BlueField-4 STX хранит KV-кэш с эффективностью в 5x выше обычного. Spectrum-6 SPX связывает всё в единый суперкомпьютер.
Почему важно: агентный ИИ требует одновременно высокой пропускной способности, минимальной задержки и масштабируемых CPU-сред. Vera Rubin POD — первая платформа, где всё это спроектировано как единое целое, а не собрано из разрозненных компонентов.
https://developer.nvidia.com/blog/nvidia-vera-rubin-pod-seven-chips-five-rack-scale-systems-one-ai-supercomputer/
NVIDIA Technical Blog
NVIDIA Vera Rubin POD: Seven Chips, Five Rack-Scale Systems, One AI Supercomputer
Artificial intelligence is token-driven. Every prompt, reasoning step, and agent interaction generates tokens. Over the past year, token consumption has grown multifold and now exceeds 10 quadrillion…
Видеогенераторы умеют понимать 3D — и это можно использовать!
Когда видеомодель (типа Wan2.1) генерирует правдоподобное видео, она вынуждена "понимать" геометрию сцены: окклюзии, глубину, движение камеры. Значит, в её латентных представлениях уже зашит неявный 3D-прайор — и никакой явной 3D-разметки для этого не нужно.
Авторы предлагают VEGA-3D: берём замороженную видеогенеративную модель как "Latent World Simulator", вытаскиваем из неё промежуточные признаки (лучше всего работают средние слои и средние шаги денойзинга), и сливаем их с семантическими признаками через адаптивный gated fusion.
Результат: модель перестаёт страдать "пространственной слепотой" — на задачах 3D grounding, spatial QA и робото-манипуляций она бьёт более крупные модели с явными 3D-входами.
Ключевой инсайт: генеративные и семантические признаки комплементарны — их объединение даёт +4–9% там, где каждый по отдельности теряет.
https://arxiv.org/abs/2603.19235
Когда видеомодель (типа Wan2.1) генерирует правдоподобное видео, она вынуждена "понимать" геометрию сцены: окклюзии, глубину, движение камеры. Значит, в её латентных представлениях уже зашит неявный 3D-прайор — и никакой явной 3D-разметки для этого не нужно.
Авторы предлагают VEGA-3D: берём замороженную видеогенеративную модель как "Latent World Simulator", вытаскиваем из неё промежуточные признаки (лучше всего работают средние слои и средние шаги денойзинга), и сливаем их с семантическими признаками через адаптивный gated fusion.
Результат: модель перестаёт страдать "пространственной слепотой" — на задачах 3D grounding, spatial QA и робото-манипуляций она бьёт более крупные модели с явными 3D-входами.
Ключевой инсайт: генеративные и семантические признаки комплементарны — их объединение даёт +4–9% там, где каждый по отдельности теряет.
https://arxiv.org/abs/2603.19235
Nemotron-Cascade 2: как 30B-модель взяла золото на IMO и IOI (by NVIDIA)
NVIDIA выпустила открытую MoE-модель на 30B параметров (3B активных), которая получила золотые медали на IMO 2025 и IOI 2025. Как?
Ключевая идея — Cascade RL: вместо совместного обучения на всех задачах сразу, RL-этапы идут последовательно по доменам (математика → код → агентные задачи и т.д.). Это даёт три плюса: меньше катастрофического забывания, можно тюнить гиперпараметры под каждый домен, и вычисления эффективнее (однородные батчи).
Новинка в v2 — on-policy дистилляция прямо внутри Cascade RL: лучшая промежуточная модель-учитель помогает восстанавливать просадки на предыдущих бенчмарках при обучении на новых сложных задачах.
Результат: обходит Qwen3.5-35B-A3B и даже Nemotron-3-Super-120B на большинстве бенчмарков. Веса, данные и детали обучения полностью открыты.
https://arxiv.org/abs/2603.19220
NVIDIA выпустила открытую MoE-модель на 30B параметров (3B активных), которая получила золотые медали на IMO 2025 и IOI 2025. Как?
Ключевая идея — Cascade RL: вместо совместного обучения на всех задачах сразу, RL-этапы идут последовательно по доменам (математика → код → агентные задачи и т.д.). Это даёт три плюса: меньше катастрофического забывания, можно тюнить гиперпараметры под каждый домен, и вычисления эффективнее (однородные батчи).
Новинка в v2 — on-policy дистилляция прямо внутри Cascade RL: лучшая промежуточная модель-учитель помогает восстанавливать просадки на предыдущих бенчмарках при обучении на новых сложных задачах.
Результат: обходит Qwen3.5-35B-A3B и даже Nemotron-3-Super-120B на большинстве бенчмарков. Веса, данные и детали обучения полностью открыты.
https://arxiv.org/abs/2603.19220
V-JEPA 2.1: как научить видео-SSL понимать и глобальное, и локальное (by Meta)
Проблема старых V-JEPA: модель хорошо понимала видео глобально, но фичи были "размытыми" — плохо подходили для сегментации, детекции, depth estimation. Почему? Потому что лосс считался ТОЛЬКО на замаскированных токенах, а видимые токены превращались в "мусорные регистры" для агрегации глобального контекста.
Решение в V-JEPA 2.1: добавить лосс на ВСЕ токены, включая видимые (context loss Lctx). Плюс — глубокий self-supervision на промежуточных слоях энкодера.
Результат: +20% success rate на реальных роботах-манипуляторах Franka, SOTA в depth estimation (NYUv2: 0.307 RMSE), видео-сегментации и предсказании действий. Скорость планирования в 10x быстрее предыдущих методов.
Модели (до 2B параметров) открыты публично.
https://arxiv.org/abs/2603.14482
Проблема старых V-JEPA: модель хорошо понимала видео глобально, но фичи были "размытыми" — плохо подходили для сегментации, детекции, depth estimation. Почему? Потому что лосс считался ТОЛЬКО на замаскированных токенах, а видимые токены превращались в "мусорные регистры" для агрегации глобального контекста.
Решение в V-JEPA 2.1: добавить лосс на ВСЕ токены, включая видимые (context loss Lctx). Плюс — глубокий self-supervision на промежуточных слоях энкодера.
Результат: +20% success rate на реальных роботах-манипуляторах Franka, SOTA в depth estimation (NYUv2: 0.307 RMSE), видео-сегментации и предсказании действий. Скорость планирования в 10x быстрее предыдущих методов.
Модели (до 2B параметров) открыты публично.
https://arxiv.org/abs/2603.14482
Нашли способ остановить "думающие" LLM, когда они думают слишком много — и не сломать их при этом.
Проблема: модели типа DeepSeek-R1 страдают от overthinking — тратят кучу токенов на простые задачи. Но все попытки сократить рассуждения приводят к underthinking: модель начинает "срезать углы" и ошибаться там, где раньше справлялась.
Авторы заметили: confidence модели — хороший индикатор состояния рассуждений. Высокая дисперсия confidence = модель мечется между путями (overthinking). Стабильно высокая confidence = модель слишком самоуверенна и не проверяет себя (underthinking).
На этом строится ReBalance: training-free метод, который строит "steering vector" между прототипами overthinking и underthinking шагов, и динамически подталкивает скрытые состояния модели в нужную сторону в зависимости от текущей confidence.
Результат: меньше токенов И выше точность одновременно, на моделях от 0.5B до 32B.
https://arxiv.org/abs/2603.12372
Проблема: модели типа DeepSeek-R1 страдают от overthinking — тратят кучу токенов на простые задачи. Но все попытки сократить рассуждения приводят к underthinking: модель начинает "срезать углы" и ошибаться там, где раньше справлялась.
Авторы заметили: confidence модели — хороший индикатор состояния рассуждений. Высокая дисперсия confidence = модель мечется между путями (overthinking). Стабильно высокая confidence = модель слишком самоуверенна и не проверяет себя (underthinking).
На этом строится ReBalance: training-free метод, который строит "steering vector" между прототипами overthinking и underthinking шагов, и динамически подталкивает скрытые состояния модели в нужную сторону в зависимости от текущей confidence.
Результат: меньше токенов И выше точность одновременно, на моделях от 0.5B до 32B.
https://arxiv.org/abs/2603.12372
Модель смотрит видео, но не видит будущего — и вот почему (by Alibaba AMAP)
Задача Video Event Prediction (VEP): посмотрел видео — предскажи, что будет дальше. Казалось бы, современные мультимодальные LLM должны справляться. Но нет — даже лучшие модели (Qwen3-VL) набирают лишь 66.9% accuracy.
Авторы выяснили почему: модели почти игнорируют визуальные токены и цепляются за текстовые подсказки в вариантах ответа. Анализ attention это подтверждает — внимание к картинке минимально.
Решение — Chain of Events (CoE): сначала разбить видео на цепочку исторических событий, потом рассуждать над этой цепочкой для предсказания будущего. Обучение в два этапа: SFT для холодного старта + GRPO (как в DeepSeek-R1) для усиления темпорального понимания.
Результат: SOTA на VEP-бенчмарках поверх Qwen2.5-VL с умеренными вычислительными затратами.
https://arxiv.org/abs/2603.14935
Задача Video Event Prediction (VEP): посмотрел видео — предскажи, что будет дальше. Казалось бы, современные мультимодальные LLM должны справляться. Но нет — даже лучшие модели (Qwen3-VL) набирают лишь 66.9% accuracy.
Авторы выяснили почему: модели почти игнорируют визуальные токены и цепляются за текстовые подсказки в вариантах ответа. Анализ attention это подтверждает — внимание к картинке минимально.
Решение — Chain of Events (CoE): сначала разбить видео на цепочку исторических событий, потом рассуждать над этой цепочкой для предсказания будущего. Обучение в два этапа: SFT для холодного старта + GRPO (как в DeepSeek-R1) для усиления темпорального понимания.
Результат: SOTA на VEP-бенчмарках поверх Qwen2.5-VL с умеренными вычислительными затратами.
https://arxiv.org/abs/2603.14935
👍1
Nvidia выпустила туториал по созданию корпоративных AI-агентов
Nvidia опубликовала подробное руководство по сборке агентов глубокого поиска для бизнеса с помощью AI-Q blueprint и LangChain.
Что внутри: связка из двух агентов — быстрый shallow-агент для простых запросов (ответ за секунды) и deep-агент для многошаговых исследований с длинными отчётами и ссылками. Всё работает на Nemotron и GPT, мониторинг через LangSmith.
Главный плюс — данные остаются внутри компании. Можно полностью перевести инференс на собственные серверы, заменив облачные модели на self-hosted.
Для кого: разработчики корпоративных поисковых систем, которым нужно быстро запустить продакшн-агента без изобретения архитектуры с нуля.
https://developer.nvidia.com/blog/how-to-build-deep-agents-for-enterprise-search-with-nvidia-ai-q-and-langchain/
Nvidia опубликовала подробное руководство по сборке агентов глубокого поиска для бизнеса с помощью AI-Q blueprint и LangChain.
Что внутри: связка из двух агентов — быстрый shallow-агент для простых запросов (ответ за секунды) и deep-агент для многошаговых исследований с длинными отчётами и ссылками. Всё работает на Nemotron и GPT, мониторинг через LangSmith.
Главный плюс — данные остаются внутри компании. Можно полностью перевести инференс на собственные серверы, заменив облачные модели на self-hosted.
Для кого: разработчики корпоративных поисковых систем, которым нужно быстро запустить продакшн-агента без изобретения архитектуры с нуля.
https://developer.nvidia.com/blog/how-to-build-deep-agents-for-enterprise-search-with-nvidia-ai-q-and-langchain/
NVIDIA Technical Blog
How to Build Deep Agents for Enterprise Search with NVIDIA AI-Q and LangChain
While consumer AI offers powerful capabilities, workplace tools often suffer from disjointed data and limited context. Built with LangChain, the NVIDIA AI-Q blueprint is an open source template that…
👍1
Amazon Science: как выбрать правильный модуль для дообучения ИИ
Исследователи Amazon опубликовали ablation-исследование по технике LoRA — популярному методу эффективного дообучения больших языковых моделей.
Суть: вместо обновления миллиардов параметров LoRA вставляет лёгкие матрицы в отдельные слои модели. Но куда именно их вставлять — большой вопрос.
Тестировали на Nova 2.0 Lite. Вывод: модуль o_proj даёт лучший баланс между точностью и скоростью в одиночку. Для большинства задач оптимальна комбинация qkv + o_proj. Подключение слоёв fc1/fc2 даёт максимальную точность, но увеличивает задержку на 15–20%.
Почему важно: выбор модулей напрямую влияет на стоимость обучения и инференса. Правильная конфигурация позволяет сэкономить GPU-ресурсы без потери качества — особенно критично для продакшн-систем.
https://www.amazon.science/blog/optimizing-lora-target-module-selection-for-efficient-fine-tuning
Исследователи Amazon опубликовали ablation-исследование по технике LoRA — популярному методу эффективного дообучения больших языковых моделей.
Суть: вместо обновления миллиардов параметров LoRA вставляет лёгкие матрицы в отдельные слои модели. Но куда именно их вставлять — большой вопрос.
Тестировали на Nova 2.0 Lite. Вывод: модуль o_proj даёт лучший баланс между точностью и скоростью в одиночку. Для большинства задач оптимальна комбинация qkv + o_proj. Подключение слоёв fc1/fc2 даёт максимальную точность, но увеличивает задержку на 15–20%.
Почему важно: выбор модулей напрямую влияет на стоимость обучения и инференса. Правильная конфигурация позволяет сэкономить GPU-ресурсы без потери качества — особенно критично для продакшн-систем.
https://www.amazon.science/blog/optimizing-lora-target-module-selection-for-efficient-fine-tuning
Amazon Science
Optimizing LoRA target module selection for efficient fine tuning
Ablation study clarifies trade-offs between accuracy and efficiency when using low-rank adaptation (LoRA) to fine-tune AI models.
PyTorch представил TorchSpec — фреймворк для обучения драфт-моделей при спекулятивном декодировании в больших масштабах.
Суть проблемы: при обучении драфт-моделей для гигантских LLM (например, Kimi K2.5 с 1 триллионом параметров) нужно передавать огромные объёмы скрытых состояний — один обучающий пример на 128K токенов весит ~7 ГБ. Хранить это на диске — дорого, держать всё на одних GPU — не хватает памяти.
TorchSpec разделяет инференс и обучение: целевая модель работает на отдельных GPU и стримит скрытые состояния напрямую через RDMA/TCP (без записи на диск) в обучающие GPU через хранилище Mooncake. Инференс и обучение масштабируются независимо.
Результат: обучили драфт-модель для Kimi K2.5 за 1500 часов на H200, 600K примеров, 6 млрд токенов. Прирост скорости генерации — до +60% при batch size 1.
Важно для тех, кто занимается production-деплоем больших моделей: спекулятивное декодирование становится практичным даже для триллионных моделей.
https://pytorch.org/blog/torchspec-speculative-decoding-training-at-scale/
Суть проблемы: при обучении драфт-моделей для гигантских LLM (например, Kimi K2.5 с 1 триллионом параметров) нужно передавать огромные объёмы скрытых состояний — один обучающий пример на 128K токенов весит ~7 ГБ. Хранить это на диске — дорого, держать всё на одних GPU — не хватает памяти.
TorchSpec разделяет инференс и обучение: целевая модель работает на отдельных GPU и стримит скрытые состояния напрямую через RDMA/TCP (без записи на диск) в обучающие GPU через хранилище Mooncake. Инференс и обучение масштабируются независимо.
Результат: обучили драфт-модель для Kimi K2.5 за 1500 часов на H200, 600K примеров, 6 млрд токенов. Прирост скорости генерации — до +60% при batch size 1.
Важно для тех, кто занимается production-деплоем больших моделей: спекулятивное декодирование становится практичным даже для триллионных моделей.
https://pytorch.org/blog/torchspec-speculative-decoding-training-at-scale/
SAMA: как разделить «что менять» и «как двигается» в видеоредактировании (by Baidu)
Главная проблема instruction-guided video editing: если агрессивно применяешь семантические правки — ломается временная согласованность, если осторожно — инструкция не выполняется.
Авторы предлагают SAMA: разделить задачу на два независимых компонента.
1. Semantic Anchoring — модель предсказывает семантические токены вместе с видеолатентами, планируя «что и где менять» через якорные кадры.
2. Motion Alignment — обучение на задачах восстановления видео (inpainting, speed shuffle) без парных данных, чтобы модель сама выучила физику движения.
Сначала факторизованный pretraining на обычных видео без разметки редактирования — и уже на этом этапе возникает zero-shot video editing! Потом fine-tuning на парных данных.
Результат: SOMA бьёт open-source конкурентов и догоняет коммерческие системы типа Kling-Omni на бенчмарке VIE-Bench.
https://arxiv.org/abs/2603.19228
Главная проблема instruction-guided video editing: если агрессивно применяешь семантические правки — ломается временная согласованность, если осторожно — инструкция не выполняется.
Авторы предлагают SAMA: разделить задачу на два независимых компонента.
1. Semantic Anchoring — модель предсказывает семантические токены вместе с видеолатентами, планируя «что и где менять» через якорные кадры.
2. Motion Alignment — обучение на задачах восстановления видео (inpainting, speed shuffle) без парных данных, чтобы модель сама выучила физику движения.
Сначала факторизованный pretraining на обычных видео без разметки редактирования — и уже на этом этапе возникает zero-shot video editing! Потом fine-tuning на парных данных.
Результат: SOMA бьёт open-source конкурентов и догоняет коммерческие системы типа Kling-Omni на бенчмарке VIE-Bench.
https://arxiv.org/abs/2603.19228
Хочешь снять рекламу кроссовок с любого угла — просто сфоткай их с нескольких сторон.
3DreamBooth решает боль всех методов кастомизации видео: они работают с одной картинкой и не понимают 3D-структуру объекта. Результат — при смене угла объект "ломается".
Идея: берём несколько фото объекта с разных ракурсов и файн-тюним видео-диффузионную модель через LoRA. Хитрость в том, что обучение идёт на одиночных кадрах (T=1) — тогда temporal attention автоматически отключается, и модель учит только пространственную геометрию, не трогая motion-приоры. Дополнительно вводят 3Dapter — модуль мультивью-кондиционирования через dual-branch архитектуру. В итоге токен V впитывает полноценный 3D-prior объекта, и при инференсе модель генерирует видео с произвольных ракурсов, сохраняя идентичность.
https://arxiv.org/abs/2603.18524
3DreamBooth решает боль всех методов кастомизации видео: они работают с одной картинкой и не понимают 3D-структуру объекта. Результат — при смене угла объект "ломается".
Идея: берём несколько фото объекта с разных ракурсов и файн-тюним видео-диффузионную модель через LoRA. Хитрость в том, что обучение идёт на одиночных кадрах (T=1) — тогда temporal attention автоматически отключается, и модель учит только пространственную геометрию, не трогая motion-приоры. Дополнительно вводят 3Dapter — модуль мультивью-кондиционирования через dual-branch архитектуру. В итоге токен V впитывает полноценный 3D-prior объекта, и при инференсе модель генерирует видео с произвольных ракурсов, сохраняя идентичность.
https://arxiv.org/abs/2603.18524
Роботы, которые реагируют мгновенно — без переделки архитектуры
Проблема VLA-роботов (тех, что управляются через vision-language-action модели): пока модель не досчитает весь "чанк" действий целиком, робот не может начать двигаться. Это создаёт слепую зону реакции на неожиданные изменения в среде.
Авторы из HKU заметили: первые действия в чанке гораздо проще предсказать, чем последующие — их траектории прямее и требуют меньше шагов flow matching. Зачем тогда тратить одинаковое число шагов на все действия?
Метод FASTER вводит Horizon-Aware Schedule: ближайшие действия сэмплируются агрессивнее (вплоть до 1 шага!), дальние — медленнее. Плюс стриминговый интерфейс: первые действия отправляются роботу сразу, пока модель продолжает считать остальные.
Новая метрика — Time to First Action (TTFA). На RTX 4060 и 4090 FASTER существенно её снижает, не жертвуя точностью длинных траекторий. Никаких изменений архитектуры или дообучения.
https://arxiv.org/abs/2603.19199
Проблема VLA-роботов (тех, что управляются через vision-language-action модели): пока модель не досчитает весь "чанк" действий целиком, робот не может начать двигаться. Это создаёт слепую зону реакции на неожиданные изменения в среде.
Авторы из HKU заметили: первые действия в чанке гораздо проще предсказать, чем последующие — их траектории прямее и требуют меньше шагов flow matching. Зачем тогда тратить одинаковое число шагов на все действия?
Метод FASTER вводит Horizon-Aware Schedule: ближайшие действия сэмплируются агрессивнее (вплоть до 1 шага!), дальние — медленнее. Плюс стриминговый интерфейс: первые действия отправляются роботу сразу, пока модель продолжает считать остальные.
Новая метрика — Time to First Action (TTFA). На RTX 4060 и 4090 FASTER существенно её снижает, не жертвуя точностью длинных траекторий. Никаких изменений архитектуры или дообучения.
https://arxiv.org/abs/2603.19199
Алайнмент делает LLM "правильными", а не человечными
Исследователи из Technion обнаружили неожиданную проблему: алайнмент (RLHF/DPO) делает языковые модели хуже как предикторы человеческого поведения. Базовые модели без алайнмента предсказывают реальные решения людей в 9.7 раз чаще (213 vs 22 побед, p < 10⁻⁴⁰).
Почему? Алайнмент обучает модель отвечать так, как люди одобряют — кооперативно, справедливо, рационально. Но люди в реальных переговорах блефуют, мстят и отклоняются от "правильного" поведения. В многораундовых играх (торги, убеждение, дилемма заключённого) это критично: поведение определяется историей взаимодействий и репутацией.
Интересно, что в простых одноразовых играх картина обратная — алайнмент помогает (4.1:1 в его пользу), потому что там нормативные предсказания работают.
Вывод: если используете LLM как симулятор человеческого поведения в сложных стратегических сценариях — берите базовые модели.
https://arxiv.org/abs/2603.17218
Исследователи из Technion обнаружили неожиданную проблему: алайнмент (RLHF/DPO) делает языковые модели хуже как предикторы человеческого поведения. Базовые модели без алайнмента предсказывают реальные решения людей в 9.7 раз чаще (213 vs 22 побед, p < 10⁻⁴⁰).
Почему? Алайнмент обучает модель отвечать так, как люди одобряют — кооперативно, справедливо, рационально. Но люди в реальных переговорах блефуют, мстят и отклоняются от "правильного" поведения. В многораундовых играх (торги, убеждение, дилемма заключённого) это критично: поведение определяется историей взаимодействий и репутацией.
Интересно, что в простых одноразовых играх картина обратная — алайнмент помогает (4.1:1 в его пользу), потому что там нормативные предсказания работают.
Вывод: если используете LLM как симулятор человеческого поведения в сложных стратегических сценариях — берите базовые модели.
https://arxiv.org/abs/2603.17218
Разделяй и властвуй: токены для смысла, диффузия для деталей движения
Генерация реалистичной анимации человека — задача со скрытым противоречием: дискретные токены хорошо схватывают высокоуровневый смысл ("идёт вперёд"), но плохо справляются с точными кинематическими деталями. Авторы из MMLab@NTU предлагают MoTok — токенизатор, который это противоречие снимает.
Ключевая идея: не пытаться запихнуть всё в токены. Вместо этого — разделение труда. Токены кодируют только семантику, а диффузионная модель восстанавливает мелкие детали при декодировании. Это позволяет использовать в 6 раз меньше токенов, чем у конкурентов.
Управление условиями — двухуровневое: траектории и ключевые точки сначала влияют грубо на планирование токенов, потом точно — через guidance при диффузионном декодировании.
Результат на HumanML3D: ошибка траектории упала с 0.72 до 0.08 см, FID с 0.083 до 0.029 — при шестикратной экономии токенов.
https://arxiv.org/abs/2603.19227
Генерация реалистичной анимации человека — задача со скрытым противоречием: дискретные токены хорошо схватывают высокоуровневый смысл ("идёт вперёд"), но плохо справляются с точными кинематическими деталями. Авторы из MMLab@NTU предлагают MoTok — токенизатор, который это противоречие снимает.
Ключевая идея: не пытаться запихнуть всё в токены. Вместо этого — разделение труда. Токены кодируют только семантику, а диффузионная модель восстанавливает мелкие детали при декодировании. Это позволяет использовать в 6 раз меньше токенов, чем у конкурентов.
Управление условиями — двухуровневое: траектории и ключевые точки сначала влияют грубо на планирование токенов, потом точно — через guidance при диффузионном декодировании.
Результат на HumanML3D: ошибка траектории упала с 0.72 до 0.08 см, FID с 0.083 до 0.029 — при шестикратной экономии токенов.
https://arxiv.org/abs/2603.19227
HopChain: учим VLM смотреть на картинку на каждом шаге (by Qwen)
Проблема: большие мультимодальные модели умеют рассуждать, но в длинных цепочках мыслей всё чаще "забывают" смотреть на картинку — и ошибки накапливаются как снежный ком.
Решение от Qwen — фреймворк HopChain для синтеза обучающих данных. Идея: создавать вопросы-цепочки, где каждый следующий шаг логически зависит от предыдущего и требует нового обращения к изображению. Например: найди овцу → посчитай её глаза → есть ли текст рядом с ней? Без визуального ре-граундинга на каждом шаге правильный ответ не получить.
Пайплайн: сегментация объектов через SAM3, генерация вопросов-цепочек через Qwen3-VL-235B, верификация людьми. Финальный ответ — число, легко проверяемое для RLVR.
Результат: улучшение на 20 из 24 бенчмарков на моделях Qwen3.5-35B и 397B. Полные цепочки дают 70.4 vs 66.7 у половинчатых и 64.3 у одношаговых.
https://arxiv.org/abs/2603.17024
Проблема: большие мультимодальные модели умеют рассуждать, но в длинных цепочках мыслей всё чаще "забывают" смотреть на картинку — и ошибки накапливаются как снежный ком.
Решение от Qwen — фреймворк HopChain для синтеза обучающих данных. Идея: создавать вопросы-цепочки, где каждый следующий шаг логически зависит от предыдущего и требует нового обращения к изображению. Например: найди овцу → посчитай её глаза → есть ли текст рядом с ней? Без визуального ре-граундинга на каждом шаге правильный ответ не получить.
Пайплайн: сегментация объектов через SAM3, генерация вопросов-цепочек через Qwen3-VL-235B, верификация людьми. Финальный ответ — число, легко проверяемое для RLVR.
Результат: улучшение на 20 из 24 бенчмарков на моделях Qwen3.5-35B и 397B. Полные цепочки дают 70.4 vs 66.7 у половинчатых и 64.3 у одношаговых.
https://arxiv.org/abs/2603.17024
Агент, который сам себя улучшает — без переобучения весов
Представьте агента, который учится как опытный инженер: не переписывает свои "нейроны", а просто пополняет библиотеку навыков. Именно так работает Memento-Skills от UCL.
Идея проста: LLM заморожен, но есть внешняя "память" — библиотека навыков в виде markdown-файлов с кодом и промптами. Цикл Read-Write: получил задачу → выбрал нужный навык → выполнил → получил фидбек → переписал навык. Никакого градиентного спуска — только эволюция внешней памяти.
Результаты впечатляют: на бенчмарке GAIA точность выросла с 58.6% до 96.6% (Level 1), на Humanity's Last Exam — прирост 116% по сравнению с базой. Библиотека навыков выросла с 41 до 235 файлов, самоорганизовавшись в тематические кластеры.
По сути это "for-loop с векторным хранилищем" — но с доказательством сходимости.
https://arxiv.org/abs/2603.18743
Представьте агента, который учится как опытный инженер: не переписывает свои "нейроны", а просто пополняет библиотеку навыков. Именно так работает Memento-Skills от UCL.
Идея проста: LLM заморожен, но есть внешняя "память" — библиотека навыков в виде markdown-файлов с кодом и промптами. Цикл Read-Write: получил задачу → выбрал нужный навык → выполнил → получил фидбек → переписал навык. Никакого градиентного спуска — только эволюция внешней памяти.
Результаты впечатляют: на бенчмарке GAIA точность выросла с 58.6% до 96.6% (Level 1), на Humanity's Last Exam — прирост 116% по сравнению с базой. Библиотека навыков выросла с 41 до 235 файлов, самоорганизовавшись в тематические кластеры.
По сути это "for-loop с векторным хранилищем" — но с доказательством сходимости.
https://arxiv.org/abs/2603.18743
👍1
Полноценный 3D артикулированный объект из одной фотки — без видео, без шаблонов
MonoArt решает задачу, которая раньше требовала либо видео с разными состояниями объекта (открытый/закрытый ноутбук), либо поиска готовых 3D-частей из библиотек. Теперь достаточно одного изображения.
Пайплайн: сначала TRELLIS генерирует каноническую 3D-геометрию из фото, затем Part-Aware Reasoner через триплановую проекцию и трансформер кодирует части объекта, Dual-Query Motion Decoder итеративно уточняет пространственные и семантические запросы, и наконец Kinematic Estimator предсказывает оси суставов, типы движения и кинематическое дерево.
Результат: SOTA на PartNet-Mobility по геометрическим и артикуляционным метрикам, при этом значительно быстрее конкурентов. Метод обобщается на робототехнику и реконструкцию сцен.
https://arxiv.org/abs/2603.19231
MonoArt решает задачу, которая раньше требовала либо видео с разными состояниями объекта (открытый/закрытый ноутбук), либо поиска готовых 3D-частей из библиотек. Теперь достаточно одного изображения.
Пайплайн: сначала TRELLIS генерирует каноническую 3D-геометрию из фото, затем Part-Aware Reasoner через триплановую проекцию и трансформер кодирует части объекта, Dual-Query Motion Decoder итеративно уточняет пространственные и семантические запросы, и наконец Kinematic Estimator предсказывает оси суставов, типы движения и кинематическое дерево.
Результат: SOTA на PartNet-Mobility по геометрическим и артикуляционным метрикам, при этом значительно быстрее конкурентов. Метод обобщается на робототехнику и реконструкцию сцен.
https://arxiv.org/abs/2603.19231
Как генерировать изображения через диффузию, если токены 768-мерные, а не 8-мерные?
Стандартные дискретные диффузионные модели маскируют токены попозиционно — то есть либо вся позиция (h×w) замаскирована, либо нет. Это отлично работает для низкоразмерных токенов. Но если взять семантически богатые фичи DINOv2 (768 измерений), получается тензор h×w×d — и тогда либо нужно O(h×w×d) шагов автогрессии (нереально), либо стандартная диффузия теряет зависимости внутри позиции.
Авторы из HKU предлагают Cubic Discrete Diffusion (CubiD): маскировать токены не позиционно, а поэлементно по всему 3D-тензору. Любое измерение в любой позиции может быть замаскировано независимо. Это позволяет модели учить и пространственные корреляции, и внутрипозиционные зависимости между измерениями.
Результат: FID 1.88 на ImageNet 256×256 с 768-мерными дискретными токенами. Масштабируется от 900M до 3.7B параметров.
https://arxiv.org/abs/2603.19232
Стандартные дискретные диффузионные модели маскируют токены попозиционно — то есть либо вся позиция (h×w) замаскирована, либо нет. Это отлично работает для низкоразмерных токенов. Но если взять семантически богатые фичи DINOv2 (768 измерений), получается тензор h×w×d — и тогда либо нужно O(h×w×d) шагов автогрессии (нереально), либо стандартная диффузия теряет зависимости внутри позиции.
Авторы из HKU предлагают Cubic Discrete Diffusion (CubiD): маскировать токены не позиционно, а поэлементно по всему 3D-тензору. Любое измерение в любой позиции может быть замаскировано независимо. Это позволяет модели учить и пространственные корреляции, и внутрипозиционные зависимости между измерениями.
Результат: FID 1.88 на ImageNet 256×256 с 768-мерными дискретными токенами. Масштабируется от 900M до 3.7B параметров.
https://arxiv.org/abs/2603.19232
Модели видят формулы, но не понимают символы
Парадокс: современные мультимодальные LLM лучше решают задачи по химии и математике, чем просто распознают отдельные символы. Как так? Авторы создали бенчмарк из 13k пар вопрос-изображение-ответ по 5 доменам (язык, культура, математика, физика, химия) и 38 подзадачам, структурированным по 3 уровням сложности: восприятие → композиционное рассуждение → критическое мышление.
Ключевая находка — "recognition-reasoning inversion": модели пропускают этап визуального восприятия символов и угадывают ответ через языковые приоры и запомненные паттерны. Это когнитивное несоответствие: нынешние визуальные энкодеры заточены под непрерывные семантические пространства (сцены, объекты), а дискретные символы требуют совсем другой логики. Самый сложный домен для всех моделей — языковые символы (рукописные иероглифы и т.п.), а не формальные науки.
https://arxiv.org/abs/2603.18472
Парадокс: современные мультимодальные LLM лучше решают задачи по химии и математике, чем просто распознают отдельные символы. Как так? Авторы создали бенчмарк из 13k пар вопрос-изображение-ответ по 5 доменам (язык, культура, математика, физика, химия) и 38 подзадачам, структурированным по 3 уровням сложности: восприятие → композиционное рассуждение → критическое мышление.
Ключевая находка — "recognition-reasoning inversion": модели пропускают этап визуального восприятия символов и угадывают ответ через языковые приоры и запомненные паттерны. Это когнитивное несоответствие: нынешние визуальные энкодеры заточены под непрерывные семантические пространства (сцены, объекты), а дискретные символы требуют совсем другой логики. Самый сложный домен для всех моделей — языковые символы (рукописные иероглифы и т.п.), а не формальные науки.
https://arxiv.org/abs/2603.18472
Amazon Science — формальная верификация AES-XTS
Amazon добавила в библиотеку s2n-bignum первый формально верифицированный алгоритм шифрования AES — реализацию AES-XTS для Arm64. Это значит, что корректность кода доказана математически, а не просто проверена тестами.
AES-XTS защищает данные на дисках: именно его AWS использует в EBS, Nitro и DynamoDB. Ошибка в такой реализации — прямая угроза данным клиентов.
Верификацию провели с помощью HOL Light. Результат — крупнейшее доказательство в истории s2n-bignum. Заодно упростили и переписали ассемблерный код, что позволило автоматически оптимизировать его через суперо птимизатор SLOTHY. Производительность на типичных 512 байтах не упала, а местами даже выросла.
Главное: теперь у AWS есть рабочий шаблон для верификации других AES-алгоритмов. Путь к более широкой формальной проверке криптографии в облаке открыт.
https://www.amazon.science/blog/formally-verified-aes-xts-the-first-aes-algorithm-to-join-s2n-bignum
Amazon добавила в библиотеку s2n-bignum первый формально верифицированный алгоритм шифрования AES — реализацию AES-XTS для Arm64. Это значит, что корректность кода доказана математически, а не просто проверена тестами.
AES-XTS защищает данные на дисках: именно его AWS использует в EBS, Nitro и DynamoDB. Ошибка в такой реализации — прямая угроза данным клиентов.
Верификацию провели с помощью HOL Light. Результат — крупнейшее доказательство в истории s2n-bignum. Заодно упростили и переписали ассемблерный код, что позволило автоматически оптимизировать его через суперо птимизатор SLOTHY. Производительность на типичных 512 байтах не упала, а местами даже выросла.
Главное: теперь у AWS есть рабочий шаблон для верификации других AES-алгоритмов. Путь к более широкой формальной проверке криптографии в облаке открыт.
https://www.amazon.science/blog/formally-verified-aes-xts-the-first-aes-algorithm-to-join-s2n-bignum
Amazon Science
Formally verified AES-XTS: The first AES algorithm to join s2n-bignum
Simplifying and clarifying the assembly code for core operations enabled automated optimization and verification.
🔥1