Nvidia выпустила туториал по созданию корпоративных AI-агентов
Nvidia опубликовала подробное руководство по сборке агентов глубокого поиска для бизнеса с помощью AI-Q blueprint и LangChain.
Что внутри: связка из двух агентов — быстрый shallow-агент для простых запросов (ответ за секунды) и deep-агент для многошаговых исследований с длинными отчётами и ссылками. Всё работает на Nemotron и GPT, мониторинг через LangSmith.
Главный плюс — данные остаются внутри компании. Можно полностью перевести инференс на собственные серверы, заменив облачные модели на self-hosted.
Для кого: разработчики корпоративных поисковых систем, которым нужно быстро запустить продакшн-агента без изобретения архитектуры с нуля.
https://developer.nvidia.com/blog/how-to-build-deep-agents-for-enterprise-search-with-nvidia-ai-q-and-langchain/
Nvidia опубликовала подробное руководство по сборке агентов глубокого поиска для бизнеса с помощью AI-Q blueprint и LangChain.
Что внутри: связка из двух агентов — быстрый shallow-агент для простых запросов (ответ за секунды) и deep-агент для многошаговых исследований с длинными отчётами и ссылками. Всё работает на Nemotron и GPT, мониторинг через LangSmith.
Главный плюс — данные остаются внутри компании. Можно полностью перевести инференс на собственные серверы, заменив облачные модели на self-hosted.
Для кого: разработчики корпоративных поисковых систем, которым нужно быстро запустить продакшн-агента без изобретения архитектуры с нуля.
https://developer.nvidia.com/blog/how-to-build-deep-agents-for-enterprise-search-with-nvidia-ai-q-and-langchain/
NVIDIA Technical Blog
How to Build Deep Agents for Enterprise Search with NVIDIA AI-Q and LangChain
While consumer AI offers powerful capabilities, workplace tools often suffer from disjointed data and limited context. Built with LangChain, the NVIDIA AI-Q blueprint is an open source template that…
👍1
Amazon Science: как выбрать правильный модуль для дообучения ИИ
Исследователи Amazon опубликовали ablation-исследование по технике LoRA — популярному методу эффективного дообучения больших языковых моделей.
Суть: вместо обновления миллиардов параметров LoRA вставляет лёгкие матрицы в отдельные слои модели. Но куда именно их вставлять — большой вопрос.
Тестировали на Nova 2.0 Lite. Вывод: модуль o_proj даёт лучший баланс между точностью и скоростью в одиночку. Для большинства задач оптимальна комбинация qkv + o_proj. Подключение слоёв fc1/fc2 даёт максимальную точность, но увеличивает задержку на 15–20%.
Почему важно: выбор модулей напрямую влияет на стоимость обучения и инференса. Правильная конфигурация позволяет сэкономить GPU-ресурсы без потери качества — особенно критично для продакшн-систем.
https://www.amazon.science/blog/optimizing-lora-target-module-selection-for-efficient-fine-tuning
Исследователи Amazon опубликовали ablation-исследование по технике LoRA — популярному методу эффективного дообучения больших языковых моделей.
Суть: вместо обновления миллиардов параметров LoRA вставляет лёгкие матрицы в отдельные слои модели. Но куда именно их вставлять — большой вопрос.
Тестировали на Nova 2.0 Lite. Вывод: модуль o_proj даёт лучший баланс между точностью и скоростью в одиночку. Для большинства задач оптимальна комбинация qkv + o_proj. Подключение слоёв fc1/fc2 даёт максимальную точность, но увеличивает задержку на 15–20%.
Почему важно: выбор модулей напрямую влияет на стоимость обучения и инференса. Правильная конфигурация позволяет сэкономить GPU-ресурсы без потери качества — особенно критично для продакшн-систем.
https://www.amazon.science/blog/optimizing-lora-target-module-selection-for-efficient-fine-tuning
Amazon Science
Optimizing LoRA target module selection for efficient fine tuning
Ablation study clarifies trade-offs between accuracy and efficiency when using low-rank adaptation (LoRA) to fine-tune AI models.
PyTorch представил TorchSpec — фреймворк для обучения драфт-моделей при спекулятивном декодировании в больших масштабах.
Суть проблемы: при обучении драфт-моделей для гигантских LLM (например, Kimi K2.5 с 1 триллионом параметров) нужно передавать огромные объёмы скрытых состояний — один обучающий пример на 128K токенов весит ~7 ГБ. Хранить это на диске — дорого, держать всё на одних GPU — не хватает памяти.
TorchSpec разделяет инференс и обучение: целевая модель работает на отдельных GPU и стримит скрытые состояния напрямую через RDMA/TCP (без записи на диск) в обучающие GPU через хранилище Mooncake. Инференс и обучение масштабируются независимо.
Результат: обучили драфт-модель для Kimi K2.5 за 1500 часов на H200, 600K примеров, 6 млрд токенов. Прирост скорости генерации — до +60% при batch size 1.
Важно для тех, кто занимается production-деплоем больших моделей: спекулятивное декодирование становится практичным даже для триллионных моделей.
https://pytorch.org/blog/torchspec-speculative-decoding-training-at-scale/
Суть проблемы: при обучении драфт-моделей для гигантских LLM (например, Kimi K2.5 с 1 триллионом параметров) нужно передавать огромные объёмы скрытых состояний — один обучающий пример на 128K токенов весит ~7 ГБ. Хранить это на диске — дорого, держать всё на одних GPU — не хватает памяти.
TorchSpec разделяет инференс и обучение: целевая модель работает на отдельных GPU и стримит скрытые состояния напрямую через RDMA/TCP (без записи на диск) в обучающие GPU через хранилище Mooncake. Инференс и обучение масштабируются независимо.
Результат: обучили драфт-модель для Kimi K2.5 за 1500 часов на H200, 600K примеров, 6 млрд токенов. Прирост скорости генерации — до +60% при batch size 1.
Важно для тех, кто занимается production-деплоем больших моделей: спекулятивное декодирование становится практичным даже для триллионных моделей.
https://pytorch.org/blog/torchspec-speculative-decoding-training-at-scale/
SAMA: как разделить «что менять» и «как двигается» в видеоредактировании (by Baidu)
Главная проблема instruction-guided video editing: если агрессивно применяешь семантические правки — ломается временная согласованность, если осторожно — инструкция не выполняется.
Авторы предлагают SAMA: разделить задачу на два независимых компонента.
1. Semantic Anchoring — модель предсказывает семантические токены вместе с видеолатентами, планируя «что и где менять» через якорные кадры.
2. Motion Alignment — обучение на задачах восстановления видео (inpainting, speed shuffle) без парных данных, чтобы модель сама выучила физику движения.
Сначала факторизованный pretraining на обычных видео без разметки редактирования — и уже на этом этапе возникает zero-shot video editing! Потом fine-tuning на парных данных.
Результат: SOMA бьёт open-source конкурентов и догоняет коммерческие системы типа Kling-Omni на бенчмарке VIE-Bench.
https://arxiv.org/abs/2603.19228
Главная проблема instruction-guided video editing: если агрессивно применяешь семантические правки — ломается временная согласованность, если осторожно — инструкция не выполняется.
Авторы предлагают SAMA: разделить задачу на два независимых компонента.
1. Semantic Anchoring — модель предсказывает семантические токены вместе с видеолатентами, планируя «что и где менять» через якорные кадры.
2. Motion Alignment — обучение на задачах восстановления видео (inpainting, speed shuffle) без парных данных, чтобы модель сама выучила физику движения.
Сначала факторизованный pretraining на обычных видео без разметки редактирования — и уже на этом этапе возникает zero-shot video editing! Потом fine-tuning на парных данных.
Результат: SOMA бьёт open-source конкурентов и догоняет коммерческие системы типа Kling-Omni на бенчмарке VIE-Bench.
https://arxiv.org/abs/2603.19228
Хочешь снять рекламу кроссовок с любого угла — просто сфоткай их с нескольких сторон.
3DreamBooth решает боль всех методов кастомизации видео: они работают с одной картинкой и не понимают 3D-структуру объекта. Результат — при смене угла объект "ломается".
Идея: берём несколько фото объекта с разных ракурсов и файн-тюним видео-диффузионную модель через LoRA. Хитрость в том, что обучение идёт на одиночных кадрах (T=1) — тогда temporal attention автоматически отключается, и модель учит только пространственную геометрию, не трогая motion-приоры. Дополнительно вводят 3Dapter — модуль мультивью-кондиционирования через dual-branch архитектуру. В итоге токен V впитывает полноценный 3D-prior объекта, и при инференсе модель генерирует видео с произвольных ракурсов, сохраняя идентичность.
https://arxiv.org/abs/2603.18524
3DreamBooth решает боль всех методов кастомизации видео: они работают с одной картинкой и не понимают 3D-структуру объекта. Результат — при смене угла объект "ломается".
Идея: берём несколько фото объекта с разных ракурсов и файн-тюним видео-диффузионную модель через LoRA. Хитрость в том, что обучение идёт на одиночных кадрах (T=1) — тогда temporal attention автоматически отключается, и модель учит только пространственную геометрию, не трогая motion-приоры. Дополнительно вводят 3Dapter — модуль мультивью-кондиционирования через dual-branch архитектуру. В итоге токен V впитывает полноценный 3D-prior объекта, и при инференсе модель генерирует видео с произвольных ракурсов, сохраняя идентичность.
https://arxiv.org/abs/2603.18524
Роботы, которые реагируют мгновенно — без переделки архитектуры
Проблема VLA-роботов (тех, что управляются через vision-language-action модели): пока модель не досчитает весь "чанк" действий целиком, робот не может начать двигаться. Это создаёт слепую зону реакции на неожиданные изменения в среде.
Авторы из HKU заметили: первые действия в чанке гораздо проще предсказать, чем последующие — их траектории прямее и требуют меньше шагов flow matching. Зачем тогда тратить одинаковое число шагов на все действия?
Метод FASTER вводит Horizon-Aware Schedule: ближайшие действия сэмплируются агрессивнее (вплоть до 1 шага!), дальние — медленнее. Плюс стриминговый интерфейс: первые действия отправляются роботу сразу, пока модель продолжает считать остальные.
Новая метрика — Time to First Action (TTFA). На RTX 4060 и 4090 FASTER существенно её снижает, не жертвуя точностью длинных траекторий. Никаких изменений архитектуры или дообучения.
https://arxiv.org/abs/2603.19199
Проблема VLA-роботов (тех, что управляются через vision-language-action модели): пока модель не досчитает весь "чанк" действий целиком, робот не может начать двигаться. Это создаёт слепую зону реакции на неожиданные изменения в среде.
Авторы из HKU заметили: первые действия в чанке гораздо проще предсказать, чем последующие — их траектории прямее и требуют меньше шагов flow matching. Зачем тогда тратить одинаковое число шагов на все действия?
Метод FASTER вводит Horizon-Aware Schedule: ближайшие действия сэмплируются агрессивнее (вплоть до 1 шага!), дальние — медленнее. Плюс стриминговый интерфейс: первые действия отправляются роботу сразу, пока модель продолжает считать остальные.
Новая метрика — Time to First Action (TTFA). На RTX 4060 и 4090 FASTER существенно её снижает, не жертвуя точностью длинных траекторий. Никаких изменений архитектуры или дообучения.
https://arxiv.org/abs/2603.19199
Алайнмент делает LLM "правильными", а не человечными
Исследователи из Technion обнаружили неожиданную проблему: алайнмент (RLHF/DPO) делает языковые модели хуже как предикторы человеческого поведения. Базовые модели без алайнмента предсказывают реальные решения людей в 9.7 раз чаще (213 vs 22 побед, p < 10⁻⁴⁰).
Почему? Алайнмент обучает модель отвечать так, как люди одобряют — кооперативно, справедливо, рационально. Но люди в реальных переговорах блефуют, мстят и отклоняются от "правильного" поведения. В многораундовых играх (торги, убеждение, дилемма заключённого) это критично: поведение определяется историей взаимодействий и репутацией.
Интересно, что в простых одноразовых играх картина обратная — алайнмент помогает (4.1:1 в его пользу), потому что там нормативные предсказания работают.
Вывод: если используете LLM как симулятор человеческого поведения в сложных стратегических сценариях — берите базовые модели.
https://arxiv.org/abs/2603.17218
Исследователи из Technion обнаружили неожиданную проблему: алайнмент (RLHF/DPO) делает языковые модели хуже как предикторы человеческого поведения. Базовые модели без алайнмента предсказывают реальные решения людей в 9.7 раз чаще (213 vs 22 побед, p < 10⁻⁴⁰).
Почему? Алайнмент обучает модель отвечать так, как люди одобряют — кооперативно, справедливо, рационально. Но люди в реальных переговорах блефуют, мстят и отклоняются от "правильного" поведения. В многораундовых играх (торги, убеждение, дилемма заключённого) это критично: поведение определяется историей взаимодействий и репутацией.
Интересно, что в простых одноразовых играх картина обратная — алайнмент помогает (4.1:1 в его пользу), потому что там нормативные предсказания работают.
Вывод: если используете LLM как симулятор человеческого поведения в сложных стратегических сценариях — берите базовые модели.
https://arxiv.org/abs/2603.17218
Разделяй и властвуй: токены для смысла, диффузия для деталей движения
Генерация реалистичной анимации человека — задача со скрытым противоречием: дискретные токены хорошо схватывают высокоуровневый смысл ("идёт вперёд"), но плохо справляются с точными кинематическими деталями. Авторы из MMLab@NTU предлагают MoTok — токенизатор, который это противоречие снимает.
Ключевая идея: не пытаться запихнуть всё в токены. Вместо этого — разделение труда. Токены кодируют только семантику, а диффузионная модель восстанавливает мелкие детали при декодировании. Это позволяет использовать в 6 раз меньше токенов, чем у конкурентов.
Управление условиями — двухуровневое: траектории и ключевые точки сначала влияют грубо на планирование токенов, потом точно — через guidance при диффузионном декодировании.
Результат на HumanML3D: ошибка траектории упала с 0.72 до 0.08 см, FID с 0.083 до 0.029 — при шестикратной экономии токенов.
https://arxiv.org/abs/2603.19227
Генерация реалистичной анимации человека — задача со скрытым противоречием: дискретные токены хорошо схватывают высокоуровневый смысл ("идёт вперёд"), но плохо справляются с точными кинематическими деталями. Авторы из MMLab@NTU предлагают MoTok — токенизатор, который это противоречие снимает.
Ключевая идея: не пытаться запихнуть всё в токены. Вместо этого — разделение труда. Токены кодируют только семантику, а диффузионная модель восстанавливает мелкие детали при декодировании. Это позволяет использовать в 6 раз меньше токенов, чем у конкурентов.
Управление условиями — двухуровневое: траектории и ключевые точки сначала влияют грубо на планирование токенов, потом точно — через guidance при диффузионном декодировании.
Результат на HumanML3D: ошибка траектории упала с 0.72 до 0.08 см, FID с 0.083 до 0.029 — при шестикратной экономии токенов.
https://arxiv.org/abs/2603.19227
HopChain: учим VLM смотреть на картинку на каждом шаге (by Qwen)
Проблема: большие мультимодальные модели умеют рассуждать, но в длинных цепочках мыслей всё чаще "забывают" смотреть на картинку — и ошибки накапливаются как снежный ком.
Решение от Qwen — фреймворк HopChain для синтеза обучающих данных. Идея: создавать вопросы-цепочки, где каждый следующий шаг логически зависит от предыдущего и требует нового обращения к изображению. Например: найди овцу → посчитай её глаза → есть ли текст рядом с ней? Без визуального ре-граундинга на каждом шаге правильный ответ не получить.
Пайплайн: сегментация объектов через SAM3, генерация вопросов-цепочек через Qwen3-VL-235B, верификация людьми. Финальный ответ — число, легко проверяемое для RLVR.
Результат: улучшение на 20 из 24 бенчмарков на моделях Qwen3.5-35B и 397B. Полные цепочки дают 70.4 vs 66.7 у половинчатых и 64.3 у одношаговых.
https://arxiv.org/abs/2603.17024
Проблема: большие мультимодальные модели умеют рассуждать, но в длинных цепочках мыслей всё чаще "забывают" смотреть на картинку — и ошибки накапливаются как снежный ком.
Решение от Qwen — фреймворк HopChain для синтеза обучающих данных. Идея: создавать вопросы-цепочки, где каждый следующий шаг логически зависит от предыдущего и требует нового обращения к изображению. Например: найди овцу → посчитай её глаза → есть ли текст рядом с ней? Без визуального ре-граундинга на каждом шаге правильный ответ не получить.
Пайплайн: сегментация объектов через SAM3, генерация вопросов-цепочек через Qwen3-VL-235B, верификация людьми. Финальный ответ — число, легко проверяемое для RLVR.
Результат: улучшение на 20 из 24 бенчмарков на моделях Qwen3.5-35B и 397B. Полные цепочки дают 70.4 vs 66.7 у половинчатых и 64.3 у одношаговых.
https://arxiv.org/abs/2603.17024
Агент, который сам себя улучшает — без переобучения весов
Представьте агента, который учится как опытный инженер: не переписывает свои "нейроны", а просто пополняет библиотеку навыков. Именно так работает Memento-Skills от UCL.
Идея проста: LLM заморожен, но есть внешняя "память" — библиотека навыков в виде markdown-файлов с кодом и промптами. Цикл Read-Write: получил задачу → выбрал нужный навык → выполнил → получил фидбек → переписал навык. Никакого градиентного спуска — только эволюция внешней памяти.
Результаты впечатляют: на бенчмарке GAIA точность выросла с 58.6% до 96.6% (Level 1), на Humanity's Last Exam — прирост 116% по сравнению с базой. Библиотека навыков выросла с 41 до 235 файлов, самоорганизовавшись в тематические кластеры.
По сути это "for-loop с векторным хранилищем" — но с доказательством сходимости.
https://arxiv.org/abs/2603.18743
Представьте агента, который учится как опытный инженер: не переписывает свои "нейроны", а просто пополняет библиотеку навыков. Именно так работает Memento-Skills от UCL.
Идея проста: LLM заморожен, но есть внешняя "память" — библиотека навыков в виде markdown-файлов с кодом и промптами. Цикл Read-Write: получил задачу → выбрал нужный навык → выполнил → получил фидбек → переписал навык. Никакого градиентного спуска — только эволюция внешней памяти.
Результаты впечатляют: на бенчмарке GAIA точность выросла с 58.6% до 96.6% (Level 1), на Humanity's Last Exam — прирост 116% по сравнению с базой. Библиотека навыков выросла с 41 до 235 файлов, самоорганизовавшись в тематические кластеры.
По сути это "for-loop с векторным хранилищем" — но с доказательством сходимости.
https://arxiv.org/abs/2603.18743
👍1
Полноценный 3D артикулированный объект из одной фотки — без видео, без шаблонов
MonoArt решает задачу, которая раньше требовала либо видео с разными состояниями объекта (открытый/закрытый ноутбук), либо поиска готовых 3D-частей из библиотек. Теперь достаточно одного изображения.
Пайплайн: сначала TRELLIS генерирует каноническую 3D-геометрию из фото, затем Part-Aware Reasoner через триплановую проекцию и трансформер кодирует части объекта, Dual-Query Motion Decoder итеративно уточняет пространственные и семантические запросы, и наконец Kinematic Estimator предсказывает оси суставов, типы движения и кинематическое дерево.
Результат: SOTA на PartNet-Mobility по геометрическим и артикуляционным метрикам, при этом значительно быстрее конкурентов. Метод обобщается на робототехнику и реконструкцию сцен.
https://arxiv.org/abs/2603.19231
MonoArt решает задачу, которая раньше требовала либо видео с разными состояниями объекта (открытый/закрытый ноутбук), либо поиска готовых 3D-частей из библиотек. Теперь достаточно одного изображения.
Пайплайн: сначала TRELLIS генерирует каноническую 3D-геометрию из фото, затем Part-Aware Reasoner через триплановую проекцию и трансформер кодирует части объекта, Dual-Query Motion Decoder итеративно уточняет пространственные и семантические запросы, и наконец Kinematic Estimator предсказывает оси суставов, типы движения и кинематическое дерево.
Результат: SOTA на PartNet-Mobility по геометрическим и артикуляционным метрикам, при этом значительно быстрее конкурентов. Метод обобщается на робототехнику и реконструкцию сцен.
https://arxiv.org/abs/2603.19231
Как генерировать изображения через диффузию, если токены 768-мерные, а не 8-мерные?
Стандартные дискретные диффузионные модели маскируют токены попозиционно — то есть либо вся позиция (h×w) замаскирована, либо нет. Это отлично работает для низкоразмерных токенов. Но если взять семантически богатые фичи DINOv2 (768 измерений), получается тензор h×w×d — и тогда либо нужно O(h×w×d) шагов автогрессии (нереально), либо стандартная диффузия теряет зависимости внутри позиции.
Авторы из HKU предлагают Cubic Discrete Diffusion (CubiD): маскировать токены не позиционно, а поэлементно по всему 3D-тензору. Любое измерение в любой позиции может быть замаскировано независимо. Это позволяет модели учить и пространственные корреляции, и внутрипозиционные зависимости между измерениями.
Результат: FID 1.88 на ImageNet 256×256 с 768-мерными дискретными токенами. Масштабируется от 900M до 3.7B параметров.
https://arxiv.org/abs/2603.19232
Стандартные дискретные диффузионные модели маскируют токены попозиционно — то есть либо вся позиция (h×w) замаскирована, либо нет. Это отлично работает для низкоразмерных токенов. Но если взять семантически богатые фичи DINOv2 (768 измерений), получается тензор h×w×d — и тогда либо нужно O(h×w×d) шагов автогрессии (нереально), либо стандартная диффузия теряет зависимости внутри позиции.
Авторы из HKU предлагают Cubic Discrete Diffusion (CubiD): маскировать токены не позиционно, а поэлементно по всему 3D-тензору. Любое измерение в любой позиции может быть замаскировано независимо. Это позволяет модели учить и пространственные корреляции, и внутрипозиционные зависимости между измерениями.
Результат: FID 1.88 на ImageNet 256×256 с 768-мерными дискретными токенами. Масштабируется от 900M до 3.7B параметров.
https://arxiv.org/abs/2603.19232
Модели видят формулы, но не понимают символы
Парадокс: современные мультимодальные LLM лучше решают задачи по химии и математике, чем просто распознают отдельные символы. Как так? Авторы создали бенчмарк из 13k пар вопрос-изображение-ответ по 5 доменам (язык, культура, математика, физика, химия) и 38 подзадачам, структурированным по 3 уровням сложности: восприятие → композиционное рассуждение → критическое мышление.
Ключевая находка — "recognition-reasoning inversion": модели пропускают этап визуального восприятия символов и угадывают ответ через языковые приоры и запомненные паттерны. Это когнитивное несоответствие: нынешние визуальные энкодеры заточены под непрерывные семантические пространства (сцены, объекты), а дискретные символы требуют совсем другой логики. Самый сложный домен для всех моделей — языковые символы (рукописные иероглифы и т.п.), а не формальные науки.
https://arxiv.org/abs/2603.18472
Парадокс: современные мультимодальные LLM лучше решают задачи по химии и математике, чем просто распознают отдельные символы. Как так? Авторы создали бенчмарк из 13k пар вопрос-изображение-ответ по 5 доменам (язык, культура, математика, физика, химия) и 38 подзадачам, структурированным по 3 уровням сложности: восприятие → композиционное рассуждение → критическое мышление.
Ключевая находка — "recognition-reasoning inversion": модели пропускают этап визуального восприятия символов и угадывают ответ через языковые приоры и запомненные паттерны. Это когнитивное несоответствие: нынешние визуальные энкодеры заточены под непрерывные семантические пространства (сцены, объекты), а дискретные символы требуют совсем другой логики. Самый сложный домен для всех моделей — языковые символы (рукописные иероглифы и т.п.), а не формальные науки.
https://arxiv.org/abs/2603.18472
Amazon Science — формальная верификация AES-XTS
Amazon добавила в библиотеку s2n-bignum первый формально верифицированный алгоритм шифрования AES — реализацию AES-XTS для Arm64. Это значит, что корректность кода доказана математически, а не просто проверена тестами.
AES-XTS защищает данные на дисках: именно его AWS использует в EBS, Nitro и DynamoDB. Ошибка в такой реализации — прямая угроза данным клиентов.
Верификацию провели с помощью HOL Light. Результат — крупнейшее доказательство в истории s2n-bignum. Заодно упростили и переписали ассемблерный код, что позволило автоматически оптимизировать его через суперо птимизатор SLOTHY. Производительность на типичных 512 байтах не упала, а местами даже выросла.
Главное: теперь у AWS есть рабочий шаблон для верификации других AES-алгоритмов. Путь к более широкой формальной проверке криптографии в облаке открыт.
https://www.amazon.science/blog/formally-verified-aes-xts-the-first-aes-algorithm-to-join-s2n-bignum
Amazon добавила в библиотеку s2n-bignum первый формально верифицированный алгоритм шифрования AES — реализацию AES-XTS для Arm64. Это значит, что корректность кода доказана математически, а не просто проверена тестами.
AES-XTS защищает данные на дисках: именно его AWS использует в EBS, Nitro и DynamoDB. Ошибка в такой реализации — прямая угроза данным клиентов.
Верификацию провели с помощью HOL Light. Результат — крупнейшее доказательство в истории s2n-bignum. Заодно упростили и переписали ассемблерный код, что позволило автоматически оптимизировать его через суперо птимизатор SLOTHY. Производительность на типичных 512 байтах не упала, а местами даже выросла.
Главное: теперь у AWS есть рабочий шаблон для верификации других AES-алгоритмов. Путь к более широкой формальной проверке криптографии в облаке открыт.
https://www.amazon.science/blog/formally-verified-aes-xts-the-first-aes-algorithm-to-join-s2n-bignum
Amazon Science
Formally verified AES-XTS: The first AES algorithm to join s2n-bignum
Simplifying and clarifying the assembly code for core operations enabled automated optimization and verification.
🔥1
Как научить стримящую видеомодель не генерировать артефакты, не переобучая её заново?
Дистиллированные авторегрессионные видеомодели умеют генерировать видео в реальном времени через KV-кэш и стриминг, но страдают от артефактов и неестественного движения — дистилляция не оптимизирует под человеческие предпочтения. Применить стандартный RL сложно: нужно хранить всю траекторию и считать log-вероятности вдоль неё, что убивает всю эффективность.
Astrolabe решает это через forward-process RL (без хранения траекторий): берётся чистый сгенерированный клип, к нему добавляется шум, и через контраст implicit positive/negative политик считается лосс прямо на зашумлённых сэмплах. Для длинных видео — сегментное обновление с detached историческим контекстом. Чтобы не было reward hacking — мульти-ревард (качество, движение, text alignment) + uncertainty-based KL-регуляризация.
https://arxiv.org/abs/2603.17051
Дистиллированные авторегрессионные видеомодели умеют генерировать видео в реальном времени через KV-кэш и стриминг, но страдают от артефактов и неестественного движения — дистилляция не оптимизирует под человеческие предпочтения. Применить стандартный RL сложно: нужно хранить всю траекторию и считать log-вероятности вдоль неё, что убивает всю эффективность.
Astrolabe решает это через forward-process RL (без хранения траекторий): берётся чистый сгенерированный клип, к нему добавляется шум, и через контраст implicit positive/negative политик считается лосс прямо на зашумлённых сэмплах. Для длинных видео — сегментное обновление с detached историческим контекстом. Чтобы не было reward hacking — мульти-ревард (качество, движение, text alignment) + uncertainty-based KL-регуляризация.
https://arxiv.org/abs/2603.17051
Omni-WorldBench: как по-настоящему оценить world models? (by Alibaba)
Все существующие бенчмарки для world models измеряют FID, FVD и визуальное качество — но не то, умеет ли модель адекватно реагировать на взаимодействия с миром. Авторы из Alibaba решили это исправить.
Они предложили Omni-WorldBench с двумя ключевыми компонентами:
Omni-WorldSuite — иерархический набор промптов трёх уровней: от статичного объекта до каскадных изменений всей сцены. Охватывает автономное вождение, робототехнику и игровые среды.
Omni-Metric — оценка по трём осям: качество видео, управляемость камеры/объектов и фidelity эффектов взаимодействия. Финальный AgenticScore агрегирует всё через MLLM-агента.
Протестировали 18 моделей — и выяснили, что все они плохо справляются с физически правдоподобными причинно-следственными реакциями на действия. Бенчмарк хорошо коррелирует с оценками людей.
https://arxiv.org/abs/2603.22212
Все существующие бенчмарки для world models измеряют FID, FVD и визуальное качество — но не то, умеет ли модель адекватно реагировать на взаимодействия с миром. Авторы из Alibaba решили это исправить.
Они предложили Omni-WorldBench с двумя ключевыми компонентами:
Omni-WorldSuite — иерархический набор промптов трёх уровней: от статичного объекта до каскадных изменений всей сцены. Охватывает автономное вождение, робототехнику и игровые среды.
Omni-Metric — оценка по трём осям: качество видео, управляемость камеры/объектов и фidelity эффектов взаимодействия. Финальный AgenticScore агрегирует всё через MLLM-агента.
Протестировали 18 моделей — и выяснили, что все они плохо справляются с физически правдоподобными причинно-следственными реакциями на действия. Бенчмарк хорошо коррелирует с оценками людей.
https://arxiv.org/abs/2603.22212
Формальные доказательства теорем — теперь нативная способность LLM
LongCat представила LongCat-Flash-Prover — открытую MoE-модель (560B параметров, 27B активных) для формального доказательства теорем на Lean4. Ключевая идея: разбить задачу на три специализированных эксперта — авто-формализатор (переводит задачу из текста в Lean4), скетчер (строит леммы-скаффолд) и пруver (доказывает). Каждый эксперт взаимодействует с Lean4-компилятором напрямую через TIR (Tool-Integrated Reasoning).
Для стабильного RL-обучения MoE ввели HisPO — иерархическое clipping по importance sampling, отсекающее токены с большим расхождением между train и inference. Плюс детектор "хакерских" доказательств: модель не может подсунуть самодельные аксиомы или подменить условия теоремы.
Результат: +25.5% на MathOlympiad-Bench, +20.3% на PutnamBench (Pass@32), 97.1% на MiniF2F-Test за 72 попытки.
https://arxiv.org/abs/2603.21065
LongCat представила LongCat-Flash-Prover — открытую MoE-модель (560B параметров, 27B активных) для формального доказательства теорем на Lean4. Ключевая идея: разбить задачу на три специализированных эксперта — авто-формализатор (переводит задачу из текста в Lean4), скетчер (строит леммы-скаффолд) и пруver (доказывает). Каждый эксперт взаимодействует с Lean4-компилятором напрямую через TIR (Tool-Integrated Reasoning).
Для стабильного RL-обучения MoE ввели HisPO — иерархическое clipping по importance sampling, отсекающее токены с большим расхождением между train и inference. Плюс детектор "хакерских" доказательств: модель не может подсунуть самодельные аксиомы или подменить условия теоремы.
Результат: +25.5% на MathOlympiad-Bench, +20.3% на PutnamBench (Pass@32), 97.1% на MiniF2F-Test за 72 попытки.
https://arxiv.org/abs/2603.21065
Y-Combinator спасает LLM от "забывчивости" на длинных контекстах
Когда документ не влезает в контекстное окно LLM — модель просто теряет начало. Один из подходов (RLM) учит модель рекурсивно вызывать саму себя, разбивая текст на куски. Проблема: модель сама пишет код управления, который часто падает, зависает или уходит в бесконечную рекурсию.
Авторы предлагают λ-RLM: вместо свободной генерации кода — фиксированный набор верифицированных операторов (SPLIT, MAP, FILTER, REDUCE) из λ-исчисления. Рекурсия кодируется через Y-комбинатор — без имён функций и глобального состояния. LLM работает только на листьях дерева разбора, а вся оркестрация детерминирована и аудируема.
Результат: +21.9% точности на слабых моделях, ускорение в 4.1x по сравнению с обычным RLM. Побеждает в 81% сравнений на задачах с контекстом до 128K токенов.
https://arxiv.org/abs/2603.20105
Когда документ не влезает в контекстное окно LLM — модель просто теряет начало. Один из подходов (RLM) учит модель рекурсивно вызывать саму себя, разбивая текст на куски. Проблема: модель сама пишет код управления, который часто падает, зависает или уходит в бесконечную рекурсию.
Авторы предлагают λ-RLM: вместо свободной генерации кода — фиксированный набор верифицированных операторов (SPLIT, MAP, FILTER, REDUCE) из λ-исчисления. Рекурсия кодируется через Y-комбинатор — без имён функций и глобального состояния. LLM работает только на листьях дерева разбора, а вся оркестрация детерминирована и аудируема.
Результат: +21.9% точности на слабых моделях, ускорение в 4.1x по сравнению с обычным RLM. Побеждает в 81% сравнений на задачах с контекстом до 128K токенов.
https://arxiv.org/abs/2603.20105
Сжатие длинных промптов без обучения — теперь в 26 раз быстрее (by Tsinghua University)
Проблема: у LLM с длинным контекстом два врага — квадратичная сложность attention и эффект "Lost in the Middle", когда модель теряет важное из середины. Классические методы сжатия промптов либо требуют дообучения, либо режут токены хаотично, ломая смысл.
BEAVER решает это иначе: вместо удаления отдельных токенов — выбирает целые "страницы" текста. Алгоритм:
1. Segmenter нарезает контекст на страницы по смысловым границам
2. PageEncoder кодирует каждую страницу через двойной пулинг (mean + max) с ITF-взвешиванием
3. QueryPlanner отбирает нужные страницы, учитывая структурные "якоря" и поток текста
Результат: на бенчмарке RULER почти вдвое лучше конкурентов, 26.4x ускорение при 128k контексте. Работает на моделях от 0.6B до 32B без дообучения.
https://arxiv.org/abs/2603.19635
Проблема: у LLM с длинным контекстом два врага — квадратичная сложность attention и эффект "Lost in the Middle", когда модель теряет важное из середины. Классические методы сжатия промптов либо требуют дообучения, либо режут токены хаотично, ломая смысл.
BEAVER решает это иначе: вместо удаления отдельных токенов — выбирает целые "страницы" текста. Алгоритм:
1. Segmenter нарезает контекст на страницы по смысловым границам
2. PageEncoder кодирует каждую страницу через двойной пулинг (mean + max) с ITF-взвешиванием
3. QueryPlanner отбирает нужные страницы, учитывая структурные "якоря" и поток текста
Результат: на бенчмарке RULER почти вдвое лучше конкурентов, 26.4x ускорение при 128k контексте. Работает на моделях от 0.6B до 32B без дообучения.
https://arxiv.org/abs/2603.19635
Nvidia опубликовала технический гайд по развёртыванию разделённого LLM-инференса на Kubernetes.
Суть в том, что вместо одного монолитного процесса пайплайн делится на три независимых сервиса: prefill (обработка запроса), decode (генерация токенов) и router (маршрутизация). Каждый этап масштабируется отдельно и получает подходящие GPU-ресурсы.
Почему это важно: prefill требует максимальных вычислений, а decode упирается в пропускную способность памяти. Совмещать их на одном железе — значит тратить GPU впустую.
Ключевая роль отводится планировщику KAI Scheduler и абстракциям LeaderWorkerSet и NVIDIA Grove — они обеспечивают gang-scheduling, топологическое размещение подов и автоскейлинг каждой роли независимо. Инструменты NVIDIA Dynamo и llm-d реализуют этот паттерн на практике.
Для инженеров, которые деплоят большие модели в продакшн — прикладное чтение.
https://developer.nvidia.com/blog/deploying-disaggregated-llm-inference-workloads-on-kubernetes/
Суть в том, что вместо одного монолитного процесса пайплайн делится на три независимых сервиса: prefill (обработка запроса), decode (генерация токенов) и router (маршрутизация). Каждый этап масштабируется отдельно и получает подходящие GPU-ресурсы.
Почему это важно: prefill требует максимальных вычислений, а decode упирается в пропускную способность памяти. Совмещать их на одном железе — значит тратить GPU впустую.
Ключевая роль отводится планировщику KAI Scheduler и абстракциям LeaderWorkerSet и NVIDIA Grove — они обеспечивают gang-scheduling, топологическое размещение подов и автоскейлинг каждой роли независимо. Инструменты NVIDIA Dynamo и llm-d реализуют этот паттерн на практике.
Для инженеров, которые деплоят большие модели в продакшн — прикладное чтение.
https://developer.nvidia.com/blog/deploying-disaggregated-llm-inference-workloads-on-kubernetes/
NVIDIA Technical Blog
Deploying Disaggregated LLM Inference Workloads on Kubernetes
As large language model (LLM) inference workloads grow in complexity, a single monolithic serving process starts to hit its limits. Prefill and decode stages have fundamentally different compute…