Роботы, которые реагируют мгновенно — без переделки архитектуры
Проблема VLA-роботов (тех, что управляются через vision-language-action модели): пока модель не досчитает весь "чанк" действий целиком, робот не может начать двигаться. Это создаёт слепую зону реакции на неожиданные изменения в среде.
Авторы из HKU заметили: первые действия в чанке гораздо проще предсказать, чем последующие — их траектории прямее и требуют меньше шагов flow matching. Зачем тогда тратить одинаковое число шагов на все действия?
Метод FASTER вводит Horizon-Aware Schedule: ближайшие действия сэмплируются агрессивнее (вплоть до 1 шага!), дальние — медленнее. Плюс стриминговый интерфейс: первые действия отправляются роботу сразу, пока модель продолжает считать остальные.
Новая метрика — Time to First Action (TTFA). На RTX 4060 и 4090 FASTER существенно её снижает, не жертвуя точностью длинных траекторий. Никаких изменений архитектуры или дообучения.
https://arxiv.org/abs/2603.19199
Проблема VLA-роботов (тех, что управляются через vision-language-action модели): пока модель не досчитает весь "чанк" действий целиком, робот не может начать двигаться. Это создаёт слепую зону реакции на неожиданные изменения в среде.
Авторы из HKU заметили: первые действия в чанке гораздо проще предсказать, чем последующие — их траектории прямее и требуют меньше шагов flow matching. Зачем тогда тратить одинаковое число шагов на все действия?
Метод FASTER вводит Horizon-Aware Schedule: ближайшие действия сэмплируются агрессивнее (вплоть до 1 шага!), дальние — медленнее. Плюс стриминговый интерфейс: первые действия отправляются роботу сразу, пока модель продолжает считать остальные.
Новая метрика — Time to First Action (TTFA). На RTX 4060 и 4090 FASTER существенно её снижает, не жертвуя точностью длинных траекторий. Никаких изменений архитектуры или дообучения.
https://arxiv.org/abs/2603.19199
Алайнмент делает LLM "правильными", а не человечными
Исследователи из Technion обнаружили неожиданную проблему: алайнмент (RLHF/DPO) делает языковые модели хуже как предикторы человеческого поведения. Базовые модели без алайнмента предсказывают реальные решения людей в 9.7 раз чаще (213 vs 22 побед, p < 10⁻⁴⁰).
Почему? Алайнмент обучает модель отвечать так, как люди одобряют — кооперативно, справедливо, рационально. Но люди в реальных переговорах блефуют, мстят и отклоняются от "правильного" поведения. В многораундовых играх (торги, убеждение, дилемма заключённого) это критично: поведение определяется историей взаимодействий и репутацией.
Интересно, что в простых одноразовых играх картина обратная — алайнмент помогает (4.1:1 в его пользу), потому что там нормативные предсказания работают.
Вывод: если используете LLM как симулятор человеческого поведения в сложных стратегических сценариях — берите базовые модели.
https://arxiv.org/abs/2603.17218
Исследователи из Technion обнаружили неожиданную проблему: алайнмент (RLHF/DPO) делает языковые модели хуже как предикторы человеческого поведения. Базовые модели без алайнмента предсказывают реальные решения людей в 9.7 раз чаще (213 vs 22 побед, p < 10⁻⁴⁰).
Почему? Алайнмент обучает модель отвечать так, как люди одобряют — кооперативно, справедливо, рационально. Но люди в реальных переговорах блефуют, мстят и отклоняются от "правильного" поведения. В многораундовых играх (торги, убеждение, дилемма заключённого) это критично: поведение определяется историей взаимодействий и репутацией.
Интересно, что в простых одноразовых играх картина обратная — алайнмент помогает (4.1:1 в его пользу), потому что там нормативные предсказания работают.
Вывод: если используете LLM как симулятор человеческого поведения в сложных стратегических сценариях — берите базовые модели.
https://arxiv.org/abs/2603.17218
Разделяй и властвуй: токены для смысла, диффузия для деталей движения
Генерация реалистичной анимации человека — задача со скрытым противоречием: дискретные токены хорошо схватывают высокоуровневый смысл ("идёт вперёд"), но плохо справляются с точными кинематическими деталями. Авторы из MMLab@NTU предлагают MoTok — токенизатор, который это противоречие снимает.
Ключевая идея: не пытаться запихнуть всё в токены. Вместо этого — разделение труда. Токены кодируют только семантику, а диффузионная модель восстанавливает мелкие детали при декодировании. Это позволяет использовать в 6 раз меньше токенов, чем у конкурентов.
Управление условиями — двухуровневое: траектории и ключевые точки сначала влияют грубо на планирование токенов, потом точно — через guidance при диффузионном декодировании.
Результат на HumanML3D: ошибка траектории упала с 0.72 до 0.08 см, FID с 0.083 до 0.029 — при шестикратной экономии токенов.
https://arxiv.org/abs/2603.19227
Генерация реалистичной анимации человека — задача со скрытым противоречием: дискретные токены хорошо схватывают высокоуровневый смысл ("идёт вперёд"), но плохо справляются с точными кинематическими деталями. Авторы из MMLab@NTU предлагают MoTok — токенизатор, который это противоречие снимает.
Ключевая идея: не пытаться запихнуть всё в токены. Вместо этого — разделение труда. Токены кодируют только семантику, а диффузионная модель восстанавливает мелкие детали при декодировании. Это позволяет использовать в 6 раз меньше токенов, чем у конкурентов.
Управление условиями — двухуровневое: траектории и ключевые точки сначала влияют грубо на планирование токенов, потом точно — через guidance при диффузионном декодировании.
Результат на HumanML3D: ошибка траектории упала с 0.72 до 0.08 см, FID с 0.083 до 0.029 — при шестикратной экономии токенов.
https://arxiv.org/abs/2603.19227
HopChain: учим VLM смотреть на картинку на каждом шаге (by Qwen)
Проблема: большие мультимодальные модели умеют рассуждать, но в длинных цепочках мыслей всё чаще "забывают" смотреть на картинку — и ошибки накапливаются как снежный ком.
Решение от Qwen — фреймворк HopChain для синтеза обучающих данных. Идея: создавать вопросы-цепочки, где каждый следующий шаг логически зависит от предыдущего и требует нового обращения к изображению. Например: найди овцу → посчитай её глаза → есть ли текст рядом с ней? Без визуального ре-граундинга на каждом шаге правильный ответ не получить.
Пайплайн: сегментация объектов через SAM3, генерация вопросов-цепочек через Qwen3-VL-235B, верификация людьми. Финальный ответ — число, легко проверяемое для RLVR.
Результат: улучшение на 20 из 24 бенчмарков на моделях Qwen3.5-35B и 397B. Полные цепочки дают 70.4 vs 66.7 у половинчатых и 64.3 у одношаговых.
https://arxiv.org/abs/2603.17024
Проблема: большие мультимодальные модели умеют рассуждать, но в длинных цепочках мыслей всё чаще "забывают" смотреть на картинку — и ошибки накапливаются как снежный ком.
Решение от Qwen — фреймворк HopChain для синтеза обучающих данных. Идея: создавать вопросы-цепочки, где каждый следующий шаг логически зависит от предыдущего и требует нового обращения к изображению. Например: найди овцу → посчитай её глаза → есть ли текст рядом с ней? Без визуального ре-граундинга на каждом шаге правильный ответ не получить.
Пайплайн: сегментация объектов через SAM3, генерация вопросов-цепочек через Qwen3-VL-235B, верификация людьми. Финальный ответ — число, легко проверяемое для RLVR.
Результат: улучшение на 20 из 24 бенчмарков на моделях Qwen3.5-35B и 397B. Полные цепочки дают 70.4 vs 66.7 у половинчатых и 64.3 у одношаговых.
https://arxiv.org/abs/2603.17024
Агент, который сам себя улучшает — без переобучения весов
Представьте агента, который учится как опытный инженер: не переписывает свои "нейроны", а просто пополняет библиотеку навыков. Именно так работает Memento-Skills от UCL.
Идея проста: LLM заморожен, но есть внешняя "память" — библиотека навыков в виде markdown-файлов с кодом и промптами. Цикл Read-Write: получил задачу → выбрал нужный навык → выполнил → получил фидбек → переписал навык. Никакого градиентного спуска — только эволюция внешней памяти.
Результаты впечатляют: на бенчмарке GAIA точность выросла с 58.6% до 96.6% (Level 1), на Humanity's Last Exam — прирост 116% по сравнению с базой. Библиотека навыков выросла с 41 до 235 файлов, самоорганизовавшись в тематические кластеры.
По сути это "for-loop с векторным хранилищем" — но с доказательством сходимости.
https://arxiv.org/abs/2603.18743
Представьте агента, который учится как опытный инженер: не переписывает свои "нейроны", а просто пополняет библиотеку навыков. Именно так работает Memento-Skills от UCL.
Идея проста: LLM заморожен, но есть внешняя "память" — библиотека навыков в виде markdown-файлов с кодом и промптами. Цикл Read-Write: получил задачу → выбрал нужный навык → выполнил → получил фидбек → переписал навык. Никакого градиентного спуска — только эволюция внешней памяти.
Результаты впечатляют: на бенчмарке GAIA точность выросла с 58.6% до 96.6% (Level 1), на Humanity's Last Exam — прирост 116% по сравнению с базой. Библиотека навыков выросла с 41 до 235 файлов, самоорганизовавшись в тематические кластеры.
По сути это "for-loop с векторным хранилищем" — но с доказательством сходимости.
https://arxiv.org/abs/2603.18743
👍1
Полноценный 3D артикулированный объект из одной фотки — без видео, без шаблонов
MonoArt решает задачу, которая раньше требовала либо видео с разными состояниями объекта (открытый/закрытый ноутбук), либо поиска готовых 3D-частей из библиотек. Теперь достаточно одного изображения.
Пайплайн: сначала TRELLIS генерирует каноническую 3D-геометрию из фото, затем Part-Aware Reasoner через триплановую проекцию и трансформер кодирует части объекта, Dual-Query Motion Decoder итеративно уточняет пространственные и семантические запросы, и наконец Kinematic Estimator предсказывает оси суставов, типы движения и кинематическое дерево.
Результат: SOTA на PartNet-Mobility по геометрическим и артикуляционным метрикам, при этом значительно быстрее конкурентов. Метод обобщается на робототехнику и реконструкцию сцен.
https://arxiv.org/abs/2603.19231
MonoArt решает задачу, которая раньше требовала либо видео с разными состояниями объекта (открытый/закрытый ноутбук), либо поиска готовых 3D-частей из библиотек. Теперь достаточно одного изображения.
Пайплайн: сначала TRELLIS генерирует каноническую 3D-геометрию из фото, затем Part-Aware Reasoner через триплановую проекцию и трансформер кодирует части объекта, Dual-Query Motion Decoder итеративно уточняет пространственные и семантические запросы, и наконец Kinematic Estimator предсказывает оси суставов, типы движения и кинематическое дерево.
Результат: SOTA на PartNet-Mobility по геометрическим и артикуляционным метрикам, при этом значительно быстрее конкурентов. Метод обобщается на робототехнику и реконструкцию сцен.
https://arxiv.org/abs/2603.19231
Как генерировать изображения через диффузию, если токены 768-мерные, а не 8-мерные?
Стандартные дискретные диффузионные модели маскируют токены попозиционно — то есть либо вся позиция (h×w) замаскирована, либо нет. Это отлично работает для низкоразмерных токенов. Но если взять семантически богатые фичи DINOv2 (768 измерений), получается тензор h×w×d — и тогда либо нужно O(h×w×d) шагов автогрессии (нереально), либо стандартная диффузия теряет зависимости внутри позиции.
Авторы из HKU предлагают Cubic Discrete Diffusion (CubiD): маскировать токены не позиционно, а поэлементно по всему 3D-тензору. Любое измерение в любой позиции может быть замаскировано независимо. Это позволяет модели учить и пространственные корреляции, и внутрипозиционные зависимости между измерениями.
Результат: FID 1.88 на ImageNet 256×256 с 768-мерными дискретными токенами. Масштабируется от 900M до 3.7B параметров.
https://arxiv.org/abs/2603.19232
Стандартные дискретные диффузионные модели маскируют токены попозиционно — то есть либо вся позиция (h×w) замаскирована, либо нет. Это отлично работает для низкоразмерных токенов. Но если взять семантически богатые фичи DINOv2 (768 измерений), получается тензор h×w×d — и тогда либо нужно O(h×w×d) шагов автогрессии (нереально), либо стандартная диффузия теряет зависимости внутри позиции.
Авторы из HKU предлагают Cubic Discrete Diffusion (CubiD): маскировать токены не позиционно, а поэлементно по всему 3D-тензору. Любое измерение в любой позиции может быть замаскировано независимо. Это позволяет модели учить и пространственные корреляции, и внутрипозиционные зависимости между измерениями.
Результат: FID 1.88 на ImageNet 256×256 с 768-мерными дискретными токенами. Масштабируется от 900M до 3.7B параметров.
https://arxiv.org/abs/2603.19232
Модели видят формулы, но не понимают символы
Парадокс: современные мультимодальные LLM лучше решают задачи по химии и математике, чем просто распознают отдельные символы. Как так? Авторы создали бенчмарк из 13k пар вопрос-изображение-ответ по 5 доменам (язык, культура, математика, физика, химия) и 38 подзадачам, структурированным по 3 уровням сложности: восприятие → композиционное рассуждение → критическое мышление.
Ключевая находка — "recognition-reasoning inversion": модели пропускают этап визуального восприятия символов и угадывают ответ через языковые приоры и запомненные паттерны. Это когнитивное несоответствие: нынешние визуальные энкодеры заточены под непрерывные семантические пространства (сцены, объекты), а дискретные символы требуют совсем другой логики. Самый сложный домен для всех моделей — языковые символы (рукописные иероглифы и т.п.), а не формальные науки.
https://arxiv.org/abs/2603.18472
Парадокс: современные мультимодальные LLM лучше решают задачи по химии и математике, чем просто распознают отдельные символы. Как так? Авторы создали бенчмарк из 13k пар вопрос-изображение-ответ по 5 доменам (язык, культура, математика, физика, химия) и 38 подзадачам, структурированным по 3 уровням сложности: восприятие → композиционное рассуждение → критическое мышление.
Ключевая находка — "recognition-reasoning inversion": модели пропускают этап визуального восприятия символов и угадывают ответ через языковые приоры и запомненные паттерны. Это когнитивное несоответствие: нынешние визуальные энкодеры заточены под непрерывные семантические пространства (сцены, объекты), а дискретные символы требуют совсем другой логики. Самый сложный домен для всех моделей — языковые символы (рукописные иероглифы и т.п.), а не формальные науки.
https://arxiv.org/abs/2603.18472
Amazon Science — формальная верификация AES-XTS
Amazon добавила в библиотеку s2n-bignum первый формально верифицированный алгоритм шифрования AES — реализацию AES-XTS для Arm64. Это значит, что корректность кода доказана математически, а не просто проверена тестами.
AES-XTS защищает данные на дисках: именно его AWS использует в EBS, Nitro и DynamoDB. Ошибка в такой реализации — прямая угроза данным клиентов.
Верификацию провели с помощью HOL Light. Результат — крупнейшее доказательство в истории s2n-bignum. Заодно упростили и переписали ассемблерный код, что позволило автоматически оптимизировать его через суперо птимизатор SLOTHY. Производительность на типичных 512 байтах не упала, а местами даже выросла.
Главное: теперь у AWS есть рабочий шаблон для верификации других AES-алгоритмов. Путь к более широкой формальной проверке криптографии в облаке открыт.
https://www.amazon.science/blog/formally-verified-aes-xts-the-first-aes-algorithm-to-join-s2n-bignum
Amazon добавила в библиотеку s2n-bignum первый формально верифицированный алгоритм шифрования AES — реализацию AES-XTS для Arm64. Это значит, что корректность кода доказана математически, а не просто проверена тестами.
AES-XTS защищает данные на дисках: именно его AWS использует в EBS, Nitro и DynamoDB. Ошибка в такой реализации — прямая угроза данным клиентов.
Верификацию провели с помощью HOL Light. Результат — крупнейшее доказательство в истории s2n-bignum. Заодно упростили и переписали ассемблерный код, что позволило автоматически оптимизировать его через суперо птимизатор SLOTHY. Производительность на типичных 512 байтах не упала, а местами даже выросла.
Главное: теперь у AWS есть рабочий шаблон для верификации других AES-алгоритмов. Путь к более широкой формальной проверке криптографии в облаке открыт.
https://www.amazon.science/blog/formally-verified-aes-xts-the-first-aes-algorithm-to-join-s2n-bignum
Amazon Science
Formally verified AES-XTS: The first AES algorithm to join s2n-bignum
Simplifying and clarifying the assembly code for core operations enabled automated optimization and verification.
🔥1
Как научить стримящую видеомодель не генерировать артефакты, не переобучая её заново?
Дистиллированные авторегрессионные видеомодели умеют генерировать видео в реальном времени через KV-кэш и стриминг, но страдают от артефактов и неестественного движения — дистилляция не оптимизирует под человеческие предпочтения. Применить стандартный RL сложно: нужно хранить всю траекторию и считать log-вероятности вдоль неё, что убивает всю эффективность.
Astrolabe решает это через forward-process RL (без хранения траекторий): берётся чистый сгенерированный клип, к нему добавляется шум, и через контраст implicit positive/negative политик считается лосс прямо на зашумлённых сэмплах. Для длинных видео — сегментное обновление с detached историческим контекстом. Чтобы не было reward hacking — мульти-ревард (качество, движение, text alignment) + uncertainty-based KL-регуляризация.
https://arxiv.org/abs/2603.17051
Дистиллированные авторегрессионные видеомодели умеют генерировать видео в реальном времени через KV-кэш и стриминг, но страдают от артефактов и неестественного движения — дистилляция не оптимизирует под человеческие предпочтения. Применить стандартный RL сложно: нужно хранить всю траекторию и считать log-вероятности вдоль неё, что убивает всю эффективность.
Astrolabe решает это через forward-process RL (без хранения траекторий): берётся чистый сгенерированный клип, к нему добавляется шум, и через контраст implicit positive/negative политик считается лосс прямо на зашумлённых сэмплах. Для длинных видео — сегментное обновление с detached историческим контекстом. Чтобы не было reward hacking — мульти-ревард (качество, движение, text alignment) + uncertainty-based KL-регуляризация.
https://arxiv.org/abs/2603.17051
Omni-WorldBench: как по-настоящему оценить world models? (by Alibaba)
Все существующие бенчмарки для world models измеряют FID, FVD и визуальное качество — но не то, умеет ли модель адекватно реагировать на взаимодействия с миром. Авторы из Alibaba решили это исправить.
Они предложили Omni-WorldBench с двумя ключевыми компонентами:
Omni-WorldSuite — иерархический набор промптов трёх уровней: от статичного объекта до каскадных изменений всей сцены. Охватывает автономное вождение, робототехнику и игровые среды.
Omni-Metric — оценка по трём осям: качество видео, управляемость камеры/объектов и фidelity эффектов взаимодействия. Финальный AgenticScore агрегирует всё через MLLM-агента.
Протестировали 18 моделей — и выяснили, что все они плохо справляются с физически правдоподобными причинно-следственными реакциями на действия. Бенчмарк хорошо коррелирует с оценками людей.
https://arxiv.org/abs/2603.22212
Все существующие бенчмарки для world models измеряют FID, FVD и визуальное качество — но не то, умеет ли модель адекватно реагировать на взаимодействия с миром. Авторы из Alibaba решили это исправить.
Они предложили Omni-WorldBench с двумя ключевыми компонентами:
Omni-WorldSuite — иерархический набор промптов трёх уровней: от статичного объекта до каскадных изменений всей сцены. Охватывает автономное вождение, робототехнику и игровые среды.
Omni-Metric — оценка по трём осям: качество видео, управляемость камеры/объектов и фidelity эффектов взаимодействия. Финальный AgenticScore агрегирует всё через MLLM-агента.
Протестировали 18 моделей — и выяснили, что все они плохо справляются с физически правдоподобными причинно-следственными реакциями на действия. Бенчмарк хорошо коррелирует с оценками людей.
https://arxiv.org/abs/2603.22212
Формальные доказательства теорем — теперь нативная способность LLM
LongCat представила LongCat-Flash-Prover — открытую MoE-модель (560B параметров, 27B активных) для формального доказательства теорем на Lean4. Ключевая идея: разбить задачу на три специализированных эксперта — авто-формализатор (переводит задачу из текста в Lean4), скетчер (строит леммы-скаффолд) и пруver (доказывает). Каждый эксперт взаимодействует с Lean4-компилятором напрямую через TIR (Tool-Integrated Reasoning).
Для стабильного RL-обучения MoE ввели HisPO — иерархическое clipping по importance sampling, отсекающее токены с большим расхождением между train и inference. Плюс детектор "хакерских" доказательств: модель не может подсунуть самодельные аксиомы или подменить условия теоремы.
Результат: +25.5% на MathOlympiad-Bench, +20.3% на PutnamBench (Pass@32), 97.1% на MiniF2F-Test за 72 попытки.
https://arxiv.org/abs/2603.21065
LongCat представила LongCat-Flash-Prover — открытую MoE-модель (560B параметров, 27B активных) для формального доказательства теорем на Lean4. Ключевая идея: разбить задачу на три специализированных эксперта — авто-формализатор (переводит задачу из текста в Lean4), скетчер (строит леммы-скаффолд) и пруver (доказывает). Каждый эксперт взаимодействует с Lean4-компилятором напрямую через TIR (Tool-Integrated Reasoning).
Для стабильного RL-обучения MoE ввели HisPO — иерархическое clipping по importance sampling, отсекающее токены с большим расхождением между train и inference. Плюс детектор "хакерских" доказательств: модель не может подсунуть самодельные аксиомы или подменить условия теоремы.
Результат: +25.5% на MathOlympiad-Bench, +20.3% на PutnamBench (Pass@32), 97.1% на MiniF2F-Test за 72 попытки.
https://arxiv.org/abs/2603.21065
Y-Combinator спасает LLM от "забывчивости" на длинных контекстах
Когда документ не влезает в контекстное окно LLM — модель просто теряет начало. Один из подходов (RLM) учит модель рекурсивно вызывать саму себя, разбивая текст на куски. Проблема: модель сама пишет код управления, который часто падает, зависает или уходит в бесконечную рекурсию.
Авторы предлагают λ-RLM: вместо свободной генерации кода — фиксированный набор верифицированных операторов (SPLIT, MAP, FILTER, REDUCE) из λ-исчисления. Рекурсия кодируется через Y-комбинатор — без имён функций и глобального состояния. LLM работает только на листьях дерева разбора, а вся оркестрация детерминирована и аудируема.
Результат: +21.9% точности на слабых моделях, ускорение в 4.1x по сравнению с обычным RLM. Побеждает в 81% сравнений на задачах с контекстом до 128K токенов.
https://arxiv.org/abs/2603.20105
Когда документ не влезает в контекстное окно LLM — модель просто теряет начало. Один из подходов (RLM) учит модель рекурсивно вызывать саму себя, разбивая текст на куски. Проблема: модель сама пишет код управления, который часто падает, зависает или уходит в бесконечную рекурсию.
Авторы предлагают λ-RLM: вместо свободной генерации кода — фиксированный набор верифицированных операторов (SPLIT, MAP, FILTER, REDUCE) из λ-исчисления. Рекурсия кодируется через Y-комбинатор — без имён функций и глобального состояния. LLM работает только на листьях дерева разбора, а вся оркестрация детерминирована и аудируема.
Результат: +21.9% точности на слабых моделях, ускорение в 4.1x по сравнению с обычным RLM. Побеждает в 81% сравнений на задачах с контекстом до 128K токенов.
https://arxiv.org/abs/2603.20105
Сжатие длинных промптов без обучения — теперь в 26 раз быстрее (by Tsinghua University)
Проблема: у LLM с длинным контекстом два врага — квадратичная сложность attention и эффект "Lost in the Middle", когда модель теряет важное из середины. Классические методы сжатия промптов либо требуют дообучения, либо режут токены хаотично, ломая смысл.
BEAVER решает это иначе: вместо удаления отдельных токенов — выбирает целые "страницы" текста. Алгоритм:
1. Segmenter нарезает контекст на страницы по смысловым границам
2. PageEncoder кодирует каждую страницу через двойной пулинг (mean + max) с ITF-взвешиванием
3. QueryPlanner отбирает нужные страницы, учитывая структурные "якоря" и поток текста
Результат: на бенчмарке RULER почти вдвое лучше конкурентов, 26.4x ускорение при 128k контексте. Работает на моделях от 0.6B до 32B без дообучения.
https://arxiv.org/abs/2603.19635
Проблема: у LLM с длинным контекстом два врага — квадратичная сложность attention и эффект "Lost in the Middle", когда модель теряет важное из середины. Классические методы сжатия промптов либо требуют дообучения, либо режут токены хаотично, ломая смысл.
BEAVER решает это иначе: вместо удаления отдельных токенов — выбирает целые "страницы" текста. Алгоритм:
1. Segmenter нарезает контекст на страницы по смысловым границам
2. PageEncoder кодирует каждую страницу через двойной пулинг (mean + max) с ITF-взвешиванием
3. QueryPlanner отбирает нужные страницы, учитывая структурные "якоря" и поток текста
Результат: на бенчмарке RULER почти вдвое лучше конкурентов, 26.4x ускорение при 128k контексте. Работает на моделях от 0.6B до 32B без дообучения.
https://arxiv.org/abs/2603.19635
Nvidia опубликовала технический гайд по развёртыванию разделённого LLM-инференса на Kubernetes.
Суть в том, что вместо одного монолитного процесса пайплайн делится на три независимых сервиса: prefill (обработка запроса), decode (генерация токенов) и router (маршрутизация). Каждый этап масштабируется отдельно и получает подходящие GPU-ресурсы.
Почему это важно: prefill требует максимальных вычислений, а decode упирается в пропускную способность памяти. Совмещать их на одном железе — значит тратить GPU впустую.
Ключевая роль отводится планировщику KAI Scheduler и абстракциям LeaderWorkerSet и NVIDIA Grove — они обеспечивают gang-scheduling, топологическое размещение подов и автоскейлинг каждой роли независимо. Инструменты NVIDIA Dynamo и llm-d реализуют этот паттерн на практике.
Для инженеров, которые деплоят большие модели в продакшн — прикладное чтение.
https://developer.nvidia.com/blog/deploying-disaggregated-llm-inference-workloads-on-kubernetes/
Суть в том, что вместо одного монолитного процесса пайплайн делится на три независимых сервиса: prefill (обработка запроса), decode (генерация токенов) и router (маршрутизация). Каждый этап масштабируется отдельно и получает подходящие GPU-ресурсы.
Почему это важно: prefill требует максимальных вычислений, а decode упирается в пропускную способность памяти. Совмещать их на одном железе — значит тратить GPU впустую.
Ключевая роль отводится планировщику KAI Scheduler и абстракциям LeaderWorkerSet и NVIDIA Grove — они обеспечивают gang-scheduling, топологическое размещение подов и автоскейлинг каждой роли независимо. Инструменты NVIDIA Dynamo и llm-d реализуют этот паттерн на практике.
Для инженеров, которые деплоят большие модели в продакшн — прикладное чтение.
https://developer.nvidia.com/blog/deploying-disaggregated-llm-inference-workloads-on-kubernetes/
NVIDIA Technical Blog
Deploying Disaggregated LLM Inference Workloads on Kubernetes
As large language model (LLM) inference workloads grow in complexity, a single monolithic serving process starts to hit its limits. Prefill and decode stages have fundamentally different compute…
Apple ML опубликовала исследование об оптимальном разделении языковых моделей на специализированные версии.
Суть: стандартный подход — сначала предобучить одну большую модель на всех данных, потом дообучить отдельные копии под каждый домен. Проблема — непонятно, как правильно распределить вычислительный бюджет между этапами.
Исследователи предложили метод, который с помощью законов масштабирования точно предсказывает, сколько токенов нужно потратить на общее предобучение, а сколько — на специализацию. Формула учитывает размер модели N, объём общих данных D и специализированных данных D'.
Результат: подход стабильно улучшает качество на задачах здравого смысла и рассуждений при разных размерах моделей и бюджетах.
Почему важно: это напрямую влияет на эффективность создания специализированных моделей — меньше лишних вычислений, лучше результат. Работа принята на воркшоп ICLR 2026.
https://machinelearning.apple.com/research/optimal-splitting
Суть: стандартный подход — сначала предобучить одну большую модель на всех данных, потом дообучить отдельные копии под каждый домен. Проблема — непонятно, как правильно распределить вычислительный бюджет между этапами.
Исследователи предложили метод, который с помощью законов масштабирования точно предсказывает, сколько токенов нужно потратить на общее предобучение, а сколько — на специализацию. Формула учитывает размер модели N, объём общих данных D и специализированных данных D'.
Результат: подход стабильно улучшает качество на задачах здравого смысла и рассуждений при разных размерах моделей и бюджетах.
Почему важно: это напрямую влияет на эффективность создания специализированных моделей — меньше лишних вычислений, лучше результат. Работа принята на воркшоп ICLR 2026.
https://machinelearning.apple.com/research/optimal-splitting
Apple Machine Learning Research
Optimal Splitting of Language Models from Mixtures to Specialized Domains
This paper was accepted at the Workshop on Navigating and Addressing Data Problems for Foundation Models at ICLR 2026.
Language models…
Language models…
❤1
PyTorch выпустил версию 2.11
Вышел PyTorch 2.11 — крупное обновление фреймворка для машинного обучения. Главные новинки:
FlexAttention теперь работает на бэкенде FlashAttention-4 для GPU Hopper и Blackwell — ускорение до 3.2× на вычислительно-нагруженных задачах. Серьёзный буст для трансформеров.
Differentiable Collectives — теперь можно делать обратное распространение ошибки через коллективные операции в распределённом обучении без написания кастомных autograd-функций.
Apple Silicon получил расширенную поддержку операторов и асинхронные сообщения об ошибках при работе с MPS-бэкендом.
LSTM и GRU теперь можно экспортировать на GPU через torch.export — важно для продакшн-деплоя.
Intel GPU получили XPUGraph для снижения накладных расходов CPU при инференсе.
TorchScript официально устарел — переходите на torch.export.
CUDA 13 теперь версия по умолчанию. Релизы в 2026 году будут выходить раз в два месяца вместо квартальных.
https://pytorch.org/blog/pytorch-2-11-release-blog/
Вышел PyTorch 2.11 — крупное обновление фреймворка для машинного обучения. Главные новинки:
FlexAttention теперь работает на бэкенде FlashAttention-4 для GPU Hopper и Blackwell — ускорение до 3.2× на вычислительно-нагруженных задачах. Серьёзный буст для трансформеров.
Differentiable Collectives — теперь можно делать обратное распространение ошибки через коллективные операции в распределённом обучении без написания кастомных autograd-функций.
Apple Silicon получил расширенную поддержку операторов и асинхронные сообщения об ошибках при работе с MPS-бэкендом.
LSTM и GRU теперь можно экспортировать на GPU через torch.export — важно для продакшн-деплоя.
Intel GPU получили XPUGraph для снижения накладных расходов CPU при инференсе.
TorchScript официально устарел — переходите на torch.export.
CUDA 13 теперь версия по умолчанию. Релизы в 2026 году будут выходить раз в два месяца вместо квартальных.
https://pytorch.org/blog/pytorch-2-11-release-blog/
Nvidia представила семейство моделей Nemotron 3 на конференции GTC 2026.
Это целый стек специализированных агентных моделей, которые работают вместе:
Nemotron 3 Super — гибридная MoE-модель с 1M токенов контекста и архитектурой Mamba+Transformer. Активирует лишь 12B параметров за проход, даёт до 5x прироста скорости на GPU Blackwell. Подходит для сложных многоагентных задач.
Nemotron 3 Content Safety — компактная 4B-модель для модерации текста и изображений на 12 языках. Точность ~84% на мультимодальных бенчмарках при низкой задержке.
Nemotron 3 VoiceChat — 12B-модель для голосового общения в реальном времени без каскадных пайплайнов (ASR+LLM+TTS заменены одной моделью).
Также анонсированы Nemotron RAG с мультимодальными эмбеддингами и Nemotron 3 Nano Omni для корпоративного использования (скоро).
Все модели открытые, с весами и рецептами обучения. Разработчики получают полный инструментарий для создания безопасных агентных систем.
https://developer.nvidia.com/blog/building-nvidia-nemotron-3-agents-for-reasoning-multimodal-rag-voice-and-safety/
Это целый стек специализированных агентных моделей, которые работают вместе:
Nemotron 3 Super — гибридная MoE-модель с 1M токенов контекста и архитектурой Mamba+Transformer. Активирует лишь 12B параметров за проход, даёт до 5x прироста скорости на GPU Blackwell. Подходит для сложных многоагентных задач.
Nemotron 3 Content Safety — компактная 4B-модель для модерации текста и изображений на 12 языках. Точность ~84% на мультимодальных бенчмарках при низкой задержке.
Nemotron 3 VoiceChat — 12B-модель для голосового общения в реальном времени без каскадных пайплайнов (ASR+LLM+TTS заменены одной моделью).
Также анонсированы Nemotron RAG с мультимодальными эмбеддингами и Nemotron 3 Nano Omni для корпоративного использования (скоро).
Все модели открытые, с весами и рецептами обучения. Разработчики получают полный инструментарий для создания безопасных агентных систем.
https://developer.nvidia.com/blog/building-nvidia-nemotron-3-agents-for-reasoning-multimodal-rag-voice-and-safety/
NVIDIA Technical Blog
Building NVIDIA Nemotron 3 Agents for Reasoning, Multimodal RAG, Voice, and Safety
Agentic AI is an ecosystem where specialized models work together to handle planning, reasoning, retrieval, and safety guardrailing. As these systems scale, developers need models that can understand…
Nvidia представила IGX Thor — мощную платформу для промышленного ИИ на периферии
IGX Thor — новое семейство устройств для развёртывания ИИ прямо на производстве, в больницах и в робототехнике, без отправки данных в облако. Платформа предлагает до 5 581 FP4 TFLOPS и в 8 раз превосходит предыдущее поколение IGX Orin по производительности встроенного GPU.
В линейку входят четыре устройства: компактный модуль T5000, расширенный T7000 с дискретной GPU, а также два девкита. T7000 способен обслуживать в 20 раз больше пользователей одновременно и в 5 раз быстрее справляется с задачами генеративного ИИ.
Ключевая особенность — встроенная функциональная безопасность с поддержкой стандартов ISO 26262 и IEC 61508. Это критично для медицины и промышленности, где сбой недопустим.
Платформа ориентирована на разработчиков роботов, автономных машин и промышленных систем, которым нужен мощный локальный ИИ с гарантиями надёжности.
https://developer.nvidia.com/blog/nvidia-igx-thor-powers-industrial-medical-and-robotics-edge-ai-applications/
IGX Thor — новое семейство устройств для развёртывания ИИ прямо на производстве, в больницах и в робототехнике, без отправки данных в облако. Платформа предлагает до 5 581 FP4 TFLOPS и в 8 раз превосходит предыдущее поколение IGX Orin по производительности встроенного GPU.
В линейку входят четыре устройства: компактный модуль T5000, расширенный T7000 с дискретной GPU, а также два девкита. T7000 способен обслуживать в 20 раз больше пользователей одновременно и в 5 раз быстрее справляется с задачами генеративного ИИ.
Ключевая особенность — встроенная функциональная безопасность с поддержкой стандартов ISO 26262 и IEC 61508. Это критично для медицины и промышленности, где сбой недопустим.
Платформа ориентирована на разработчиков роботов, автономных машин и промышленных систем, которым нужен мощный локальный ИИ с гарантиями надёжности.
https://developer.nvidia.com/blog/nvidia-igx-thor-powers-industrial-medical-and-robotics-edge-ai-applications/
NVIDIA Technical Blog
NVIDIA IGX Thor Powers Industrial, Medical, and Robotics Edge AI Applications
Industrial and medical systems are rapidly increasing the use of high-performance AI to improve worker productivity, human-machine interaction, and downtime management. From factory automation cells…
Nvidia Tech: архитектура нулевого доверия для AI-фабрик
Nvidia опубликовала референсную архитектуру для защищённых AI-фабрик на основе принципа zero-trust. Суть: корпоративные AI-системы теперь можно запускать на собственном железе, не доверяя даже администраторам инфраструктуры.
Проблема была в «треугольнике недоверия»: владельцы моделей боятся кражи весов, операторы инфраструктуры не доверяют чужим воркloadам, а владельцы данных опасаются утечек при инференсе.
Решение — аппаратные Trusted Execution Environments (TEE) на базе GPU Hopper/Blackwell плюс Confidential Containers для Kubernetes. Модель остаётся зашифрованной до тех пор, пока железо криптографически не докажет безопасность среды. Только после этого ключ расшифровки попадает в защищённую память.
Для бизнеса это важно: медицинские данные, финансовая аналитика и проприетарные модели теперь можно использовать вместе без риска утечки — даже от собственных сисадминов.
https://developer.nvidia.com/blog/building-a-zero-trust-architecture-for-confidential-ai-factories/
Nvidia опубликовала референсную архитектуру для защищённых AI-фабрик на основе принципа zero-trust. Суть: корпоративные AI-системы теперь можно запускать на собственном железе, не доверяя даже администраторам инфраструктуры.
Проблема была в «треугольнике недоверия»: владельцы моделей боятся кражи весов, операторы инфраструктуры не доверяют чужим воркloadам, а владельцы данных опасаются утечек при инференсе.
Решение — аппаратные Trusted Execution Environments (TEE) на базе GPU Hopper/Blackwell плюс Confidential Containers для Kubernetes. Модель остаётся зашифрованной до тех пор, пока железо криптографически не докажет безопасность среды. Только после этого ключ расшифровки попадает в защищённую память.
Для бизнеса это важно: медицинские данные, финансовая аналитика и проприетарные модели теперь можно использовать вместе без риска утечки — даже от собственных сисадминов.
https://developer.nvidia.com/blog/building-a-zero-trust-architecture-for-confidential-ai-factories/
NVIDIA Technical Blog
Building a Zero-Trust Architecture for Confidential AI Factories
AI is moving from experimentation to production. However, most data enterprises need exists outside the public cloud. This includes sensitive information like patient records, market research…