TrackCraft3R: видеодиффузия теперь умеет трекать точки в 3D (by Google)
Представьте: берёте мощную видео-диффузионную модель, которая обучена на миллионах роликов из интернета, и перепрофилируете её в трекер 3D-точек. Именно это делает TrackCraft3R.
Главная проблема: видео DiT-ы работают покадрово (frame-anchored), а трекинг требует следить за одними и теми же физическими точками во времени (reference-anchored). Авторы решают это двумя трюками:
1. Dual-latent представление: geometry latents кодируют 3D-геометрию каждого кадра, а track latents — только первый кадр, который нужно протрекать.
2. Temporal RoPE alignment: переиспользуют позиционные эмбеддинги, чтобы track latents знали, к какому таймстемпу они обращаются.
Итог — dense 3D трекинг за один forward pass, без итеративного chaining'а. Быстрее SOTA (DELTAv2) в 1.3× и в 4.6× экономнее по памяти. Работает на длинных видео и при больших движениях объектов.
https://arxiv.org/abs/2605.12587
Представьте: берёте мощную видео-диффузионную модель, которая обучена на миллионах роликов из интернета, и перепрофилируете её в трекер 3D-точек. Именно это делает TrackCraft3R.
Главная проблема: видео DiT-ы работают покадрово (frame-anchored), а трекинг требует следить за одними и теми же физическими точками во времени (reference-anchored). Авторы решают это двумя трюками:
1. Dual-latent представление: geometry latents кодируют 3D-геометрию каждого кадра, а track latents — только первый кадр, который нужно протрекать.
2. Temporal RoPE alignment: переиспользуют позиционные эмбеддинги, чтобы track latents знали, к какому таймстемпу они обращаются.
Итог — dense 3D трекинг за один forward pass, без итеративного chaining'а. Быстрее SOTA (DELTAv2) в 1.3× и в 4.6× экономнее по памяти. Работает на длинных видео и при больших движениях объектов.
https://arxiv.org/abs/2605.12587
Microsoft Research обновила mimalloc — высокопроизводительный аллокатор памяти с открытым исходным кодом.
Что это такое: mimalloc — замена стандартным malloc/free, разработанная ещё в 2020 году для нужд языков Lean и Koka. Сейчас это боевой инструмент, который используется в Bing, Unreal Engine, игре Death Stranding и даже в CPython 3.13+ (версия без GIL).
Почему важно: современные сервисы работают с сотнями потоков и сотнями гигабайт памяти — особенно при использовании LLM. mimalloc решает проблему конкуренции за память: каждый поток работает со своей кучей, атомарные операции нужны только при освобождении памяти из другого потока.
Результат: минимальная фрагментация, предсказуемое время аллокации, поддержка Windows/macOS/Linux и консолей. Весь код — около 12 тысяч строк на C, Rust-обёртка скачивается более 100 тысяч раз в день.
Проект доступен на GitHub и набрал уже 12K звёзд.
https://www.microsoft.com/en-us/research/blog/mimalloc-a-high-performance-scalable-memory-allocator-for-the-modern-era/
Что это такое: mimalloc — замена стандартным malloc/free, разработанная ещё в 2020 году для нужд языков Lean и Koka. Сейчас это боевой инструмент, который используется в Bing, Unreal Engine, игре Death Stranding и даже в CPython 3.13+ (версия без GIL).
Почему важно: современные сервисы работают с сотнями потоков и сотнями гигабайт памяти — особенно при использовании LLM. mimalloc решает проблему конкуренции за память: каждый поток работает со своей кучей, атомарные операции нужны только при освобождении памяти из другого потока.
Результат: минимальная фрагментация, предсказуемое время аллокации, поддержка Windows/macOS/Linux и консолей. Весь код — около 12 тысяч строк на C, Rust-обёртка скачивается более 100 тысяч раз в день.
Проект доступен на GitHub и набрал уже 12K звёзд.
https://www.microsoft.com/en-us/research/blog/mimalloc-a-high-performance-scalable-memory-allocator-for-the-modern-era/
Microsoft Research
mimalloc: A new, high-performance, scalable memory allocator for the modern era - Microsoft Research
mimalloc is an open-source, modern, scalable memory allocator that is a drop-in replacement for malloc and free. It is relatively small (~12K lines), with clear internal data structures, and is easy to build and integrate into other projects. It provides…
Microsoft Research выпустила GridSFM — небольшую нейросеть для оптимизации электросетей.
Модель решает задачу AC-OPF (оптимальный поток мощности) за миллисекунды вместо часов. Это важно: такие расчёты управляют работой энергосистем, влияя на до 20 млрд долларов ежегодных потерь от перегрузок и 3,4 ТВт·ч «потерянной» возобновляемой энергии.
GridSFM обучена на 150+ топологиях сетей и работает без переобучения под каждую новую конфигурацию. Доступны два варианта: Open (до 4 000 узлов) и Premier (до 80 000 узлов). Точность — медианное отклонение от эталона 2,23%.
Проще говоря: операторы смогут просчитывать тысячи сценариев аварий и нагрузок в реальном времени вместо того, чтобы ждать часами или жертвовать точностью.
https://www.microsoft.com/en-us/research/blog/gridsfm-a-new-small-foundation-model-for-the-electric-grid/
Модель решает задачу AC-OPF (оптимальный поток мощности) за миллисекунды вместо часов. Это важно: такие расчёты управляют работой энергосистем, влияя на до 20 млрд долларов ежегодных потерь от перегрузок и 3,4 ТВт·ч «потерянной» возобновляемой энергии.
GridSFM обучена на 150+ топологиях сетей и работает без переобучения под каждую новую конфигурацию. Доступны два варианта: Open (до 4 000 узлов) и Premier (до 80 000 узлов). Точность — медианное отклонение от эталона 2,23%.
Проще говоря: операторы смогут просчитывать тысячи сценариев аварий и нагрузок в реальном времени вместо того, чтобы ждать часами или жертвовать точностью.
https://www.microsoft.com/en-us/research/blog/gridsfm-a-new-small-foundation-model-for-the-electric-grid/
Microsoft Research
GridSFM: Small foundation model boosts power grid optimization
Introducing GridSFM, a small foundation model that can predict AC optimal power flow in milliseconds, boosting efficiency and unlocking cost savings. Learn how GridSFM gives grid operators direct visibility into congestion, stability, and system health:
Nvidia ускорила анализ рентгеновских данных в 1000 раз
Nvidia представила рабочий процесс XANI (Accelerated X-Ray Analysis for Nanoscale Imaging) для анализа данных с рентгеновских лазеров на свободных электронах. Эти установки снимают движение атомов и электронов в материалах — батареях, полупроводниках, термоядерных материалах — со скоростью до миллиона кадров в секунду.
Раньше обработка 42 терабайт экспериментальных данных занимала девять месяцев. На 32 чипах GB200 Grace Blackwell та же задача решается менее чем за четыре часа — ускорение в 1000 раз при сохранении точности.
Добились этого через GPU-ориентированную архитектуру на базе cuPyNumeric, новые библиотеки LMFIT, многопоточный HDF5 и технологию GPUDirect Storage — данные идут прямо в память GPU, минуя CPU. Пропускная способность I/O выросла в 165 раз.
Итог: учёные смогут получать обратную связь прямо во время эксперимента, а не спустя месяцы после него.
https://developer.nvidia.com/blog/accelerated-x-ray-analysis-for-nanoscale-imaging-xani-of-novel-materials/
Nvidia представила рабочий процесс XANI (Accelerated X-Ray Analysis for Nanoscale Imaging) для анализа данных с рентгеновских лазеров на свободных электронах. Эти установки снимают движение атомов и электронов в материалах — батареях, полупроводниках, термоядерных материалах — со скоростью до миллиона кадров в секунду.
Раньше обработка 42 терабайт экспериментальных данных занимала девять месяцев. На 32 чипах GB200 Grace Blackwell та же задача решается менее чем за четыре часа — ускорение в 1000 раз при сохранении точности.
Добились этого через GPU-ориентированную архитектуру на базе cuPyNumeric, новые библиотеки LMFIT, многопоточный HDF5 и технологию GPUDirect Storage — данные идут прямо в память GPU, минуя CPU. Пропускная способность I/O выросла в 165 раз.
Итог: учёные смогут получать обратную связь прямо во время эксперимента, а не спустя месяцы после него.
https://developer.nvidia.com/blog/accelerated-x-ray-analysis-for-nanoscale-imaging-xani-of-novel-materials/
NVIDIA Technical Blog
Accelerated X-Ray Analysis for Nanoscale Imaging (XANI) of Novel Materials
A massive-scale X-ray free-electron laser (XFEL) enables tracking structural and electron dynamics in novel systems, including fusion materials, semiconductors, batteries, and catalysis.
Золотая медаль олимпиады для 30B модели — без магии, только правильный рецепт
SU-01 — это 30B-A3B модель, которая на USAMO 2026 набрала столько же баллов, сколько лучший человек среди 340 участников, а на IMO 2025 с test-time scaling достигла золотой медали.
Рецепт простой, но продуманный:
1. SFT на 338K траекториях с самопроверкой и самоисправлением, с обратным curriculum по перплексии (сначала незнакомые примеры)
2. Coarse RL — стандартный RLVR с бинарными наградами за правильность
3. Refined RL — генеративная reward model оценивает качество доказательства целиком + experience replay для редких успехов на сложных задачах
4. TTS — итеративный цикл верификации и исправления до 100K+ токенов
Ключевая идея: не строить узкий солвер, а специализировать сильный general-purpose backbone под доказательное рассуждение, сохраняя перенос на научные задачи. Работает и на физике (IPhO gold), и на исследовательских задачах.
https://arxiv.org/abs/2605.13301
SU-01 — это 30B-A3B модель, которая на USAMO 2026 набрала столько же баллов, сколько лучший человек среди 340 участников, а на IMO 2025 с test-time scaling достигла золотой медали.
Рецепт простой, но продуманный:
1. SFT на 338K траекториях с самопроверкой и самоисправлением, с обратным curriculum по перплексии (сначала незнакомые примеры)
2. Coarse RL — стандартный RLVR с бинарными наградами за правильность
3. Refined RL — генеративная reward model оценивает качество доказательства целиком + experience replay для редких успехов на сложных задачах
4. TTS — итеративный цикл верификации и исправления до 100K+ токенов
Ключевая идея: не строить узкий солвер, а специализировать сильный general-purpose backbone под доказательное рассуждение, сохраняя перенос на научные задачи. Работает и на физике (IPhO gold), и на исследовательских задачах.
https://arxiv.org/abs/2605.13301
SANA-WM: минутное видео на одной GPU (by NVIDIA)
Генерировать минуту 720p-видео с точным контролем камеры — и уложиться в одну RTX 5090 за 34 секунды? NVIDIA говорит: реально.
Ключевые идеи SANA-WM (2.6B параметров):
1. Гибридный DiT: чередование Gated DeltaNet-блоков (линейное внимание, рекуррентная агрегация контекста) и редких softmax-блоков (точный дальний recall). Не тратишь квадратичную память на весь контекст минутного видео.
2. Двухветвевое управление камерой: UCPE-ветвь кодирует глобальную траекторию, Plücker-ветвь восстанавливает точное движение внутри каждого VAE-страйда. Так камера слушается даже при агрессивном сжатии.
3. Двухэтапный пайплайн: сначала генерация, потом отдельный рефайнер исправляет артефакты по всей минуте.
Обучение: 213K публичных клипов, 15 дней на 64×H100. Throughput — до 36× выше конкурентов. Код открыт.
https://arxiv.org/abs/2605.15178
Генерировать минуту 720p-видео с точным контролем камеры — и уложиться в одну RTX 5090 за 34 секунды? NVIDIA говорит: реально.
Ключевые идеи SANA-WM (2.6B параметров):
1. Гибридный DiT: чередование Gated DeltaNet-блоков (линейное внимание, рекуррентная агрегация контекста) и редких softmax-блоков (точный дальний recall). Не тратишь квадратичную память на весь контекст минутного видео.
2. Двухветвевое управление камерой: UCPE-ветвь кодирует глобальную траекторию, Plücker-ветвь восстанавливает точное движение внутри каждого VAE-страйда. Так камера слушается даже при агрессивном сжатии.
3. Двухэтапный пайплайн: сначала генерация, потом отдельный рефайнер исправляет артефакты по всей минуте.
Обучение: 213K публичных клипов, 15 дней на 64×H100. Throughput — до 36× выше конкурентов. Код открыт.
https://arxiv.org/abs/2605.15178
Интерактивное видео в реальном времени за 1-2 шага диффузии (by Tsinghua ML Group)
Хочешь генерировать видео покадрово с минимальной задержкой? Проблема: дистилляция авторегрессионных диффузионных моделей до 1-2 шагов — это больно. Старые методы либо используют двунаправленного учителя (архитектурный мисматч с каузальным роллаутом), либо требуют хранить полные ODE-траектории для каждого сэмпла (дорого и не масштабируется).
Causal Forcing++ решает это через causal consistency distillation: вместо генерации полных траекторий берём один онлайн-шаг учителя между соседними таймстепами на реальных видео. Это и дешевле (4× меньше затрат на Stage 2), и качественнее — меньший per-step gap при оптимизации.
Результат на Wan2.1-1.3B: лучший VBench Total среди AR-методов, задержка первого кадра -50%, никакого хранения вспомогательных траекторий. Плюс метод легко расширяется до action-conditioned world models с управлением камерой.
https://arxiv.org/abs/2605.15141
Хочешь генерировать видео покадрово с минимальной задержкой? Проблема: дистилляция авторегрессионных диффузионных моделей до 1-2 шагов — это больно. Старые методы либо используют двунаправленного учителя (архитектурный мисматч с каузальным роллаутом), либо требуют хранить полные ODE-траектории для каждого сэмпла (дорого и не масштабируется).
Causal Forcing++ решает это через causal consistency distillation: вместо генерации полных траекторий берём один онлайн-шаг учителя между соседними таймстепами на реальных видео. Это и дешевле (4× меньше затрат на Stage 2), и качественнее — меньший per-step gap при оптимизации.
Результат на Wan2.1-1.3B: лучший VBench Total среди AR-методов, задержка первого кадра -50%, никакого хранения вспомогательных траекторий. Плюс метод легко расширяется до action-conditioned world models с управлением камерой.
https://arxiv.org/abs/2605.15141
Nvidia Tech представила платформу Vera Rubin — решение для масштабирования агентного ИИ.
Проблема: агентные системы генерируют сотни запросов за сессию, каждый со своим контекстом, историей и кешем. Это убивает латентность и делает традиционные серверные решения неэффективными.
Что нового: связка Vera Rubin NVL72 и Groq 3 LPX. Первый даёт мощь — 3600 PFLOPS и 20,7 ТБ памяти HBM4. Второй решает проблему связи между чипами: компилятор планирует передачу данных заранее, а не в рантайме, обеспечивая предсказуемую низкую задержку на тысячах ускорителей одновременно.
Почему важно: впервые в одной платформе совмещены высокая пропускная способность и стабильная низкая задержка для триллионных MoE-моделей. Это открывает путь к надёжным мультиагентным системам в продакшене.
https://developer.nvidia.com/blog/how-the-nvidia-vera-rubin-platform-is-solving-agentic-ais-scale-up-problem/
Проблема: агентные системы генерируют сотни запросов за сессию, каждый со своим контекстом, историей и кешем. Это убивает латентность и делает традиционные серверные решения неэффективными.
Что нового: связка Vera Rubin NVL72 и Groq 3 LPX. Первый даёт мощь — 3600 PFLOPS и 20,7 ТБ памяти HBM4. Второй решает проблему связи между чипами: компилятор планирует передачу данных заранее, а не в рантайме, обеспечивая предсказуемую низкую задержку на тысячах ускорителей одновременно.
Почему важно: впервые в одной платформе совмещены высокая пропускная способность и стабильная низкая задержка для триллионных MoE-моделей. Это открывает путь к надёжным мультиагентным системам в продакшене.
https://developer.nvidia.com/blog/how-the-nvidia-vera-rubin-platform-is-solving-agentic-ais-scale-up-problem/
NVIDIA Technical Blog
How the NVIDIA Vera Rubin Platform is Solving Agentic AI’s Scale-Up Problem
Agentic inference has fundamentally changed the runtime dynamics of inference workloads by introducing non-deterministic trajectories—actions, observations, and decisions that an AI agent produces…
Amazon Science выпустила Promptimus — фреймворк для автоматической оптимизации уже хороших промптов для LLM, без ручной доработки.
Проблема: промпты для корпоративных задач создаются месяцами и кодируют сложную бизнес-логику. Улучшить их без регрессий крайне сложно, а при смене модели всё приходится переделывать вручную.
Как работает Promptimus: четыре итерационных шага — оценка, генерация обратной связи, выработка стратегии и проверка кандидатов. Ключевая фишка — фокус на конкретных точках отказа, а не случайные правки. Есть режим точечного редактирования для сложных промптов.
Результат: лучший результат на 16 из 20 бенчмарков среди шести конкурирующих методов. Работает с любой моделью и поддерживает классификацию, генерацию, суммаризацию, code gen и другие задачи.
Важно для бизнеса: при переходе на новую модель промпт можно быстро переоптимизировать автоматически, не нанимая армию инженеров.
https://www.amazon.science/blog/promptimus-improving-already-good-llm-prompts-with-zero-manual-engineering
Проблема: промпты для корпоративных задач создаются месяцами и кодируют сложную бизнес-логику. Улучшить их без регрессий крайне сложно, а при смене модели всё приходится переделывать вручную.
Как работает Promptimus: четыре итерационных шага — оценка, генерация обратной связи, выработка стратегии и проверка кандидатов. Ключевая фишка — фокус на конкретных точках отказа, а не случайные правки. Есть режим точечного редактирования для сложных промптов.
Результат: лучший результат на 16 из 20 бенчмарков среди шести конкурирующих методов. Работает с любой моделью и поддерживает классификацию, генерацию, суммаризацию, code gen и другие задачи.
Важно для бизнеса: при переходе на новую модель промпт можно быстро переоптимизировать автоматически, не нанимая армию инженеров.
https://www.amazon.science/blog/promptimus-improving-already-good-llm-prompts-with-zero-manual-engineering
Amazon Science
Promptimus: Improving already good LLM prompts with zero manual engineering
By focusing on specific failure points and suggesting targeted solutions, a new automated prompt-engineering framework improves prompt performance without compromising existing functionality.
PyTorch выпустил версию 2.12
Крупное обновление популярного фреймворка для машинного обучения. Вот главное:
Скорость: батчевое разложение матриц на CUDA теперь до 100 раз быстрее — задачи, которые раньше занимали минуты, выполняются за секунды.
Унификация: новый API torch.accelerator.Graph объединяет захват и воспроизведение графов вычислений сразу для CUDA, XPU и сторонних бэкендов — меньше головной боли при переносе кода между железом.
Квантизация: torch.export теперь поддерживает формат MX-квантизации, что критично для развёртывания больших языковых моделей на edge-устройствах.
Оптимизаторы: Adagrad получил поддержку fused=True — весь шаг оптимизатора в одном CUDA-ядре, быстрее и эффективнее.
Релиз собран из 2926 коммитов от 457 контрибьюторов. 20 мая в 10:00 PST пройдёт живое Q&A с командой разработчиков.
https://pytorch.org/blog/pytorch-2-12-release-blog/
Крупное обновление популярного фреймворка для машинного обучения. Вот главное:
Скорость: батчевое разложение матриц на CUDA теперь до 100 раз быстрее — задачи, которые раньше занимали минуты, выполняются за секунды.
Унификация: новый API torch.accelerator.Graph объединяет захват и воспроизведение графов вычислений сразу для CUDA, XPU и сторонних бэкендов — меньше головной боли при переносе кода между железом.
Квантизация: torch.export теперь поддерживает формат MX-квантизации, что критично для развёртывания больших языковых моделей на edge-устройствах.
Оптимизаторы: Adagrad получил поддержку fused=True — весь шаг оптимизатора в одном CUDA-ядре, быстрее и эффективнее.
Релиз собран из 2926 коммитов от 457 контрибьюторов. 20 мая в 10:00 PST пройдёт живое Q&A с командой разработчиков.
https://pytorch.org/blog/pytorch-2-12-release-blog/
Умный учитель знает, когда молчать: токен-уровневая дистилляция для агентов
Обучать LLM-агентов сложнее, чем одношаговые модели — ошибки накапливаются по ходу диалога. Популярный подход OPSD (самодистилляция с привилегированным учителем) ломается в многоходовых сценариях: учитель и ученик расходятся всё сильнее с каждым шагом, KL-дивергенция взрывается, и обучение рушится.
Авторы из Чжэцзянского университета предлагают SDAR: вместо того чтобы слепо копировать учителя на каждом токене, они вводят адаптивные гейты. Гейт решает, насколько доверять учителю на каждом конкретном токене — опираясь на энтропию студента и разрыв вероятностей учитель-студент. Если учитель "одобряет" токен студента — сигнал усиливается, если "отвергает" — ослабляется. RL-лосс при этом остаётся нетронутым.
Результат на ALFWorld, WebShop, Search-QA: +9–10% к GRPO-базелайну для 7B-моделей, без катастрофических сбоев. Даже случайный retrieval бьёт базелайн — гейты фильтруют мусор автоматически.
https://arxiv.org/abs/2605.15155
Обучать LLM-агентов сложнее, чем одношаговые модели — ошибки накапливаются по ходу диалога. Популярный подход OPSD (самодистилляция с привилегированным учителем) ломается в многоходовых сценариях: учитель и ученик расходятся всё сильнее с каждым шагом, KL-дивергенция взрывается, и обучение рушится.
Авторы из Чжэцзянского университета предлагают SDAR: вместо того чтобы слепо копировать учителя на каждом токене, они вводят адаптивные гейты. Гейт решает, насколько доверять учителю на каждом конкретном токене — опираясь на энтропию студента и разрыв вероятностей учитель-студент. Если учитель "одобряет" токен студента — сигнал усиливается, если "отвергает" — ослабляется. RL-лосс при этом остаётся нетронутым.
Результат на ALFWorld, WebShop, Search-QA: +9–10% к GRPO-базелайну для 7B-моделей, без катастрофических сбоев. Даже случайный retrieval бьёт базелайн — гейты фильтруют мусор автоматически.
https://arxiv.org/abs/2605.15155
MemLens: у LLM нет долгосрочной мультимодальной памяти (by NVIDIA)
Представьте: вы общаетесь с ИИ-ассистентом месяцами, делитесь фотками, и вдруг он забывает всё что было раньше. Насколько хорошо современные модели справляются с долгосрочной мультимодальной памятью?
NVIDIA выпустила бенчмарк MemLens — 789 вопросов по 5 типам памяти: извлечение фактов, многосессионные рассуждения, временная логика, обновление знаний и отказ от ответа. Фишка: убери картинки — точность двух топовых моделей падает ниже 2%. Визуальные доказательства реально нужны.
Протестировали 27 LVLMs и 7 memory-агентов на контекстах 32K–256K токенов. Итог жёсткий:
— Длинный контекст работает хорошо на коротких историях, но деградирует при росте
— Memory-агенты стабильны по длине, но теряют визуальные детали при сжатии
— Multi-session reasoning не покоряется никому: большинство систем ниже 30%
Вывод: ни один подход не решает задачу. Нужна гибридная архитектура — длинный контекст + структурированный мультимодальный retrieval.
Представьте: вы общаетесь с ИИ-ассистентом месяцами, делитесь фотками, и вдруг он забывает всё что было раньше. Насколько хорошо современные модели справляются с долгосрочной мультимодальной памятью?
NVIDIA выпустила бенчмарк MemLens — 789 вопросов по 5 типам памяти: извлечение фактов, многосессионные рассуждения, временная логика, обновление знаний и отказ от ответа. Фишка: убери картинки — точность двух топовых моделей падает ниже 2%. Визуальные доказательства реально нужны.
Протестировали 27 LVLMs и 7 memory-агентов на контекстах 32K–256K токенов. Итог жёсткий:
— Длинный контекст работает хорошо на коротких историях, но деградирует при росте
— Memory-агенты стабильны по длине, но теряют визуальные детали при сжатии
— Multi-session reasoning не покоряется никому: большинство систем ниже 30%
Вывод: ни один подход не решает задачу. Нужна гибридная архитектура — длинный контекст + структурированный мультимодальный retrieval.
Можно улучшить LLM-рассуждения без единого шага обучения?
Darwin — фреймворк, который сливает несколько языковых моделей прямо в пространстве весов, не запуская градиентный спуск. Ключевая идея: не все слои одинаково важны для рассуждений, и это можно измерить без обучения.
Авторы вводят метрику MRI (Model-layer Response Importance) — комбинацию статистик тензоров (энтропия, дисперсия, норма) и косинусного расстояния между активациями на «рассуждательных» и обычных промптах. MRI показывает, какие слои модели B важнее для логики, чем слои модели A — и пропорционально им назначаются коэффициенты смешивания.
Поверх этого работает эволюционный поиск: 14-мерный геном кодирует стратегию слияния, а параметр τ балансирует доверие к MRI-диагностике против случайного поиска. Итог — merged-модель без дообучения, которая лучше рассуждает, чем каждый из родителей по отдельности.
https://arxiv.org/abs/2605.14386
Darwin — фреймворк, который сливает несколько языковых моделей прямо в пространстве весов, не запуская градиентный спуск. Ключевая идея: не все слои одинаково важны для рассуждений, и это можно измерить без обучения.
Авторы вводят метрику MRI (Model-layer Response Importance) — комбинацию статистик тензоров (энтропия, дисперсия, норма) и косинусного расстояния между активациями на «рассуждательных» и обычных промптах. MRI показывает, какие слои модели B важнее для логики, чем слои модели A — и пропорционально им назначаются коэффициенты смешивания.
Поверх этого работает эволюционный поиск: 14-мерный геном кодирует стратегию слияния, а параметр τ балансирует доверие к MRI-диагностике против случайного поиска. Итог — merged-модель без дообучения, которая лучше рассуждает, чем каждый из родителей по отдельности.
https://arxiv.org/abs/2605.14386
Microsoft Research предупреждает: ИИ портит ваши документы при делегировании задач
Исследователи опубликовали работу "LLMs Corrupt Your Documents When You Delegate" — о надёжности ИИ в длинных рабочих цепочках. Суть: когда вы поручаете модели многошаговую работу с документами, таблицами или кодом без промежуточной проверки, она постепенно «деградирует».
Конкретные цифры: у топовых моделей за 20 итераций редактирования смысловое содержание артефактов ухудшалось на 19–34%. Исключение — Python-код: там деградация составила менее 1%.
Важно: авторы не говорят, что ИИ бесполезен. Они указывают на конкретную проблему — автономное делегирование без человеческого контроля. Продакшн-системы с верификацией и оркестрацией справляются лучше.
Вывод для пользователей: если вы отдаёте ИИ важные документы на длительную самостоятельную обработку — проверяйте промежуточные результаты. Доверяй, но верифицируй.
https://www.microsoft.com/en-us/research/blog/further-notes-on-our-recent-research-on-ai-delegation-and-long-horizon-reliability/
Исследователи опубликовали работу "LLMs Corrupt Your Documents When You Delegate" — о надёжности ИИ в длинных рабочих цепочках. Суть: когда вы поручаете модели многошаговую работу с документами, таблицами или кодом без промежуточной проверки, она постепенно «деградирует».
Конкретные цифры: у топовых моделей за 20 итераций редактирования смысловое содержание артефактов ухудшалось на 19–34%. Исключение — Python-код: там деградация составила менее 1%.
Важно: авторы не говорят, что ИИ бесполезен. Они указывают на конкретную проблему — автономное делегирование без человеческого контроля. Продакшн-системы с верификацией и оркестрацией справляются лучше.
Вывод для пользователей: если вы отдаёте ИИ важные документы на длительную самостоятельную обработку — проверяйте промежуточные результаты. Доверяй, но верифицируй.
https://www.microsoft.com/en-us/research/blog/further-notes-on-our-recent-research-on-ai-delegation-and-long-horizon-reliability/
Microsoft Research
Further Notes on Our Recent Research on AI Delegation and Long-Horizon Reliability - Microsoft Research
Our recent paper, “LLMs Corrupt Your Documents When You Delegate”, has generated discussion about the reliability of AI systems in delegated workflows. We appreciate the interest in this work and want to clarify several important points about what the paper…
Nvidia выпустила VSS 3 — платформу для превращения видео в поисковую базу данных
Nvidia Metropolis Blueprint для поиска и анализа видео (VSS) обновился до версии 3. Теперь компании могут превращать миллионы прямых трансляций или часы записанного видео в мгновенно доступную аналитику.
Что нового: модульная архитектура, улучшенный поиск по нескольким источникам и набор Skills — готовых инструментов для интеграции с AI-агентами. Разработчики могут подключить VSS к агентам вроде Codex или OpenClaw и управлять всем через обычный чат: разворачивать сервисы, искать нужные моменты в видео, получать отчёты.
Практический пример: агент автоматически просматривает часы складских записей и находит все случаи использования лестниц, проверяя, надеты ли у рабочих каски и жилеты.
Почему важно: раньше настройка требовала ручной конфигурации десятков микросервисов. Теперь это делает агент по одной команде. Порог входа для видеоаналитики резко снижается.
https://developer.nvidia.com/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/
Nvidia Metropolis Blueprint для поиска и анализа видео (VSS) обновился до версии 3. Теперь компании могут превращать миллионы прямых трансляций или часы записанного видео в мгновенно доступную аналитику.
Что нового: модульная архитектура, улучшенный поиск по нескольким источникам и набор Skills — готовых инструментов для интеграции с AI-агентами. Разработчики могут подключить VSS к агентам вроде Codex или OpenClaw и управлять всем через обычный чат: разворачивать сервисы, искать нужные моменты в видео, получать отчёты.
Практический пример: агент автоматически просматривает часы складских записей и находит все случаи использования лестниц, проверяя, надеты ли у рабочих каски и жилеты.
Почему важно: раньше настройка требовала ручной конфигурации десятков микросервисов. Теперь это делает агент по одной команде. Порог входа для видеоаналитики резко снижается.
https://developer.nvidia.com/blog/transform-video-into-instantly-searchable-actionable-intelligence-with-ai-agents-and-skills/
Amazon Science ускоряет LLM без потери точности
Исследователи Amazon представили на конференции ICLR 2026 новый подход к оптимизации языковых моделей. Суть: они расширили известный закон масштабирования Chinchilla, добавив в него архитектурные параметры — размер скрытого слоя, соотношение MLP и attention-блоков, а также групповое внимание (GQA).
На основе этого фреймворка созданы две линейки моделей. Panda — максимальная точность, превосходит LLaMA-3.2 на 0.6–2.1%. Surefire — баланс скорости и точности: не уступает LLaMA-3.2 по качеству, но работает на 12–47% быстрее в зависимости от железа и фреймворка.
Ключевое открытие: оптимальное соотношение MLP к attention около 1.0, тогда как у LLaMA-3.2-1B оно равно 4.8 — далеко от оптимума.
Для пользователей это означает более быстрые и дешёвые AI-приложения без жертв в качестве ответов.
https://www.amazon.science/blog/making-llms-faster-without-sacrificing-accuracy
Исследователи Amazon представили на конференции ICLR 2026 новый подход к оптимизации языковых моделей. Суть: они расширили известный закон масштабирования Chinchilla, добавив в него архитектурные параметры — размер скрытого слоя, соотношение MLP и attention-блоков, а также групповое внимание (GQA).
На основе этого фреймворка созданы две линейки моделей. Panda — максимальная точность, превосходит LLaMA-3.2 на 0.6–2.1%. Surefire — баланс скорости и точности: не уступает LLaMA-3.2 по качеству, но работает на 12–47% быстрее в зависимости от железа и фреймворка.
Ключевое открытие: оптимальное соотношение MLP к attention около 1.0, тогда как у LLaMA-3.2-1B оно равно 4.8 — далеко от оптимума.
Для пользователей это означает более быстрые и дешёвые AI-приложения без жертв в качестве ответов.
https://www.amazon.science/blog/making-llms-faster-without-sacrificing-accuracy
Amazon Science
Making LLMs faster without sacrificing accuracy
A new scaling law that relates particular architectural choices to loss helps identify models that improve throughput by up to 47% with no loss of accuracy.
BitNet b1.58 2B4T — первая полноценная 1-битная LLM на 2B параметров, обученная с нуля
Веса нейросети обычно хранятся в float16 или bfloat16. А что если хранить только {-1, 0, +1}? Это и есть идея BitNet. Авторы обучили 2B модель на 4 триллионах токенов с нуля — не квантизация после обучения, а именно нативная 1.58-битная тренировка.
Ключевые трюки: замена стандартных Linear-слоёв на BitLinear (веса в ternary, активации в int8), squared ReLU вместо SwiGLU для большей разреженности, двухстадийный learning rate с cooldown на качественных данных. После претрейна — SFT и DPO.
Результат: сопоставимо с полноточными моделями того же размера при кратно меньшем потреблении памяти и энергии. Веса выложены на HuggingFace, есть оптимизированный инференс под CPU и GPU.
https://arxiv.org/abs/2504.12285
Веса нейросети обычно хранятся в float16 или bfloat16. А что если хранить только {-1, 0, +1}? Это и есть идея BitNet. Авторы обучили 2B модель на 4 триллионах токенов с нуля — не квантизация после обучения, а именно нативная 1.58-битная тренировка.
Ключевые трюки: замена стандартных Linear-слоёв на BitLinear (веса в ternary, активации в int8), squared ReLU вместо SwiGLU для большей разреженности, двухстадийный learning rate с cooldown на качественных данных. После претрейна — SFT и DPO.
Результат: сопоставимо с полноточными моделями того же размера при кратно меньшем потреблении памяти и энергии. Веса выложены на HuggingFace, есть оптимизированный инференс под CPU и GPU.
https://arxiv.org/abs/2504.12285
👍1
Orchard: универсальный слой окружений для обучения агентов (by Microsoft Research)
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
Главная боль при обучении LLM-агентов — окружение. Каждый раз нужно поднять контейнер, накатить зависимости, запустить тесты, потом почистить. А при тысячах параллельных сред это превращается в ад.
Microsoft Research выкатили Orchard — open-source фреймворк, где ключевая идея: среда выполнения должна быть тонким независимым сервисом, не привязанным ни к конкретному агенту, ни к тренировочному стеку.
Orchard Env — Kubernetes-native сервис с REST API, который работает в 2-10x дешевле аналогов вроде E2B/Daytona и даёт латентность 0.28с на команду.
На этом фундаменте обучили агентов в трёх доменах:
- Orchard-SWE: 67.5% на SWE-Bench Verified (SOTA среди open-source)
- Orchard-GUI: 74.1% на WebVoyager, 4B модель обогнала своего 235B учителя!
- Orchard-Claw: персональный ассистент, 59.6% pass@3
Всё открыто: код, рецепты обучения, 107K траекторий.
https://arxiv.org/abs/2605.15040
ThinkPRM: научи модель проверять рассуждения через рассуждения
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
Чтобы отбирать лучшие решения при test-time scaling, нужен хороший Process Reward Model (PRM). Проблема: обучить дискриминативный PRM дорого — нужны сотни тысяч пошаговых аннотаций. А LLM-as-a-judge работает нестабильно: чуть меняешь промпт — результат скачет на 3-4 пункта, модель зацикливается или вместо проверки начинает сама решать задачу.
Авторы предлагают ThinkPRM: берём reasoning-модель (R1-Distill, QwQ-32B), файнтюним её на синтетических цепочках верификации. Данных нужно минимум — всего 8K пошаговых меток. Зато модель учится думать длинным CoT над каждым шагом решения, а не просто выдавать метку.
Ключевой бонус: чем больше токенов даёшь на верификацию — тем лучше результат. ThinkPRM-14B обходит дискриминативные PRM, обученные на в 100 раз большем объёме данных, и работает на математике, коде и научных задачах.
https://arxiv.org/abs/2504.16828
PanoWorld: научить ИИ видеть всё вокруг сразу, а не по кускам
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).
Обычные мультимодальные модели смотрят на мир как человек — только вперёд. Но задачи навигации и поиска объектов требуют понимания всего пространства вокруг наблюдателя сразу. 360° панорамы дают это, но просто перенести туда перспективные модели не выходит — геометрические искажения, неравномерная дискретизация, разрывы на швах.
Авторы из Zhejiang University предлагают PanoWorld — MLLM, обученную нативно на панорамах. Ключевая идея: Spherical Spatial Cross-Attention, которое явно встраивает сферическую геометрию (yaw/pitch координаты) прямо в визуальные токены ERP-изображения.
Параллельно собран датасет 570K панорам с верифицированными метаданными: глубина, сущности, пространственный граф. Плюс новый бенчмарк PanoSpace-Bench с таксономией из 4 групп задач: семантическое заземление, сферическая локализация, трансформация систем отсчёта, 3D-отношения.
Результат — сильные улучшения на 360° reasoning и VLN навигации (R2R-CE).