PyTorch выпустил версию 2.11
Вышел PyTorch 2.11 — крупное обновление фреймворка для машинного обучения. Главные новинки:
FlexAttention теперь работает на бэкенде FlashAttention-4 для GPU Hopper и Blackwell — ускорение до 3.2× на вычислительно-нагруженных задачах. Серьёзный буст для трансформеров.
Differentiable Collectives — теперь можно делать обратное распространение ошибки через коллективные операции в распределённом обучении без написания кастомных autograd-функций.
Apple Silicon получил расширенную поддержку операторов и асинхронные сообщения об ошибках при работе с MPS-бэкендом.
LSTM и GRU теперь можно экспортировать на GPU через torch.export — важно для продакшн-деплоя.
Intel GPU получили XPUGraph для снижения накладных расходов CPU при инференсе.
TorchScript официально устарел — переходите на torch.export.
CUDA 13 теперь версия по умолчанию. Релизы в 2026 году будут выходить раз в два месяца вместо квартальных.
https://pytorch.org/blog/pytorch-2-11-release-blog/
Вышел PyTorch 2.11 — крупное обновление фреймворка для машинного обучения. Главные новинки:
FlexAttention теперь работает на бэкенде FlashAttention-4 для GPU Hopper и Blackwell — ускорение до 3.2× на вычислительно-нагруженных задачах. Серьёзный буст для трансформеров.
Differentiable Collectives — теперь можно делать обратное распространение ошибки через коллективные операции в распределённом обучении без написания кастомных autograd-функций.
Apple Silicon получил расширенную поддержку операторов и асинхронные сообщения об ошибках при работе с MPS-бэкендом.
LSTM и GRU теперь можно экспортировать на GPU через torch.export — важно для продакшн-деплоя.
Intel GPU получили XPUGraph для снижения накладных расходов CPU при инференсе.
TorchScript официально устарел — переходите на torch.export.
CUDA 13 теперь версия по умолчанию. Релизы в 2026 году будут выходить раз в два месяца вместо квартальных.
https://pytorch.org/blog/pytorch-2-11-release-blog/
Nvidia представила семейство моделей Nemotron 3 на конференции GTC 2026.
Это целый стек специализированных агентных моделей, которые работают вместе:
Nemotron 3 Super — гибридная MoE-модель с 1M токенов контекста и архитектурой Mamba+Transformer. Активирует лишь 12B параметров за проход, даёт до 5x прироста скорости на GPU Blackwell. Подходит для сложных многоагентных задач.
Nemotron 3 Content Safety — компактная 4B-модель для модерации текста и изображений на 12 языках. Точность ~84% на мультимодальных бенчмарках при низкой задержке.
Nemotron 3 VoiceChat — 12B-модель для голосового общения в реальном времени без каскадных пайплайнов (ASR+LLM+TTS заменены одной моделью).
Также анонсированы Nemotron RAG с мультимодальными эмбеддингами и Nemotron 3 Nano Omni для корпоративного использования (скоро).
Все модели открытые, с весами и рецептами обучения. Разработчики получают полный инструментарий для создания безопасных агентных систем.
https://developer.nvidia.com/blog/building-nvidia-nemotron-3-agents-for-reasoning-multimodal-rag-voice-and-safety/
Это целый стек специализированных агентных моделей, которые работают вместе:
Nemotron 3 Super — гибридная MoE-модель с 1M токенов контекста и архитектурой Mamba+Transformer. Активирует лишь 12B параметров за проход, даёт до 5x прироста скорости на GPU Blackwell. Подходит для сложных многоагентных задач.
Nemotron 3 Content Safety — компактная 4B-модель для модерации текста и изображений на 12 языках. Точность ~84% на мультимодальных бенчмарках при низкой задержке.
Nemotron 3 VoiceChat — 12B-модель для голосового общения в реальном времени без каскадных пайплайнов (ASR+LLM+TTS заменены одной моделью).
Также анонсированы Nemotron RAG с мультимодальными эмбеддингами и Nemotron 3 Nano Omni для корпоративного использования (скоро).
Все модели открытые, с весами и рецептами обучения. Разработчики получают полный инструментарий для создания безопасных агентных систем.
https://developer.nvidia.com/blog/building-nvidia-nemotron-3-agents-for-reasoning-multimodal-rag-voice-and-safety/
NVIDIA Technical Blog
Building NVIDIA Nemotron 3 Agents for Reasoning, Multimodal RAG, Voice, and Safety
Agentic AI is an ecosystem where specialized models work together to handle planning, reasoning, retrieval, and safety guardrailing. As these systems scale, developers need models that can understand…
Nvidia представила IGX Thor — мощную платформу для промышленного ИИ на периферии
IGX Thor — новое семейство устройств для развёртывания ИИ прямо на производстве, в больницах и в робототехнике, без отправки данных в облако. Платформа предлагает до 5 581 FP4 TFLOPS и в 8 раз превосходит предыдущее поколение IGX Orin по производительности встроенного GPU.
В линейку входят четыре устройства: компактный модуль T5000, расширенный T7000 с дискретной GPU, а также два девкита. T7000 способен обслуживать в 20 раз больше пользователей одновременно и в 5 раз быстрее справляется с задачами генеративного ИИ.
Ключевая особенность — встроенная функциональная безопасность с поддержкой стандартов ISO 26262 и IEC 61508. Это критично для медицины и промышленности, где сбой недопустим.
Платформа ориентирована на разработчиков роботов, автономных машин и промышленных систем, которым нужен мощный локальный ИИ с гарантиями надёжности.
https://developer.nvidia.com/blog/nvidia-igx-thor-powers-industrial-medical-and-robotics-edge-ai-applications/
IGX Thor — новое семейство устройств для развёртывания ИИ прямо на производстве, в больницах и в робототехнике, без отправки данных в облако. Платформа предлагает до 5 581 FP4 TFLOPS и в 8 раз превосходит предыдущее поколение IGX Orin по производительности встроенного GPU.
В линейку входят четыре устройства: компактный модуль T5000, расширенный T7000 с дискретной GPU, а также два девкита. T7000 способен обслуживать в 20 раз больше пользователей одновременно и в 5 раз быстрее справляется с задачами генеративного ИИ.
Ключевая особенность — встроенная функциональная безопасность с поддержкой стандартов ISO 26262 и IEC 61508. Это критично для медицины и промышленности, где сбой недопустим.
Платформа ориентирована на разработчиков роботов, автономных машин и промышленных систем, которым нужен мощный локальный ИИ с гарантиями надёжности.
https://developer.nvidia.com/blog/nvidia-igx-thor-powers-industrial-medical-and-robotics-edge-ai-applications/
NVIDIA Technical Blog
NVIDIA IGX Thor Powers Industrial, Medical, and Robotics Edge AI Applications
Industrial and medical systems are rapidly increasing the use of high-performance AI to improve worker productivity, human-machine interaction, and downtime management. From factory automation cells…
Nvidia Tech: архитектура нулевого доверия для AI-фабрик
Nvidia опубликовала референсную архитектуру для защищённых AI-фабрик на основе принципа zero-trust. Суть: корпоративные AI-системы теперь можно запускать на собственном железе, не доверяя даже администраторам инфраструктуры.
Проблема была в «треугольнике недоверия»: владельцы моделей боятся кражи весов, операторы инфраструктуры не доверяют чужим воркloadам, а владельцы данных опасаются утечек при инференсе.
Решение — аппаратные Trusted Execution Environments (TEE) на базе GPU Hopper/Blackwell плюс Confidential Containers для Kubernetes. Модель остаётся зашифрованной до тех пор, пока железо криптографически не докажет безопасность среды. Только после этого ключ расшифровки попадает в защищённую память.
Для бизнеса это важно: медицинские данные, финансовая аналитика и проприетарные модели теперь можно использовать вместе без риска утечки — даже от собственных сисадминов.
https://developer.nvidia.com/blog/building-a-zero-trust-architecture-for-confidential-ai-factories/
Nvidia опубликовала референсную архитектуру для защищённых AI-фабрик на основе принципа zero-trust. Суть: корпоративные AI-системы теперь можно запускать на собственном железе, не доверяя даже администраторам инфраструктуры.
Проблема была в «треугольнике недоверия»: владельцы моделей боятся кражи весов, операторы инфраструктуры не доверяют чужим воркloadам, а владельцы данных опасаются утечек при инференсе.
Решение — аппаратные Trusted Execution Environments (TEE) на базе GPU Hopper/Blackwell плюс Confidential Containers для Kubernetes. Модель остаётся зашифрованной до тех пор, пока железо криптографически не докажет безопасность среды. Только после этого ключ расшифровки попадает в защищённую память.
Для бизнеса это важно: медицинские данные, финансовая аналитика и проприетарные модели теперь можно использовать вместе без риска утечки — даже от собственных сисадминов.
https://developer.nvidia.com/blog/building-a-zero-trust-architecture-for-confidential-ai-factories/
NVIDIA Technical Blog
Building a Zero-Trust Architecture for Confidential AI Factories
AI is moving from experimentation to production. However, most data enterprises need exists outside the public cloud. This includes sensitive information like patient records, market research…
Спекулятивное ускорение для агентных мультимодальных LLM
Агентные мультимодальные модели умеют вызывать инструменты (zoom-in, crop, OCR) для сложного визуального анализа — но каждый запрос запускает цепочку последовательных вызовов, и батчинг фактически не работает. Латентность растёт линейно с глубиной цепочки.
SpecEyes поднимает идею speculative decoding на уровень выше — не токенов, а целых агентных циклов. Идея: большинство запросов вообще не требуют многошаговых инструментов. Лёгкая non-agentic модель быстро даёт ответ, а "когнитивный гейт" на основе separability score (разрыв между top-K логитами) решает — доверять ответу или отправить запрос в полный агентный пайплайн.
В итоге: 80% запросов отсекаются как tool-free, из них 71% принимаются — и система получает 1.73x ускорение при сохранении точности на V*, HR-Bench и POPE.
https://arxiv.org/abs/2603.23483
Агентные мультимодальные модели умеют вызывать инструменты (zoom-in, crop, OCR) для сложного визуального анализа — но каждый запрос запускает цепочку последовательных вызовов, и батчинг фактически не работает. Латентность растёт линейно с глубиной цепочки.
SpecEyes поднимает идею speculative decoding на уровень выше — не токенов, а целых агентных циклов. Идея: большинство запросов вообще не требуют многошаговых инструментов. Лёгкая non-agentic модель быстро даёт ответ, а "когнитивный гейт" на основе separability score (разрыв между top-K логитами) решает — доверять ответу или отправить запрос в полный агентный пайплайн.
В итоге: 80% запросов отсекаются как tool-free, из них 71% принимаются — и система получает 1.73x ускорение при сохранении точности на V*, HR-Bench и POPE.
https://arxiv.org/abs/2603.23483
AutoGaze: смотри только на важное, как человек (by NVIDIA + UC Berkeley)
Люди не смотрят на каждый пиксель видео — глаза фокусируются на движущихся объектах и игнорируют статичный фон. Почему бы не научить этому видеомодели?
AutoGaze — маленькая модель на 3M параметров, которая до ViT авторегрессионно выбирает только нужные патчи из кадров. Ключевая идея: выбираем минимальный набор мультимасштабных патчей, из которых можно восстановить кадр с заданным порогом ошибки. Обучение в два этапа — сначала next-token prediction на последовательностях патчей, потом RL с наградой за качество реконструкции.
Результат: сокращение числа патчей в 4–100x, ускорение ViT до 19x и LLM до 10x. Это позволило запустить MLLM на 1K кадрах в 4K разрешении — раньше это было вычислительно нереально.
https://arxiv.org/abs/2603.12254
Люди не смотрят на каждый пиксель видео — глаза фокусируются на движущихся объектах и игнорируют статичный фон. Почему бы не научить этому видеомодели?
AutoGaze — маленькая модель на 3M параметров, которая до ViT авторегрессионно выбирает только нужные патчи из кадров. Ключевая идея: выбираем минимальный набор мультимасштабных патчей, из которых можно восстановить кадр с заданным порогом ошибки. Обучение в два этапа — сначала next-token prediction на последовательностях патчей, потом RL с наградой за качество реконструкции.
Результат: сокращение числа патчей в 4–100x, ускорение ViT до 19x и LLM до 10x. Это позволило запустить MLLM на 1K кадрах в 4K разрешении — раньше это было вычислительно нереально.
https://arxiv.org/abs/2603.12254
OCR через диффузию — и в 3 раза быстрее без потери качества
Стандартный подход к OCR документов — взять VLM и гнать токены слева направо. Проблема: это медленно на длинных документах и модель начинает "галлюцинировать", опираясь на языковые prior'ы вместо реального изображения.
Авторы MinerU-Diffusion переформулировали OCR как задачу inverse rendering и заменили авторегрессивный декодер на masked diffusion. Идея: в OCR маппинг картинка→текст почти детерминированный, поэтому предположение о независимости токенов (как в диффузии) здесь куда разумнее, чем в open-ended генерации.
Вместо последовательного декодинга модель итеративно "размаскировывает" токены параллельно блоками, ориентируясь на визуальные сигналы. Плюс двухэтапное curriculum learning: сначала разнообразные данные, потом hard cases с неопределёнными границами.
Результат: 3x ускорение при сохранении 98.8% точности относительно MinerU2.5, и заметно меньше семантических галлюцинаций.
https://arxiv.org/abs/2603.22458
Стандартный подход к OCR документов — взять VLM и гнать токены слева направо. Проблема: это медленно на длинных документах и модель начинает "галлюцинировать", опираясь на языковые prior'ы вместо реального изображения.
Авторы MinerU-Diffusion переформулировали OCR как задачу inverse rendering и заменили авторегрессивный декодер на masked diffusion. Идея: в OCR маппинг картинка→текст почти детерминированный, поэтому предположение о независимости токенов (как в диффузии) здесь куда разумнее, чем в open-ended генерации.
Вместо последовательного декодинга модель итеративно "размаскировывает" токены параллельно блоками, ориентируясь на визуальные сигналы. Плюс двухэтапное curriculum learning: сначала разнообразные данные, потом hard cases с неопределёнными границами.
Результат: 3x ускорение при сохранении 98.8% точности относительно MinerU2.5, и заметно меньше семантических галлюцинаций.
https://arxiv.org/abs/2603.22458
Dataset для обучения игровых world models из Monster Hunter: Wilds (by Shanda AI)
Хотите научить AI понимать мир через экшн-RPG? Shanda AI собрали WildWorld — 108M+ кадров из Monster Hunter: Wilds с разметкой на трёх уровнях: действия (450+ типов!), состояния мира (здоровье, патроны, скелеты персонажей) и визуальные наблюдения.
Ключевая идея: большинство датасетов для world models привязывают действия напрямую к пикселям. Но "выстрел при пустом магазине" выглядит иначе, чем обычный — и без явного состояния модель этого не поймёт. WildWorld добавляет explicit state annotations: скелетные позы, глубину, камеру, игровые атрибуты.
Для сбора данных использовали автоматизированный геймплей на NPC-ботах с поведенческими деревьями — без участия человека. Плюс WildBench с двумя метриками: Action Following и State Alignment.
https://arxiv.org/abs/2603.23497
Хотите научить AI понимать мир через экшн-RPG? Shanda AI собрали WildWorld — 108M+ кадров из Monster Hunter: Wilds с разметкой на трёх уровнях: действия (450+ типов!), состояния мира (здоровье, патроны, скелеты персонажей) и визуальные наблюдения.
Ключевая идея: большинство датасетов для world models привязывают действия напрямую к пикселям. Но "выстрел при пустом магазине" выглядит иначе, чем обычный — и без явного состояния модель этого не поймёт. WildWorld добавляет explicit state annotations: скелетные позы, глубину, камеру, игровые атрибуты.
Для сбора данных использовали автоматизированный геймплей на NPC-ботах с поведенческими деревьями — без участия человека. Плюс WildBench с двумя метриками: Action Following и State Alignment.
https://arxiv.org/abs/2603.23497
Оптимизация агентских воркфлоу как первоклассная задача (by IBM)
Все обсуждают промпты и модели, но мало кто системно думает о структуре воркфлоу LLM-агентов. IBM выпустили обзор, который закрывает этот пробел.
Ключевая идея: воркфлоу агента — это граф (ACG, agentic computation graph), и сам граф можно оптимизировать. Авторы делят подходы на два класса:
Статическая оптимизация — ищем лучший шаблон офлайн: топология, промпты, верификаторы.
Динамическая оптимизация — граф меняется прямо в рантайме: выбираем подграф, генерируем структуру под конкретный запрос или редактируем по ходу выполнения.
Главный тезис: слабый граф не спасут хорошие промпты. Иногда нужно добавить верификатор, обрезать лишние связи или сменить иерархию агентов. Качество воркфлоу и его стоимость — это trade-off, которым можно управлять.
https://arxiv.org/abs/2603.22386
Все обсуждают промпты и модели, но мало кто системно думает о структуре воркфлоу LLM-агентов. IBM выпустили обзор, который закрывает этот пробел.
Ключевая идея: воркфлоу агента — это граф (ACG, agentic computation graph), и сам граф можно оптимизировать. Авторы делят подходы на два класса:
Статическая оптимизация — ищем лучший шаблон офлайн: топология, промпты, верификаторы.
Динамическая оптимизация — граф меняется прямо в рантайме: выбираем подграф, генерируем структуру под конкретный запрос или редактируем по ходу выполнения.
Главный тезис: слабый граф не спасут хорошие промпты. Иногда нужно добавить верификатор, обрезать лишние связи или сменить иерархию агентов. Качество воркфлоу и его стоимость — это trade-off, которым можно управлять.
https://arxiv.org/abs/2603.22386
👍1
Nvidia Tech советует, как не тратить GPU впустую
Инженеры Nvidia опубликовали технический гайд по уплотнению AI-инфраструктуры в Kubernetes. Суть проблемы: лёгкие модели распознавания речи (ASR) и синтеза голоса (TTS) занимают целый GPU, хотя используют лишь 10–15% его мощности. Деньги горят, а кластер простаивает.
Nvidia сравнила два подхода: программное разделение через time-slicing (гибко, но без изоляции — один сбойный процесс может уронить соседей) и аппаратное через MIG, который физически делит GPU на независимые секции.
Победил MIG: в тестах на голосовом AI-пайплайне он обеспечил максимальный throughput и надёжность выше 99%. Time-slicing подойдёт для разработки, MIG — для продакшена.
Вывод простой: правильное партиционирование GPU позволяет запускать больше моделей на том же железе без потери качества.
https://developer.nvidia.com/blog/maximize-ai-infrastructure-throughput-by-consolidating-underutilized-gpu-workloads/
Инженеры Nvidia опубликовали технический гайд по уплотнению AI-инфраструктуры в Kubernetes. Суть проблемы: лёгкие модели распознавания речи (ASR) и синтеза голоса (TTS) занимают целый GPU, хотя используют лишь 10–15% его мощности. Деньги горят, а кластер простаивает.
Nvidia сравнила два подхода: программное разделение через time-slicing (гибко, но без изоляции — один сбойный процесс может уронить соседей) и аппаратное через MIG, который физически делит GPU на независимые секции.
Победил MIG: в тестах на голосовом AI-пайплайне он обеспечил максимальный throughput и надёжность выше 99%. Time-slicing подойдёт для разработки, MIG — для продакшена.
Вывод простой: правильное партиционирование GPU позволяет запускать больше моделей на том же железе без потери качества.
https://developer.nvidia.com/blog/maximize-ai-infrastructure-throughput-by-consolidating-underutilized-gpu-workloads/
NVIDIA Technical Blog
Maximize AI Infrastructure Throughput by Consolidating Underutilized GPU Workloads
In production Kubernetes environments, the difference between model requirements and GPU size creates inefficiencies. Lightweight automatic speech recognition (ASR) or text-to-speech (TTS) models may…
Nvidia DRIVE AGX Thor получил централизованную обработку радарных данных для беспилотников уровня L4.
Раньше каждый радарный датчик обрабатывал сигнал внутри себя и отдавал системе лишь разреженное облако точек — это примерно как если бы камера выдавала не полное изображение, а только контуры объектов. Теперь сырые данные с пяти радаров передаются напрямую в память центрального компьютера DRIVE, а специализированный процессор PVA берёт на себя всю математику сигналов, не нагружая GPU.
Что это даёт на практике: в 100 раз больше полезной информации с каждого радара, снижение стоимости датчиков на 30%, уменьшение энергопотребления на 20%, и возможность обучать крупные AI-модели прямо на сырых радарных данных — так же, как это делается с видеопотоком с камер.
Первым партнёром стала компания ChengTech. Совместная демонстрация прошла на GTC 2026 в реальном времени.
https://developer.nvidia.com/blog/how-centralized-radar-processing-on-nvidia-drive-enables-safer-smarter-level-4-autonomy/
Раньше каждый радарный датчик обрабатывал сигнал внутри себя и отдавал системе лишь разреженное облако точек — это примерно как если бы камера выдавала не полное изображение, а только контуры объектов. Теперь сырые данные с пяти радаров передаются напрямую в память центрального компьютера DRIVE, а специализированный процессор PVA берёт на себя всю математику сигналов, не нагружая GPU.
Что это даёт на практике: в 100 раз больше полезной информации с каждого радара, снижение стоимости датчиков на 30%, уменьшение энергопотребления на 20%, и возможность обучать крупные AI-модели прямо на сырых радарных данных — так же, как это делается с видеопотоком с камер.
Первым партнёром стала компания ChengTech. Совместная демонстрация прошла на GTC 2026 в реальном времени.
https://developer.nvidia.com/blog/how-centralized-radar-processing-on-nvidia-drive-enables-safer-smarter-level-4-autonomy/
NVIDIA Technical Blog
How Centralized Radar Processing on NVIDIA DRIVE Enables Safer, Smarter Level 4 Autonomy
In the current state of automotive radar, machine learning engineers can’t work with camera-equivalent raw RGB images. Instead, they work with the output of radar constant false alarm rate (CFAR)…
Nvidia представила Proteina-Complexa — генеративную модель для создания белковых биндеров и ферментов с нуля.
Что это такое: модель одновременно генерирует трёхмерную структуру белка (скелет, боковые цепи) и аминокислотную последовательность. Раньше это делалось отдельными инструментами — теперь всё в одном процессе. Обучена на более чем 1 млн белковых структур из PDB и AlphaFold.
Почему важно: Proteina-Complexa протестирована на 133 мишенях, включая сложные терапевтические цели без известных биндеров. Результат — биндеры с нано- и пикомолярным сродством. Это один из крупнейших бенчмарков по дизайну биндеров в истории.
Для кого: фармацевтика (онкология, иммунология, неврология), разработка биосенсоров, промышленная биокатализация. Партнёры по валидации — Manifold Bio, Novo Nordisk, Кембриджский университет.
Модель доступна через командную строку. Это серьёзный шаг к ускорению разработки лекарств с помощью ИИ.
https://developer.nvidia.com/blog/designing-protein-binders-using-the-generative-model-proteina-complexa/
Что это такое: модель одновременно генерирует трёхмерную структуру белка (скелет, боковые цепи) и аминокислотную последовательность. Раньше это делалось отдельными инструментами — теперь всё в одном процессе. Обучена на более чем 1 млн белковых структур из PDB и AlphaFold.
Почему важно: Proteina-Complexa протестирована на 133 мишенях, включая сложные терапевтические цели без известных биндеров. Результат — биндеры с нано- и пикомолярным сродством. Это один из крупнейших бенчмарков по дизайну биндеров в истории.
Для кого: фармацевтика (онкология, иммунология, неврология), разработка биосенсоров, промышленная биокатализация. Партнёры по валидации — Manifold Bio, Novo Nordisk, Кембриджский университет.
Модель доступна через командную строку. Это серьёзный шаг к ускорению разработки лекарств с помощью ИИ.
https://developer.nvidia.com/blog/designing-protein-binders-using-the-generative-model-proteina-complexa/
NVIDIA Technical Blog
Designing Protein Binders Using the Generative Model Proteina-Complexa
Developing new protein-based therapies and catalysts involves the challenging task of designing protein binders, or proteins that bind to a target protein or small molecule. The search space for…
CUA-Suite: 55 часов видео, чтобы научить AI работать за компьютером (by ServiceNow)
Современные computer-use агенты неплохо справляются с браузером, но буквально теряются в Blender или специализированных IDE. Главная причина — нет нормальных обучающих данных.
ServiceNow выпустили CUA-Suite: огромный датасет из 55 часов непрерывного 30fps видео, где живые эксперты выполняют 10 000 задач в 87 десктопных приложениях. Это 6 миллионов кадров с кинематическими траекториями курсора и аннотациями рассуждений.
Почему видео, а не скриншоты? Потому что дискретные снимки экрана теряют временну́ю динамику — непонятно, как человек двигал мышь, что менялось между кликами. Без этого не построить нормальную world model и не научить плавному управлению курсором.
В комплекте: GroundCUA (3.6 млн pixel-точных аннотаций UI-элементов) и бенчмарк UI-Vision. Всё открытое.
https://arxiv.org/abs/2603.24440
Современные computer-use агенты неплохо справляются с браузером, но буквально теряются в Blender или специализированных IDE. Главная причина — нет нормальных обучающих данных.
ServiceNow выпустили CUA-Suite: огромный датасет из 55 часов непрерывного 30fps видео, где живые эксперты выполняют 10 000 задач в 87 десктопных приложениях. Это 6 миллионов кадров с кинематическими траекториями курсора и аннотациями рассуждений.
Почему видео, а не скриншоты? Потому что дискретные снимки экрана теряют временну́ю динамику — непонятно, как человек двигал мышь, что менялось между кликами. Без этого не построить нормальную world model и не научить плавному управлению курсором.
В комплекте: GroundCUA (3.6 млн pixel-точных аннотаций UI-элементов) и бенчмарк UI-Vision. Всё открытое.
https://arxiv.org/abs/2603.24440
Первая мультимодальная модель на 1 триллион параметров для науки
Intern-S1-Pro — это первая научная мультимодальная модель на 1 триллион параметров (MoE). Цель: один универсальный агент для химии, биологии, физики, наук о Земле и 100+ специализированных задач.
Ключевые технические решения:
1. Grouped Routing — делит экспертов на группы, гарантируя абсолютный load balance при EP8. Решает OOM и нестабильность обучения.
2. Straight-Through Estimator для роутера — в forward pass оставляет Top-K выбор, в backward пускает градиенты через все экспертные логиты. Итог: роутер учится быстрее и стабильнее.
3. Upcycling из Intern-S1: веса FFN копируются, каждая группа получает хорошо обученных Top-1 экспертов — иначе падение качества на 20+ пунктов.
Главный вывод: достаточно большой генералист при совместном обучении бьёт узкоспециализированные модели. Масштаб в 4x от предшественника — всего с 20% потерей throughput.
https://arxiv.org/abs/2603.25040
Intern-S1-Pro — это первая научная мультимодальная модель на 1 триллион параметров (MoE). Цель: один универсальный агент для химии, биологии, физики, наук о Земле и 100+ специализированных задач.
Ключевые технические решения:
1. Grouped Routing — делит экспертов на группы, гарантируя абсолютный load balance при EP8. Решает OOM и нестабильность обучения.
2. Straight-Through Estimator для роутера — в forward pass оставляет Top-K выбор, в backward пускает градиенты через все экспертные логиты. Итог: роутер учится быстрее и стабильнее.
3. Upcycling из Intern-S1: веса FFN копируются, каждая группа получает хорошо обученных Top-1 экспертов — иначе падение качества на 20+ пунктов.
Главный вывод: достаточно большой генералист при совместном обучении бьёт узкоспециализированные модели. Масштаб в 4x от предшественника — всего с 20% потерей throughput.
https://arxiv.org/abs/2603.25040
🤔1
SpectralSplats: как отслеживать 3D-объекты, когда они "потерялись" на экране
Классическая проблема 3D-трекинга: если объект сильно сдвинулся между кадрами, градиенты фотометрической ошибки просто исчезают — гауссианы не перекрываются с целевым изображением, и оптимизатор "не видит" куда двигаться.
Авторы предлагают SpectralSplats: вместо сравнения пикселей в пространственном домене — переходим в частотный. Ключевая идея: пространственный сдвиг объекта = фазовый сдвиг в фурье-спектре. А синусоидальные базисы глобальны, поэтому градиент не исчезает даже при полном пространственном несовпадении.
Плюс к этому — умное частотное отжигание (frequency annealing): сначала оптимизируем по низким частотам (грубое совмещение), потом постепенно добавляем высокие (точная подгонка). Это избегает ловушек фазового заворачивания.
Метод работает поверх любых деформационных моделей (MLP или явные контрольные точки) и совместим с L2/LPIPS лоссами.
https://arxiv.org/abs/2603.24036
Классическая проблема 3D-трекинга: если объект сильно сдвинулся между кадрами, градиенты фотометрической ошибки просто исчезают — гауссианы не перекрываются с целевым изображением, и оптимизатор "не видит" куда двигаться.
Авторы предлагают SpectralSplats: вместо сравнения пикселей в пространственном домене — переходим в частотный. Ключевая идея: пространственный сдвиг объекта = фазовый сдвиг в фурье-спектре. А синусоидальные базисы глобальны, поэтому градиент не исчезает даже при полном пространственном несовпадении.
Плюс к этому — умное частотное отжигание (frequency annealing): сначала оптимизируем по низким частотам (грубое совмещение), потом постепенно добавляем высокие (точная подгонка). Это избегает ловушек фазового заворачивания.
Метод работает поверх любых деформационных моделей (MLP или явные контрольные точки) и совместим с L2/LPIPS лоссами.
https://arxiv.org/abs/2603.24036
❤1
Оптический поток из мусора: диффузионные модели спасают видео с артефактами
Задача оптического потока — отслеживать движение каждого пикселя между кадрами. Но что если видео зашумлено, сжато или размыто? Стандартные методы (RAFT, SEA-RAFT) просто ломаются.
Авторы из KAIST предлагают DA-Flow: берём предобученную диффузионную модель восстановления изображений (она уже умеет "видеть сквозь" деградации) и добавляем к ней cross-frame attention между кадрами. Так получаем фичи, одновременно устойчивые к артефактам и пространственно согласованные для попарного сопоставления пикселей.
Ключевой инсайт: видео-диффузионные модели не подходят — они смешивают кадры в общем латентном пространстве, разрушая нужную попиксельную структуру. Поэтому лучше взять image restoration модель и "поднять" её до видео через attention.
Фичи диффузии комбинируются с CNN-фичами поверх RAFT. Обучение — на псевдо-GT потоке: берут чистое видео, считают поток, потом деградируют кадры и учат модель восстанавливать тот же поток.
Задача оптического потока — отслеживать движение каждого пикселя между кадрами. Но что если видео зашумлено, сжато или размыто? Стандартные методы (RAFT, SEA-RAFT) просто ломаются.
Авторы из KAIST предлагают DA-Flow: берём предобученную диффузионную модель восстановления изображений (она уже умеет "видеть сквозь" деградации) и добавляем к ней cross-frame attention между кадрами. Так получаем фичи, одновременно устойчивые к артефактам и пространственно согласованные для попарного сопоставления пикселей.
Ключевой инсайт: видео-диффузионные модели не подходят — они смешивают кадры в общем латентном пространстве, разрушая нужную попиксельную структуру. Поэтому лучше взять image restoration модель и "поднять" её до видео через attention.
Фичи диффузии комбинируются с CNN-фичами поверх RAFT. Обучение — на псевдо-GT потоке: берут чистое видео, считают поток, потом деградируют кадры и учат модель восстанавливать тот же поток.
EVA: агент, который сначала думает — потом смотрит видео
Обычные видео-модели тупо сэмплируют кадры равномерно и скармливают их LLM. Даже "агентные" подходы сначала показывают видео, а потом рассуждают. EVA переворачивает это: агент сначала читает только текстовый запрос, планирует что и как смотреть, и только потом вызывает инструмент выборки кадров.
Фишка: инструмент позволяет гибко задавать временной диапазон, количество кадров и разрешение. Агент может сначала просмотреть всё видео грубо (низкое разрешение, редкие кадры), найти нужный момент, а потом зумануть детально.
Обучение — три стадии: SFT cold-start (10k примеров), KTO на успешных и провальных траекториях (11k), и онлайн GRPO с data-driven наградами.
Результат: SOTA на нескольких видео-бенчмарках при меньших затратах на токены.
https://arxiv.org/abs/2603.22918
Обычные видео-модели тупо сэмплируют кадры равномерно и скармливают их LLM. Даже "агентные" подходы сначала показывают видео, а потом рассуждают. EVA переворачивает это: агент сначала читает только текстовый запрос, планирует что и как смотреть, и только потом вызывает инструмент выборки кадров.
Фишка: инструмент позволяет гибко задавать временной диапазон, количество кадров и разрешение. Агент может сначала просмотреть всё видео грубо (низкое разрешение, редкие кадры), найти нужный момент, а потом зумануть детально.
Обучение — три стадии: SFT cold-start (10k примеров), KTO на успешных и провальных траекториях (11k), и онлайн GRPO с data-driven наградами.
Результат: SOTA на нескольких видео-бенчмарках при меньших затратах на токены.
https://arxiv.org/abs/2603.22918
Microsoft Research представила AsgardBench — новый бенчмарк для оценки визуально заземлённого интерактивного планирования.
Суть в том, что системы ИИ теперь можно тестировать на способность планировать долгосрочные задачи, опираясь на реальное пространственное восприятие — то есть понимать, где именно в физическом мире находятся объекты, и выстраивать последовательность действий для манипуляций роботов.
Почему это важно: большинство существующих бенчмарков проверяют либо зрение, либо планирование отдельно. AsgardBench объединяет оба навыка в связке с реальной физической средой. Это ближе к тому, как работают настоящие роботизированные системы.
Для разработчиков это новая планка для оценки робототехнических агентов и мультимодальных моделей. Прогресс в этой области напрямую влияет на то, насколько скоро роботы смогут выполнять сложные задачи в реальных условиях — на складах, в больницах, дома.
https://www.microsoft.com/en-us/research/blog/asgardbench-a-benchmark-for-visually-grounded-interactive-planning/
Суть в том, что системы ИИ теперь можно тестировать на способность планировать долгосрочные задачи, опираясь на реальное пространственное восприятие — то есть понимать, где именно в физическом мире находятся объекты, и выстраивать последовательность действий для манипуляций роботов.
Почему это важно: большинство существующих бенчмарков проверяют либо зрение, либо планирование отдельно. AsgardBench объединяет оба навыка в связке с реальной физической средой. Это ближе к тому, как работают настоящие роботизированные системы.
Для разработчиков это новая планка для оценки робототехнических агентов и мультимодальных моделей. Прогресс в этой области напрямую влияет на то, насколько скоро роботы смогут выполнять сложные задачи в реальных условиях — на складах, в больницах, дома.
https://www.microsoft.com/en-us/research/blog/asgardbench-a-benchmark-for-visually-grounded-interactive-planning/
Microsoft Research
AsgardBench: A benchmark for visually grounded interactive planning
AsgardBench evaluates whether embodied agents can revise their plans based on visual observations as tasks unfold. By focusing on perception-driven planning, it exposes key limitations and guides improvements in agent reliability.
Nvidia Tech рассказала, как выжать максимум из каждого ватта в ИИ-дата-центрах.
За шесть поколений архитектур — от Hopper до новейшей Vera Rubin — компания улучшила производительность инференса на мегаватт в 1 000 000 раз. Для сравнения: если бы топливная эффективность автомобилей росла так же быстро, одного галлона бензина хватило бы на полёт до Луны и обратно.
Что это значит на практике: Blackwell Ultra GB300 NVL72 даёт в 50 раз больше токенов на мегаватт и в 35 раз снижает стоимость токена по сравнению с Hopper. Vera Rubin идёт ещё дальше — плюс 10x к Blackwell.
Для операторов ИИ-фабрик это прямой рост выручки в рамках фиксированного энергетического бюджета. Мощность стала главным ограничением отрасли, и именно эффективность теперь определяет конкурентоспособность.
https://developer.nvidia.com/blog/scaling-token-factory-revenue-and-ai-efficiency-by-maximizing-performance-per-watt/
За шесть поколений архитектур — от Hopper до новейшей Vera Rubin — компания улучшила производительность инференса на мегаватт в 1 000 000 раз. Для сравнения: если бы топливная эффективность автомобилей росла так же быстро, одного галлона бензина хватило бы на полёт до Луны и обратно.
Что это значит на практике: Blackwell Ultra GB300 NVL72 даёт в 50 раз больше токенов на мегаватт и в 35 раз снижает стоимость токена по сравнению с Hopper. Vera Rubin идёт ещё дальше — плюс 10x к Blackwell.
Для операторов ИИ-фабрик это прямой рост выручки в рамках фиксированного энергетического бюджета. Мощность стала главным ограничением отрасли, и именно эффективность теперь определяет конкурентоспособность.
https://developer.nvidia.com/blog/scaling-token-factory-revenue-and-ai-efficiency-by-maximizing-performance-per-watt/
NVIDIA Technical Blog
Scaling Token Factory Revenue and AI Efficiency by Maximizing Performance per Watt
In the AI era, power is the ultimate constraint, and every AI factory operates within a hard limit. This makes performance per watt—the rate at which power is converted into revenue-generating…
Apple ML опубликовала исследование по улучшению качества 3D Gaussian Splatting — технологии, которая используется для создания реалистичных 3D-сцен из фотографий.
Проблема: стандартные методы обучения 3DGS дают размытые результаты, потому что опираются на простые попиксельные метрики, а не на то, как изображение воспринимает человек.
Решение: исследователи протестировали множество перцептивных функций потерь и провели масштабное пользовательское исследование — 39 320 попарных оценок. Победил метод WD-R (регуляризованное Вассерштейновское искажение): он лучше восстанавливает мелкие текстуры, не увеличивая число «сплатов».
Результаты впечатляют: WD-R предпочли в 2.3 раза чаще оригинального лосса 3DGS и в 1.5 раза чаще лучшего на сегодня метода Perceptual-GS. Плюс — экономия битрейта около 50% при сжатии сцен без потери качества.
Метод легко встраивается в популярные фреймворки вроде Mip-Splatting и Scaffold-GS без дополнительных вычислительных затрат.
https://machinelearning.apple.com/research/drop-in
Проблема: стандартные методы обучения 3DGS дают размытые результаты, потому что опираются на простые попиксельные метрики, а не на то, как изображение воспринимает человек.
Решение: исследователи протестировали множество перцептивных функций потерь и провели масштабное пользовательское исследование — 39 320 попарных оценок. Победил метод WD-R (регуляризованное Вассерштейновское искажение): он лучше восстанавливает мелкие текстуры, не увеличивая число «сплатов».
Результаты впечатляют: WD-R предпочли в 2.3 раза чаще оригинального лосса 3DGS и в 1.5 раза чаще лучшего на сегодня метода Perceptual-GS. Плюс — экономия битрейта около 50% при сжатии сцен без потери качества.
Метод легко встраивается в популярные фреймворки вроде Mip-Splatting и Scaffold-GS без дополнительных вычислительных затрат.
https://machinelearning.apple.com/research/drop-in
Apple Machine Learning Research
Drop-In Perceptual Optimization for 3D Gaussian Splatting
Despite their output being ultimately consumed by human viewers, 3D Gaussian Splatting (3DGS) methods often rely on ad-hoc combinations of…
LLM с памятью на 100 миллионов токенов — это уже не фантастика (by EverMind-AI)
Человеческая память оценивается примерно в 200-300 миллионов токенов. Современные LLM дотягиваются максимум до 1M. Разрыв огромный. Авторы предлагают Memory Sparse Attention (MSA) — механизм, который закрывает этот gap.
Идея: вместо того чтобы хранить весь KV-кэш (дорого) или сжимать всё в фиксированное состояние (теряем точность), MSA делает top-k отбор ключевых KV-пар и работает с ними через разреженное внимание. Это даёт почти линейную сложность и сохраняет дифференцируемость — то есть обучение end-to-end.
Хитрость с позиционными эмбеддингами: обучают на 64K токенах, а инференс работает на 100M через смешанную глобальную и документ-уровневую RoPE стратегию.
Результат: деградация менее 9% при масштабировании с 16K до 100M токенов. Qwen и GPT-4.1 на таких длинах просто ломаются. И всё это на двух A800 GPU.
https://arxiv.org/abs/2603.23516
Человеческая память оценивается примерно в 200-300 миллионов токенов. Современные LLM дотягиваются максимум до 1M. Разрыв огромный. Авторы предлагают Memory Sparse Attention (MSA) — механизм, который закрывает этот gap.
Идея: вместо того чтобы хранить весь KV-кэш (дорого) или сжимать всё в фиксированное состояние (теряем точность), MSA делает top-k отбор ключевых KV-пар и работает с ними через разреженное внимание. Это даёт почти линейную сложность и сохраняет дифференцируемость — то есть обучение end-to-end.
Хитрость с позиционными эмбеддингами: обучают на 64K токенах, а инференс работает на 100M через смешанную глобальную и документ-уровневую RoPE стратегию.
Результат: деградация менее 9% при масштабировании с 16K до 100M токенов. Qwen и GPT-4.1 на таких длинах просто ломаются. И всё это на двух A800 GPU.
https://arxiv.org/abs/2603.23516
🔥2❤1