Nvidia представила Proteina-Complexa — генеративную модель для создания белковых биндеров и ферментов с нуля.
Что это такое: модель одновременно генерирует трёхмерную структуру белка (скелет, боковые цепи) и аминокислотную последовательность. Раньше это делалось отдельными инструментами — теперь всё в одном процессе. Обучена на более чем 1 млн белковых структур из PDB и AlphaFold.
Почему важно: Proteina-Complexa протестирована на 133 мишенях, включая сложные терапевтические цели без известных биндеров. Результат — биндеры с нано- и пикомолярным сродством. Это один из крупнейших бенчмарков по дизайну биндеров в истории.
Для кого: фармацевтика (онкология, иммунология, неврология), разработка биосенсоров, промышленная биокатализация. Партнёры по валидации — Manifold Bio, Novo Nordisk, Кембриджский университет.
Модель доступна через командную строку. Это серьёзный шаг к ускорению разработки лекарств с помощью ИИ.
https://developer.nvidia.com/blog/designing-protein-binders-using-the-generative-model-proteina-complexa/
Что это такое: модель одновременно генерирует трёхмерную структуру белка (скелет, боковые цепи) и аминокислотную последовательность. Раньше это делалось отдельными инструментами — теперь всё в одном процессе. Обучена на более чем 1 млн белковых структур из PDB и AlphaFold.
Почему важно: Proteina-Complexa протестирована на 133 мишенях, включая сложные терапевтические цели без известных биндеров. Результат — биндеры с нано- и пикомолярным сродством. Это один из крупнейших бенчмарков по дизайну биндеров в истории.
Для кого: фармацевтика (онкология, иммунология, неврология), разработка биосенсоров, промышленная биокатализация. Партнёры по валидации — Manifold Bio, Novo Nordisk, Кембриджский университет.
Модель доступна через командную строку. Это серьёзный шаг к ускорению разработки лекарств с помощью ИИ.
https://developer.nvidia.com/blog/designing-protein-binders-using-the-generative-model-proteina-complexa/
NVIDIA Technical Blog
Designing Protein Binders Using the Generative Model Proteina-Complexa
Developing new protein-based therapies and catalysts involves the challenging task of designing protein binders, or proteins that bind to a target protein or small molecule. The search space for…
CUA-Suite: 55 часов видео, чтобы научить AI работать за компьютером (by ServiceNow)
Современные computer-use агенты неплохо справляются с браузером, но буквально теряются в Blender или специализированных IDE. Главная причина — нет нормальных обучающих данных.
ServiceNow выпустили CUA-Suite: огромный датасет из 55 часов непрерывного 30fps видео, где живые эксперты выполняют 10 000 задач в 87 десктопных приложениях. Это 6 миллионов кадров с кинематическими траекториями курсора и аннотациями рассуждений.
Почему видео, а не скриншоты? Потому что дискретные снимки экрана теряют временну́ю динамику — непонятно, как человек двигал мышь, что менялось между кликами. Без этого не построить нормальную world model и не научить плавному управлению курсором.
В комплекте: GroundCUA (3.6 млн pixel-точных аннотаций UI-элементов) и бенчмарк UI-Vision. Всё открытое.
https://arxiv.org/abs/2603.24440
Современные computer-use агенты неплохо справляются с браузером, но буквально теряются в Blender или специализированных IDE. Главная причина — нет нормальных обучающих данных.
ServiceNow выпустили CUA-Suite: огромный датасет из 55 часов непрерывного 30fps видео, где живые эксперты выполняют 10 000 задач в 87 десктопных приложениях. Это 6 миллионов кадров с кинематическими траекториями курсора и аннотациями рассуждений.
Почему видео, а не скриншоты? Потому что дискретные снимки экрана теряют временну́ю динамику — непонятно, как человек двигал мышь, что менялось между кликами. Без этого не построить нормальную world model и не научить плавному управлению курсором.
В комплекте: GroundCUA (3.6 млн pixel-точных аннотаций UI-элементов) и бенчмарк UI-Vision. Всё открытое.
https://arxiv.org/abs/2603.24440
Первая мультимодальная модель на 1 триллион параметров для науки
Intern-S1-Pro — это первая научная мультимодальная модель на 1 триллион параметров (MoE). Цель: один универсальный агент для химии, биологии, физики, наук о Земле и 100+ специализированных задач.
Ключевые технические решения:
1. Grouped Routing — делит экспертов на группы, гарантируя абсолютный load balance при EP8. Решает OOM и нестабильность обучения.
2. Straight-Through Estimator для роутера — в forward pass оставляет Top-K выбор, в backward пускает градиенты через все экспертные логиты. Итог: роутер учится быстрее и стабильнее.
3. Upcycling из Intern-S1: веса FFN копируются, каждая группа получает хорошо обученных Top-1 экспертов — иначе падение качества на 20+ пунктов.
Главный вывод: достаточно большой генералист при совместном обучении бьёт узкоспециализированные модели. Масштаб в 4x от предшественника — всего с 20% потерей throughput.
https://arxiv.org/abs/2603.25040
Intern-S1-Pro — это первая научная мультимодальная модель на 1 триллион параметров (MoE). Цель: один универсальный агент для химии, биологии, физики, наук о Земле и 100+ специализированных задач.
Ключевые технические решения:
1. Grouped Routing — делит экспертов на группы, гарантируя абсолютный load balance при EP8. Решает OOM и нестабильность обучения.
2. Straight-Through Estimator для роутера — в forward pass оставляет Top-K выбор, в backward пускает градиенты через все экспертные логиты. Итог: роутер учится быстрее и стабильнее.
3. Upcycling из Intern-S1: веса FFN копируются, каждая группа получает хорошо обученных Top-1 экспертов — иначе падение качества на 20+ пунктов.
Главный вывод: достаточно большой генералист при совместном обучении бьёт узкоспециализированные модели. Масштаб в 4x от предшественника — всего с 20% потерей throughput.
https://arxiv.org/abs/2603.25040
🤔1
SpectralSplats: как отслеживать 3D-объекты, когда они "потерялись" на экране
Классическая проблема 3D-трекинга: если объект сильно сдвинулся между кадрами, градиенты фотометрической ошибки просто исчезают — гауссианы не перекрываются с целевым изображением, и оптимизатор "не видит" куда двигаться.
Авторы предлагают SpectralSplats: вместо сравнения пикселей в пространственном домене — переходим в частотный. Ключевая идея: пространственный сдвиг объекта = фазовый сдвиг в фурье-спектре. А синусоидальные базисы глобальны, поэтому градиент не исчезает даже при полном пространственном несовпадении.
Плюс к этому — умное частотное отжигание (frequency annealing): сначала оптимизируем по низким частотам (грубое совмещение), потом постепенно добавляем высокие (точная подгонка). Это избегает ловушек фазового заворачивания.
Метод работает поверх любых деформационных моделей (MLP или явные контрольные точки) и совместим с L2/LPIPS лоссами.
https://arxiv.org/abs/2603.24036
Классическая проблема 3D-трекинга: если объект сильно сдвинулся между кадрами, градиенты фотометрической ошибки просто исчезают — гауссианы не перекрываются с целевым изображением, и оптимизатор "не видит" куда двигаться.
Авторы предлагают SpectralSplats: вместо сравнения пикселей в пространственном домене — переходим в частотный. Ключевая идея: пространственный сдвиг объекта = фазовый сдвиг в фурье-спектре. А синусоидальные базисы глобальны, поэтому градиент не исчезает даже при полном пространственном несовпадении.
Плюс к этому — умное частотное отжигание (frequency annealing): сначала оптимизируем по низким частотам (грубое совмещение), потом постепенно добавляем высокие (точная подгонка). Это избегает ловушек фазового заворачивания.
Метод работает поверх любых деформационных моделей (MLP или явные контрольные точки) и совместим с L2/LPIPS лоссами.
https://arxiv.org/abs/2603.24036
❤1
Оптический поток из мусора: диффузионные модели спасают видео с артефактами
Задача оптического потока — отслеживать движение каждого пикселя между кадрами. Но что если видео зашумлено, сжато или размыто? Стандартные методы (RAFT, SEA-RAFT) просто ломаются.
Авторы из KAIST предлагают DA-Flow: берём предобученную диффузионную модель восстановления изображений (она уже умеет "видеть сквозь" деградации) и добавляем к ней cross-frame attention между кадрами. Так получаем фичи, одновременно устойчивые к артефактам и пространственно согласованные для попарного сопоставления пикселей.
Ключевой инсайт: видео-диффузионные модели не подходят — они смешивают кадры в общем латентном пространстве, разрушая нужную попиксельную структуру. Поэтому лучше взять image restoration модель и "поднять" её до видео через attention.
Фичи диффузии комбинируются с CNN-фичами поверх RAFT. Обучение — на псевдо-GT потоке: берут чистое видео, считают поток, потом деградируют кадры и учат модель восстанавливать тот же поток.
Задача оптического потока — отслеживать движение каждого пикселя между кадрами. Но что если видео зашумлено, сжато или размыто? Стандартные методы (RAFT, SEA-RAFT) просто ломаются.
Авторы из KAIST предлагают DA-Flow: берём предобученную диффузионную модель восстановления изображений (она уже умеет "видеть сквозь" деградации) и добавляем к ней cross-frame attention между кадрами. Так получаем фичи, одновременно устойчивые к артефактам и пространственно согласованные для попарного сопоставления пикселей.
Ключевой инсайт: видео-диффузионные модели не подходят — они смешивают кадры в общем латентном пространстве, разрушая нужную попиксельную структуру. Поэтому лучше взять image restoration модель и "поднять" её до видео через attention.
Фичи диффузии комбинируются с CNN-фичами поверх RAFT. Обучение — на псевдо-GT потоке: берут чистое видео, считают поток, потом деградируют кадры и учат модель восстанавливать тот же поток.
EVA: агент, который сначала думает — потом смотрит видео
Обычные видео-модели тупо сэмплируют кадры равномерно и скармливают их LLM. Даже "агентные" подходы сначала показывают видео, а потом рассуждают. EVA переворачивает это: агент сначала читает только текстовый запрос, планирует что и как смотреть, и только потом вызывает инструмент выборки кадров.
Фишка: инструмент позволяет гибко задавать временной диапазон, количество кадров и разрешение. Агент может сначала просмотреть всё видео грубо (низкое разрешение, редкие кадры), найти нужный момент, а потом зумануть детально.
Обучение — три стадии: SFT cold-start (10k примеров), KTO на успешных и провальных траекториях (11k), и онлайн GRPO с data-driven наградами.
Результат: SOTA на нескольких видео-бенчмарках при меньших затратах на токены.
https://arxiv.org/abs/2603.22918
Обычные видео-модели тупо сэмплируют кадры равномерно и скармливают их LLM. Даже "агентные" подходы сначала показывают видео, а потом рассуждают. EVA переворачивает это: агент сначала читает только текстовый запрос, планирует что и как смотреть, и только потом вызывает инструмент выборки кадров.
Фишка: инструмент позволяет гибко задавать временной диапазон, количество кадров и разрешение. Агент может сначала просмотреть всё видео грубо (низкое разрешение, редкие кадры), найти нужный момент, а потом зумануть детально.
Обучение — три стадии: SFT cold-start (10k примеров), KTO на успешных и провальных траекториях (11k), и онлайн GRPO с data-driven наградами.
Результат: SOTA на нескольких видео-бенчмарках при меньших затратах на токены.
https://arxiv.org/abs/2603.22918
Microsoft Research представила AsgardBench — новый бенчмарк для оценки визуально заземлённого интерактивного планирования.
Суть в том, что системы ИИ теперь можно тестировать на способность планировать долгосрочные задачи, опираясь на реальное пространственное восприятие — то есть понимать, где именно в физическом мире находятся объекты, и выстраивать последовательность действий для манипуляций роботов.
Почему это важно: большинство существующих бенчмарков проверяют либо зрение, либо планирование отдельно. AsgardBench объединяет оба навыка в связке с реальной физической средой. Это ближе к тому, как работают настоящие роботизированные системы.
Для разработчиков это новая планка для оценки робототехнических агентов и мультимодальных моделей. Прогресс в этой области напрямую влияет на то, насколько скоро роботы смогут выполнять сложные задачи в реальных условиях — на складах, в больницах, дома.
https://www.microsoft.com/en-us/research/blog/asgardbench-a-benchmark-for-visually-grounded-interactive-planning/
Суть в том, что системы ИИ теперь можно тестировать на способность планировать долгосрочные задачи, опираясь на реальное пространственное восприятие — то есть понимать, где именно в физическом мире находятся объекты, и выстраивать последовательность действий для манипуляций роботов.
Почему это важно: большинство существующих бенчмарков проверяют либо зрение, либо планирование отдельно. AsgardBench объединяет оба навыка в связке с реальной физической средой. Это ближе к тому, как работают настоящие роботизированные системы.
Для разработчиков это новая планка для оценки робототехнических агентов и мультимодальных моделей. Прогресс в этой области напрямую влияет на то, насколько скоро роботы смогут выполнять сложные задачи в реальных условиях — на складах, в больницах, дома.
https://www.microsoft.com/en-us/research/blog/asgardbench-a-benchmark-for-visually-grounded-interactive-planning/
Microsoft Research
AsgardBench: A benchmark for visually grounded interactive planning
AsgardBench evaluates whether embodied agents can revise their plans based on visual observations as tasks unfold. By focusing on perception-driven planning, it exposes key limitations and guides improvements in agent reliability.
Nvidia Tech рассказала, как выжать максимум из каждого ватта в ИИ-дата-центрах.
За шесть поколений архитектур — от Hopper до новейшей Vera Rubin — компания улучшила производительность инференса на мегаватт в 1 000 000 раз. Для сравнения: если бы топливная эффективность автомобилей росла так же быстро, одного галлона бензина хватило бы на полёт до Луны и обратно.
Что это значит на практике: Blackwell Ultra GB300 NVL72 даёт в 50 раз больше токенов на мегаватт и в 35 раз снижает стоимость токена по сравнению с Hopper. Vera Rubin идёт ещё дальше — плюс 10x к Blackwell.
Для операторов ИИ-фабрик это прямой рост выручки в рамках фиксированного энергетического бюджета. Мощность стала главным ограничением отрасли, и именно эффективность теперь определяет конкурентоспособность.
https://developer.nvidia.com/blog/scaling-token-factory-revenue-and-ai-efficiency-by-maximizing-performance-per-watt/
За шесть поколений архитектур — от Hopper до новейшей Vera Rubin — компания улучшила производительность инференса на мегаватт в 1 000 000 раз. Для сравнения: если бы топливная эффективность автомобилей росла так же быстро, одного галлона бензина хватило бы на полёт до Луны и обратно.
Что это значит на практике: Blackwell Ultra GB300 NVL72 даёт в 50 раз больше токенов на мегаватт и в 35 раз снижает стоимость токена по сравнению с Hopper. Vera Rubin идёт ещё дальше — плюс 10x к Blackwell.
Для операторов ИИ-фабрик это прямой рост выручки в рамках фиксированного энергетического бюджета. Мощность стала главным ограничением отрасли, и именно эффективность теперь определяет конкурентоспособность.
https://developer.nvidia.com/blog/scaling-token-factory-revenue-and-ai-efficiency-by-maximizing-performance-per-watt/
NVIDIA Technical Blog
Scaling Token Factory Revenue and AI Efficiency by Maximizing Performance per Watt
In the AI era, power is the ultimate constraint, and every AI factory operates within a hard limit. This makes performance per watt—the rate at which power is converted into revenue-generating…
Apple ML опубликовала исследование по улучшению качества 3D Gaussian Splatting — технологии, которая используется для создания реалистичных 3D-сцен из фотографий.
Проблема: стандартные методы обучения 3DGS дают размытые результаты, потому что опираются на простые попиксельные метрики, а не на то, как изображение воспринимает человек.
Решение: исследователи протестировали множество перцептивных функций потерь и провели масштабное пользовательское исследование — 39 320 попарных оценок. Победил метод WD-R (регуляризованное Вассерштейновское искажение): он лучше восстанавливает мелкие текстуры, не увеличивая число «сплатов».
Результаты впечатляют: WD-R предпочли в 2.3 раза чаще оригинального лосса 3DGS и в 1.5 раза чаще лучшего на сегодня метода Perceptual-GS. Плюс — экономия битрейта около 50% при сжатии сцен без потери качества.
Метод легко встраивается в популярные фреймворки вроде Mip-Splatting и Scaffold-GS без дополнительных вычислительных затрат.
https://machinelearning.apple.com/research/drop-in
Проблема: стандартные методы обучения 3DGS дают размытые результаты, потому что опираются на простые попиксельные метрики, а не на то, как изображение воспринимает человек.
Решение: исследователи протестировали множество перцептивных функций потерь и провели масштабное пользовательское исследование — 39 320 попарных оценок. Победил метод WD-R (регуляризованное Вассерштейновское искажение): он лучше восстанавливает мелкие текстуры, не увеличивая число «сплатов».
Результаты впечатляют: WD-R предпочли в 2.3 раза чаще оригинального лосса 3DGS и в 1.5 раза чаще лучшего на сегодня метода Perceptual-GS. Плюс — экономия битрейта около 50% при сжатии сцен без потери качества.
Метод легко встраивается в популярные фреймворки вроде Mip-Splatting и Scaffold-GS без дополнительных вычислительных затрат.
https://machinelearning.apple.com/research/drop-in
Apple Machine Learning Research
Drop-In Perceptual Optimization for 3D Gaussian Splatting
Despite their output being ultimately consumed by human viewers, 3D Gaussian Splatting (3DGS) methods often rely on ad-hoc combinations of…
LLM с памятью на 100 миллионов токенов — это уже не фантастика (by EverMind-AI)
Человеческая память оценивается примерно в 200-300 миллионов токенов. Современные LLM дотягиваются максимум до 1M. Разрыв огромный. Авторы предлагают Memory Sparse Attention (MSA) — механизм, который закрывает этот gap.
Идея: вместо того чтобы хранить весь KV-кэш (дорого) или сжимать всё в фиксированное состояние (теряем точность), MSA делает top-k отбор ключевых KV-пар и работает с ними через разреженное внимание. Это даёт почти линейную сложность и сохраняет дифференцируемость — то есть обучение end-to-end.
Хитрость с позиционными эмбеддингами: обучают на 64K токенах, а инференс работает на 100M через смешанную глобальную и документ-уровневую RoPE стратегию.
Результат: деградация менее 9% при масштабировании с 16K до 100M токенов. Qwen и GPT-4.1 на таких длинах просто ломаются. И всё это на двух A800 GPU.
https://arxiv.org/abs/2603.23516
Человеческая память оценивается примерно в 200-300 миллионов токенов. Современные LLM дотягиваются максимум до 1M. Разрыв огромный. Авторы предлагают Memory Sparse Attention (MSA) — механизм, который закрывает этот gap.
Идея: вместо того чтобы хранить весь KV-кэш (дорого) или сжимать всё в фиксированное состояние (теряем точность), MSA делает top-k отбор ключевых KV-пар и работает с ними через разреженное внимание. Это даёт почти линейную сложность и сохраняет дифференцируемость — то есть обучение end-to-end.
Хитрость с позиционными эмбеддингами: обучают на 64K токенах, а инференс работает на 100M через смешанную глобальную и документ-уровневую RoPE стратегию.
Результат: деградация менее 9% при масштабировании с 16K до 100M токенов. Qwen и GPT-4.1 на таких длинах просто ломаются. И всё это на двух A800 GPU.
https://arxiv.org/abs/2603.23516
🔥2❤1
Редактирование мимики без путаницы между похожими эмоциями — теперь реально
Страх и удивление выглядят похоже: широкие глаза, открытый рот. Злость и отвращение — тоже. Существующие модели редактирования выражений лиц постоянно путают такие пары, потому что обучаются на дискретных метках (one-hot), которые не отражают реальную непрерывность эмоций.
Авторы из Fudan University предлагают PixelSmile — диффузионный фреймворк с двумя ключевыми идеями. Во-первых, они создали датасет FFE: 60к изображений (реальные + аниме) с непрерывными 12-мерными аффективными оценками вместо жёстких категорий. Во-вторых, обучение строится на симметричных контрастивных тройках — модель одновременно учится различать confusing-пары (страх/удивление, злость/отвращение) в обоих направлениях. На инференсе интенсивность эмоции регулируется интерполяцией в пространстве текстовых эмбеддингов через коэффициент α — без референсных изображений.
https://arxiv.org/abs/2603.25728
Страх и удивление выглядят похоже: широкие глаза, открытый рот. Злость и отвращение — тоже. Существующие модели редактирования выражений лиц постоянно путают такие пары, потому что обучаются на дискретных метках (one-hot), которые не отражают реальную непрерывность эмоций.
Авторы из Fudan University предлагают PixelSmile — диффузионный фреймворк с двумя ключевыми идеями. Во-первых, они создали датасет FFE: 60к изображений (реальные + аниме) с непрерывными 12-мерными аффективными оценками вместо жёстких категорий. Во-вторых, обучение строится на симметричных контрастивных тройках — модель одновременно учится различать confusing-пары (страх/удивление, злость/отвращение) в обоих направлениях. На инференсе интенсивность эмоции регулируется интерполяцией в пространстве текстовых эмбеддингов через коэффициент α — без референсных изображений.
https://arxiv.org/abs/2603.25728
Можно улучшить диффузионный трансформер, не трогая почти ни одного веса?
Оказывается, блоки DiT (Stable Diffusion 3, FLUX) вносят очень неравный вклад в качество генерации. Авторы обнаружили два сюрприза: некоторые блоки при отключении улучшают качество, а для каждого блока есть оптимальный скалярный множитель на выходе, который лучше дефолтного.
На этом строится Calibri: берём ~100 скалярных параметров (по одному на блок), оптимизируем их градиентно-свободным методом CMA-ES, максимизируя скор reward-модели. Никакого файнтюнинга, никакого backprop через модель.
Результат: стабильный прирост качества на разных базовых моделях, меньше шагов инференса, плюс Calibri Ensemble из нескольких откалиброванных моделей даёт ещё больший буст.
https://arxiv.org/abs/2603.24800
Оказывается, блоки DiT (Stable Diffusion 3, FLUX) вносят очень неравный вклад в качество генерации. Авторы обнаружили два сюрприза: некоторые блоки при отключении улучшают качество, а для каждого блока есть оптимальный скалярный множитель на выходе, который лучше дефолтного.
На этом строится Calibri: берём ~100 скалярных параметров (по одному на блок), оптимизируем их градиентно-свободным методом CMA-ES, максимизируя скор reward-модели. Никакого файнтюнинга, никакого backprop через модель.
Результат: стабильный прирост качества на разных базовых моделях, меньше шагов инференса, плюс Calibri Ensemble из нескольких откалиброванных моделей даёт ещё больший буст.
https://arxiv.org/abs/2603.24800
Один открытый фреймворк против GPT-Image и закрытых систем восстановления изображений
Реальные фото страдают сразу от множества дефектов: размытие, шум, артефакты сжатия, блики, туман, дождь. Закрытые модели вроде GPT-Image-1 справляются хорошо, но недоступны для исследований.
Авторы из SUSTech предложили RealRestorer — открытую альтернативу. Ключевое: они построили масштабный пайплайн синтеза деградаций для 9 типов дефектов, используя SAM-2 для сегментации, MiDaS для глубины и VLM-фильтрацию плохих сэмплов. Для шума добавили segment-aware perturbations — это заметно улучшило реальный деноизинг.
На этих данных дообучили открытую image editing модель. Также представили бенчмарк RealIR-Bench из 464 реальных изображений с метриками не только качества, но и консистентности с исходником.
Результат: сравнимо с закрытыми системами, но полностью воспроизводимо.
https://arxiv.org/abs/2603.25502
Реальные фото страдают сразу от множества дефектов: размытие, шум, артефакты сжатия, блики, туман, дождь. Закрытые модели вроде GPT-Image-1 справляются хорошо, но недоступны для исследований.
Авторы из SUSTech предложили RealRestorer — открытую альтернативу. Ключевое: они построили масштабный пайплайн синтеза деградаций для 9 типов дефектов, используя SAM-2 для сегментации, MiDaS для глубины и VLM-фильтрацию плохих сэмплов. Для шума добавили segment-aware perturbations — это заметно улучшило реальный деноизинг.
На этих данных дообучили открытую image editing модель. Также представили бенчмарк RealIR-Bench из 464 реальных изображений с метриками не только качества, но и консистентности с исходником.
Результат: сравнимо с закрытыми системами, но полностью воспроизводимо.
https://arxiv.org/abs/2603.25502
Почему самодистилляция убивает математическое мышление LLM? (by Microsoft Research)
Самодистилляция — когда модель учится у самой себя, но с доступом к правильному ответу — творит чудеса в химии и агентных задачах. Но в математике она неожиданно роняет качество. Почему?
Ответ: учитель, знающий решение, рассуждает уверенно и кратко — без "Wait", "Hmm", "Perhaps". Студент учится копировать этот стиль. Но именно эти "неуверенные" токены — не мусор, а сигнал: "стоп, я мог ошибиться, проверю". Без них модель преждевременно фиксируется на неверной гипотезе.
Авторы показали: чем богаче контекст учителя, тем меньше epistemic verbalization в ответах (182 → 9 токенов неопределённости). Это ускоряет обучение на узких задачах, но убивает обобщение на разнообразной математике.
Вывод: правильность ответа в лосс-функции — недостаточный критерий. Нужно явно сохранять неопределённость в рассуждениях.
https://arxiv.org/abs/2603.24472
Самодистилляция — когда модель учится у самой себя, но с доступом к правильному ответу — творит чудеса в химии и агентных задачах. Но в математике она неожиданно роняет качество. Почему?
Ответ: учитель, знающий решение, рассуждает уверенно и кратко — без "Wait", "Hmm", "Perhaps". Студент учится копировать этот стиль. Но именно эти "неуверенные" токены — не мусор, а сигнал: "стоп, я мог ошибиться, проверю". Без них модель преждевременно фиксируется на неверной гипотезе.
Авторы показали: чем богаче контекст учителя, тем меньше epistemic verbalization в ответах (182 → 9 токенов неопределённости). Это ускоряет обучение на узких задачах, но убивает обобщение на разнообразной математике.
Вывод: правильность ответа в лосс-функции — недостаточный критерий. Нужно явно сохранять неопределённость в рассуждениях.
https://arxiv.org/abs/2603.24472
❤1
Apple ML раскрыла исследование, которое одновременно хвалит и критикует State Space Models.
SSM-модели считались главной альтернативой трансформерам: они работают быстрее на длинных текстах и потребляют меньше памяти. Но исследователи Apple доказали теоретически: SSM в принципе не способны решать по-настоящему длинные задачи — это подрывает их главное преимущество.
Однако выход нашёлся — инструменты. Если дать SSM доступ к внешним инструментам (калькуляторы, интерпретаторы кода и т.д.), модели не просто справляются с длинными задачами, но и обобщают их на произвольную длину и сложность. Эксперименты подтвердили это на арифметике, логических задачах и коде.
Вывод: SSM могут стать эффективной заменой трансформерам, но только в агентных сценариях с доступом к инструментам. Работа принята на ICLR 2026.
https://machinelearning.apple.com/research/to-infinity
SSM-модели считались главной альтернативой трансформерам: они работают быстрее на длинных текстах и потребляют меньше памяти. Но исследователи Apple доказали теоретически: SSM в принципе не способны решать по-настоящему длинные задачи — это подрывает их главное преимущество.
Однако выход нашёлся — инструменты. Если дать SSM доступ к внешним инструментам (калькуляторы, интерпретаторы кода и т.д.), модели не просто справляются с длинными задачами, но и обобщают их на произвольную длину и сложность. Эксперименты подтвердили это на арифметике, логических задачах и коде.
Вывод: SSM могут стать эффективной заменой трансформерам, но только в агентных сценариях с доступом к инструментам. Работа принята на ICLR 2026.
https://machinelearning.apple.com/research/to-infinity
Apple Machine Learning Research
To Infinity and Beyond: Tool-Use Unlocks Length Generalization in State Space Models
State Space Models (SSMs) have become the leading alternative to Transformers for sequence modeling. Their primary advantage is efficiency…
Apple ML на ICLR 2026 представила исследование о законах масштабирования LLM.
Главная проблема: обычно при обучении больших моделей ориентируются на косвенные метрики вроде потерь на предобучении, а не на реальную производительность в задачах. Это ненадёжно.
Что предложили исследователи: прямой фреймворк, который предсказывает результаты на бенчмарках прямо из бюджета вычислений. Оказалось, что при фиксированном соотношении токенов и параметров простой степенной закон точно описывает рост точности сразу на нескольких популярных задачах.
Почему важно: прямой подход даёт лучшую экстраполяцию, чем двухэтапные методы, которые накапливают ошибки. Также учитывается инференс при многократной генерации.
Проверено на моделях до 17B параметров, обученных на 350B токенов. Все данные и результаты открыты для воспроизведения.
Для индустрии это означает более предсказуемое и экономичное масштабирование моделей без лишних экспериментов.
https://machinelearning.apple.com/research/downstream-metrics
Главная проблема: обычно при обучении больших моделей ориентируются на косвенные метрики вроде потерь на предобучении, а не на реальную производительность в задачах. Это ненадёжно.
Что предложили исследователи: прямой фреймворк, который предсказывает результаты на бенчмарках прямо из бюджета вычислений. Оказалось, что при фиксированном соотношении токенов и параметров простой степенной закон точно описывает рост точности сразу на нескольких популярных задачах.
Почему важно: прямой подход даёт лучшую экстраполяцию, чем двухэтапные методы, которые накапливают ошибки. Также учитывается инференс при многократной генерации.
Проверено на моделях до 17B параметров, обученных на 350B токенов. Все данные и результаты открыты для воспроизведения.
Для индустрии это означает более предсказуемое и экономичное масштабирование моделей без лишних экспериментов.
https://machinelearning.apple.com/research/downstream-metrics
Apple Machine Learning Research
Revisiting the Scaling Properties of Downstream Metrics in Large Language Model Training
While scaling laws for Large Language Models (LLMs) traditionally focus on proxy metrics like pretraining loss, predicting downstream task…
PyTorch выпустил подробный гайд по Flight Recorder — инструменту для отладки одной из самых болезненных ошибок при обучении больших моделей: NCCL watchdog timeout.
Что происходит: когда GPU-операция зависает и не завершается за 10 минут, PyTorch бросает эту ошибку. Проблема в том, что виновный ранг — не всегда тот, что первым упал, а само сообщение об ошибке почти бесполезно для диагностики.
Flight Recorder собирает телеметрию по всем рангам и позволяет быстро найти корень проблемы — будь то расхождение в CPU-коде, зависание GPU, дедлок CUDA или неверные аргументы коллективных операций.
Раньше отладка таких сбоев занимала часы и требовала перезапуска джобы с дополнительными флагами. Теперь можно разобраться значительно быстрее.
Важно для всех, кто обучает модели на нескольких GPU с DDP, FSDP или TorchRec.
https://pytorch.org/blog/flight-recorder-a-new-lens-for-understanding-nccl-watchdog-timeouts/
Что происходит: когда GPU-операция зависает и не завершается за 10 минут, PyTorch бросает эту ошибку. Проблема в том, что виновный ранг — не всегда тот, что первым упал, а само сообщение об ошибке почти бесполезно для диагностики.
Flight Recorder собирает телеметрию по всем рангам и позволяет быстро найти корень проблемы — будь то расхождение в CPU-коде, зависание GPU, дедлок CUDA или неверные аргументы коллективных операций.
Раньше отладка таких сбоев занимала часы и требовала перезапуска джобы с дополнительными флагами. Теперь можно разобраться значительно быстрее.
Важно для всех, кто обучает модели на нескольких GPU с DDP, FSDP или TorchRec.
https://pytorch.org/blog/flight-recorder-a-new-lens-for-understanding-nccl-watchdog-timeouts/
Red-teaming LLM-агентов: атаки через цепочки вызовов инструментов (by KAIST AI)
Обычный red-teaming проверяет, не напишет ли модель что-то вредное. Но LLM-агент с доступом к почте, браузеру и файловой системе — это другой уровень угрозы. Тут важно не что он говорит, а что он делает.
T-MAP — эволюционный алгоритм поиска атакующих промптов для агентов. Идея: строить Tool Call Graph — граф переходов между вызовами инструментов — и учиться на нём, что сработало, а что нет. На каждой итерации: диагностируем успехи и провалы прошлых атак, мутируем промпт с учётом структуры графа, обновляем граф и архив лучших атак.
Архив организован по двум осям: категория риска (утечка данных, финансовый ущерб и т.д.) и стиль атаки. Это даёт разнообразие, а не одну найденную дыру.
Результат: 57.8% успешных атак на реальных MCP-средах (Gmail, Slack, Playwright и др.), включая GPT-5 и Gemini-3-Pro.
https://arxiv.org/abs/2603.22341
Обычный red-teaming проверяет, не напишет ли модель что-то вредное. Но LLM-агент с доступом к почте, браузеру и файловой системе — это другой уровень угрозы. Тут важно не что он говорит, а что он делает.
T-MAP — эволюционный алгоритм поиска атакующих промптов для агентов. Идея: строить Tool Call Graph — граф переходов между вызовами инструментов — и учиться на нём, что сработало, а что нет. На каждой итерации: диагностируем успехи и провалы прошлых атак, мутируем промпт с учётом структуры графа, обновляем граф и архив лучших атак.
Архив организован по двум осям: категория риска (утечка данных, финансовый ущерб и т.д.) и стиль атаки. Это даёт разнообразие, а не одну найденную дыру.
Результат: 57.8% успешных атак на реальных MCP-средах (Gmail, Slack, Playwright и др.), включая GPT-5 и Gemini-3-Pro.
https://arxiv.org/abs/2603.22341
UI-Voyager: агент, который учится на своих ошибках (by Tencent)
Обычно неудачные попытки агента управлять телефоном просто выбрасываются. UI-Voyager решает это иначе.
Два этапа обучения:
1. Rejection Fine-Tuning — агент сам генерирует траектории, фильтрует успешные и учится на них итеративно, без ручной разметки.
2. Group Relative Self-Distillation (GRSD) — ключевая идея: находим "точки развилки" (fork points) между успешными и провальными траекториями через SSIM-сравнение скриншотов. Затем берём правильные действия из успешных траекторий и дистиллируем их прямо в контекст неудачных. Никаких внешних моделей — только сравнение внутри группы.
Результат: 4B модель достигает 81% на AndroidWorld, обходя все базовые методы и человеческий уровень.
https://arxiv.org/abs/2603.24533
Обычно неудачные попытки агента управлять телефоном просто выбрасываются. UI-Voyager решает это иначе.
Два этапа обучения:
1. Rejection Fine-Tuning — агент сам генерирует траектории, фильтрует успешные и учится на них итеративно, без ручной разметки.
2. Group Relative Self-Distillation (GRSD) — ключевая идея: находим "точки развилки" (fork points) между успешными и провальными траекториями через SSIM-сравнение скриншотов. Затем берём правильные действия из успешных траекторий и дистиллируем их прямо в контекст неудачных. Никаких внешних моделей — только сравнение внутри группы.
Результат: 4B модель достигает 81% на AndroidWorld, обходя все базовые методы и человеческий уровень.
https://arxiv.org/abs/2603.24533
Voxtral TTS от Mistral: гибридная архитектура против ElevenLabs (by Mistral AI)
Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.
Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.
Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.
Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.
https://arxiv.org/abs/2603.25551
Mistral выпустили свою TTS-систему Voxtral, и она бьёт ElevenLabs v3 по схожести голоса. Ключевая идея — гибридная архитектура: не нужно моделировать всё авторегрессивно.
Как работает: кастомный кодек Voxtral Codec разделяет речь на два потока — семантические токены (смысл, структура) и акустические токены (тембр, нюансы). Трансформер авторегрессивно генерирует только семантику, а для акустики используется flow-matching модель. Это быстрее и качественнее чем делать всё авторегрессивно.
Бонус: семантические токены обучаются через дистилляцию из Whisper — не из самосупервайзинга, а из настоящего ASR. Это даёт более "текстово-выровненные" представления.
Ещё адаптировали DPO под гибридный дискретно-непрерывный сеттинг. Поддержка 9 языков, войс-промпт от 3 секунд. Win rate 68.4% против ElevenLabs Flash v2.5 в человеческой оценке.
https://arxiv.org/abs/2603.25551