Сумит Чинтала (один из создателей PyTorch) отметил выход Qwen 3.5 — новой модели от китайской команды Alibaba. По его словам, модель огонь, и теперь она доступна на Hugging Face.
Qwen продолжает удивлять сообщество: каждая новая версия заметно поднимает планку среди открытых моделей и всё сильнее конкурирует с западными аналогами.
https://x.com/soumithchintala/status/2030048163239727507
Qwen продолжает удивлять сообщество: каждая новая версия заметно поднимает планку среди открытых моделей и всё сильнее конкурирует с западными аналогами.
https://x.com/soumithchintala/status/2030048163239727507
X (formerly Twitter)
Soumith Chintala (@soumithchintala) on X
Qwen 3.5 is🔥, and now it's available on 🚀!
BandPO: умный клиппинг для RL в LLM
Стандартный PPO-клиппинг в GRPO тихо убивает исследование пространства действий. Проблема: граница клиппинга линейно зависит от старой вероятности токена. Для редких токенов с высоким advantage — маржа на рост почти нулевая, градиент глушится, модель не учится новым стратегиям.
BandPO решает это элегантно: вместо фиксированных границ ε вводится оператор Band, который проецирует доверительную область (через f-дивергенции: KL, TV, χ²) в динамические вероятностно-зависимые границы клиппинга. Один интерпретируемый параметр δ вместо кучи ε.
Ключевой эффект: для низковероятных токенов граница расширяется адаптивно — модель может их усилить, если они действительно полезны. Энтропия не схлопывается.
Результат: стабильный прирост на math-бенчмарках для Qwen2.5 (3B, 7B) и Llama3 (8B) поверх GRPO и Clip-Higher.
https://arxiv.org/abs/2603.04918
Стандартный PPO-клиппинг в GRPO тихо убивает исследование пространства действий. Проблема: граница клиппинга линейно зависит от старой вероятности токена. Для редких токенов с высоким advantage — маржа на рост почти нулевая, градиент глушится, модель не учится новым стратегиям.
BandPO решает это элегантно: вместо фиксированных границ ε вводится оператор Band, который проецирует доверительную область (через f-дивергенции: KL, TV, χ²) в динамические вероятностно-зависимые границы клиппинга. Один интерпретируемый параметр δ вместо кучи ε.
Ключевой эффект: для низковероятных токенов граница расширяется адаптивно — модель может их усилить, если они действительно полезны. Энтропия не схлопывается.
Результат: стабильный прирост на math-бенчмарках для Qwen2.5 (3B, 7B) и Llama3 (8B) поверх GRPO и Clip-Higher.
https://arxiv.org/abs/2603.04918
Зачем учить визуальный энкодер с нуля, если можно взять LLM?
Большинство VLM-моделей используют CLIP/SigLIP как визуальный энкодер — но это архитектурное решение 2021 года, которое изначально не проектировалось под генеративные задачи. Авторы Penguin-VL предлагают радикальную идею: инициализировать визуальный энкодер прямо из весов текстового LLM (Qwen3-0.6B).
Логика простая: LLM уже содержит богатые семантические знания о мире. Зачем учить визуальные представления с нуля, если можно адаптировать то, что уже умеет понимать смысл? Для этого авторы заменяют causal attention на bidirectional и добавляют 2D-RoPE для работы с изображениями.
Дополнительно: специальный TRA (Temporal Redundancy-Aware) механизм сжимает токены видео, различая ключевые и промежуточные кадры.
Результат: Penguin-VL 2B бьёт InternVL-3.5-2B и Qwen3VL-2B на большинстве image/video бенчмарков.
https://arxiv.org/abs/2603.06569
Большинство VLM-моделей используют CLIP/SigLIP как визуальный энкодер — но это архитектурное решение 2021 года, которое изначально не проектировалось под генеративные задачи. Авторы Penguin-VL предлагают радикальную идею: инициализировать визуальный энкодер прямо из весов текстового LLM (Qwen3-0.6B).
Логика простая: LLM уже содержит богатые семантические знания о мире. Зачем учить визуальные представления с нуля, если можно адаптировать то, что уже умеет понимать смысл? Для этого авторы заменяют causal attention на bidirectional и добавляют 2D-RoPE для работы с изображениями.
Дополнительно: специальный TRA (Temporal Redundancy-Aware) механизм сжимает токены видео, различая ключевые и промежуточные кадры.
Результат: Penguin-VL 2B бьёт InternVL-3.5-2B и Qwen3VL-2B на большинстве image/video бенчмарков.
https://arxiv.org/abs/2603.06569
LMM vs CLIP: кто лучше классифицирует изображения?
Принято считать, что CLIP и подобные контрастивные модели бьют большие мультимодальные модели (LMM) в задачах классификации. Авторы задались вопросом: а вдруг LMM просто плохо «подготовлены» к задаче, а не слабее по природе?
Оказывается — да! Если дать LMM несколько примеров в контексте (In-Context Learning), их точность резко растёт. Например, Qwen-2-VL 7B с 16 примерами прибавляет +17.7% и начинает обгонять CLIP ViT-L/14.
Для сложного open-world сценария (когда классы заранее неизвестны) авторы предложили метод CIRCLE: модель итеративно уточняет псевдо-метки для unlabeled примеров, постепенно самокорректируясь и подбирая нужную гранулярность описания. Никакой разметки не нужно.
Вывод: LMM — вполне конкурентоспособные классификаторы, просто им нужен правильный контекст.
https://arxiv.org/abs/2602.23229
Принято считать, что CLIP и подобные контрастивные модели бьют большие мультимодальные модели (LMM) в задачах классификации. Авторы задались вопросом: а вдруг LMM просто плохо «подготовлены» к задаче, а не слабее по природе?
Оказывается — да! Если дать LMM несколько примеров в контексте (In-Context Learning), их точность резко растёт. Например, Qwen-2-VL 7B с 16 примерами прибавляет +17.7% и начинает обгонять CLIP ViT-L/14.
Для сложного open-world сценария (когда классы заранее неизвестны) авторы предложили метод CIRCLE: модель итеративно уточняет псевдо-метки для unlabeled примеров, постепенно самокорректируясь и подбирая нужную гранулярность описания. Никакой разметки не нужно.
Вывод: LMM — вполне конкурентоспособные классификаторы, просто им нужен правильный контекст.
https://arxiv.org/abs/2602.23229
Бенчмарки для LLM давно протухли — пора дать моделям право задавать вопросы самим
Большинство тестов для LLM устроены так: дай модели задачу, получи ответ, сравни с эталоном. Но реальный интеллект работает иначе — он активно собирает информацию, задаёт уточняющие вопросы и итеративно сужает пространство гипотез.
Авторы предлагают фреймворк Interactive Benchmarks с двумя режимами:
1. Interactive Proofs — модель задаёт вопросы судье (да/нет/оба/нерелевантно), чтобы угадать скрытый ответ (загадки-ситуации, математика). Без взаимодействия все модели — GPT-5, Gemini, DeepSeek и другие — дают 0% точности.
2. Interactive Games — модель максимизирует награду в стохастичной среде (покер, игра доверия).
Ключевая идея: тест должен проверять не только знания, но и стратегию сбора информации под бюджетным ограничением. Это гораздо ближе к тому, как интеллект работает в реальном мире.
https://arxiv.org/abs/2603.04737
Большинство тестов для LLM устроены так: дай модели задачу, получи ответ, сравни с эталоном. Но реальный интеллект работает иначе — он активно собирает информацию, задаёт уточняющие вопросы и итеративно сужает пространство гипотез.
Авторы предлагают фреймворк Interactive Benchmarks с двумя режимами:
1. Interactive Proofs — модель задаёт вопросы судье (да/нет/оба/нерелевантно), чтобы угадать скрытый ответ (загадки-ситуации, математика). Без взаимодействия все модели — GPT-5, Gemini, DeepSeek и другие — дают 0% точности.
2. Interactive Games — модель максимизирует награду в стохастичной среде (покер, игра доверия).
Ключевая идея: тест должен проверять не только знания, но и стратегию сбора информации под бюджетным ограничением. Это гораздо ближе к тому, как интеллект работает в реальном мире.
https://arxiv.org/abs/2603.04737
DreamWorld: видеогенерация, которая понимает физику мира
Современные видеомодели (Wan2.1, Sora и т.д.) умеют делать красивую картинку, но не понимают физику и пространство. Авторы из USTC предлагают DreamWorld — фреймворк, который "вшивает" в генерацию три типа знаний о мире одновременно: оптический поток (движение), DINOv2 (семантика) и VGGT (3D-геометрия).
Проблема: если просто обучать модель на всех трёх задачах сразу — градиенты конфликтуют, возникают артефакты и нестабильность. Решение — Consistent Constraint Annealing (CCA): влияние "физических" потерь постепенно затухает по мере обучения, давая модели сначала усвоить мировые знания, а потом сосредоточиться на качестве картинки.
На инференсе работает Multi-Source Inner-Guidance: модель использует свои же предсказания физических фич как направляющий сигнал — что-то вроде classifier-free guidance, но для законов реального мира.
Результат: заметный прирост на VBench 2.0 и VideoPhy по сравнению с VideoJAM и VideoREPA.
https://arxiv.org/abs/2603.00466
Современные видеомодели (Wan2.1, Sora и т.д.) умеют делать красивую картинку, но не понимают физику и пространство. Авторы из USTC предлагают DreamWorld — фреймворк, который "вшивает" в генерацию три типа знаний о мире одновременно: оптический поток (движение), DINOv2 (семантика) и VGGT (3D-геометрия).
Проблема: если просто обучать модель на всех трёх задачах сразу — градиенты конфликтуют, возникают артефакты и нестабильность. Решение — Consistent Constraint Annealing (CCA): влияние "физических" потерь постепенно затухает по мере обучения, давая модели сначала усвоить мировые знания, а потом сосредоточиться на качестве картинки.
На инференсе работает Multi-Source Inner-Guidance: модель использует свои же предсказания физических фич как направляющий сигнал — что-то вроде classifier-free guidance, но для законов реального мира.
Результат: заметный прирост на VBench 2.0 и VideoPhy по сравнению с VideoJAM и VideoREPA.
https://arxiv.org/abs/2603.00466
PyTorch выпустил KernelAgent — агентную систему для автоматической оптимизации GPU-ядер.
Раньше настройка Triton-ядер под конкретное железо занимала у инженеров дни и недели. KernelAgent автоматизирует этот процесс: система профилирует ядро через NVIDIA Nsight Compute, диагностирует узкие места, предлагает оптимизации и итерирует — всё в закрытом цикле из нескольких агентов.
Результаты впечатляют: на 100 задачах KernelBench L1 система показала ускорение 2.02x по сравнению с предыдущей версией и 1.56x относительно стандартного torch.compile. На H100 достигается 89% от теоретического максимума производительности железа.
Для разработчиков это означает меньше ручной работы при оптимизации инференса — важно для снижения стоимости обслуживания больших моделей. Код открыт на GitHub.
https://pytorch.org/blog/kernelagent-hardware-guided-gpu-kernel-optimization-via-multi-agent-orchestration/
Раньше настройка Triton-ядер под конкретное железо занимала у инженеров дни и недели. KernelAgent автоматизирует этот процесс: система профилирует ядро через NVIDIA Nsight Compute, диагностирует узкие места, предлагает оптимизации и итерирует — всё в закрытом цикле из нескольких агентов.
Результаты впечатляют: на 100 задачах KernelBench L1 система показала ускорение 2.02x по сравнению с предыдущей версией и 1.56x относительно стандартного torch.compile. На H100 достигается 89% от теоретического максимума производительности железа.
Для разработчиков это означает меньше ручной работы при оптимизации инференса — важно для снижения стоимости обслуживания больших моделей. Код открыт на GitHub.
https://pytorch.org/blog/kernelagent-hardware-guided-gpu-kernel-optimization-via-multi-agent-orchestration/
Андрей Карпати рассуждает о будущем автономных AI-исследований. По его мнению, следующий шаг — это не имитация одного аспиранта, а имитация целого научного сообщества.
Сейчас системы автоисследований работают синхронно — один поток мыслей, одна цепочка рассуждений. Карпати предлагает перейти к массово-параллельной асинхронной модели, как SETI@home — помните, когда миллионы компьютеров по всему миру совместно искали сигналы внеземных цивилизаций?
Идея в том, чтобы тысячи агентов одновременно исследовали разные гипотезы, делились результатами и строили знание коллективно — как настоящие учёные на конференциях и в препринтах.
Это принципиальный сдвиг: от "умного одиночки" к "умной толпе".
https://x.com/karpathy/status/2030705271627284816
Сейчас системы автоисследований работают синхронно — один поток мыслей, одна цепочка рассуждений. Карпати предлагает перейти к массово-параллельной асинхронной модели, как SETI@home — помните, когда миллионы компьютеров по всему миру совместно искали сигналы внеземных цивилизаций?
Идея в том, чтобы тысячи агентов одновременно исследовали разные гипотезы, делились результатами и строили знание коллективно — как настоящие учёные на конференциях и в препринтах.
Это принципиальный сдвиг: от "умного одиночки" к "умной толпе".
https://x.com/karpathy/status/2030705271627284816
X (formerly Twitter)
Andrej Karpathy (@karpathy) on X
The next step for autoresearch is that it has to be asynchronously massively collaborative for agents (think: SETI@home style). The goal is not to emulate a single PhD student, it's to emulate a research community of them.
Current code synchronously grows…
Current code synchronously grows…
Превратить обычное видео в полноценную 3D-карту сцены — без сенсоров и разметчиков
Главная боль пространственного AI — данные. ScanNet с его 50 классами и ручной разметкой не масштабируется. Авторы Holi-Spatial предлагают полностью автоматический конвейер: берём обычное видео, и на выходе получаем 3DGS-сцену с масками, 3D-боксами, описаниями объектов и QA-парами.
Пайплайн три шага: сначала Depth-Anything + 3D Gaussian Splatting строят геометрию, потом VLM + SAM3 режут сцену на объекты в 2D, потом всё это поднимается в 3D, фильтруется и подписывается агентом.
Результат — датасет Holi-Spatial-4M: 12K сцен, 1.2M масок, 1.3M QA-пар. Файнтюн Qwen3-VL на этих данных даёт +15% AP50 на ScanNet++ и +7.9% на MMSI-Bench. А аннотации оказались точнее официальных меток ScanNet.
https://arxiv.org/abs/2603.07660
Главная боль пространственного AI — данные. ScanNet с его 50 классами и ручной разметкой не масштабируется. Авторы Holi-Spatial предлагают полностью автоматический конвейер: берём обычное видео, и на выходе получаем 3DGS-сцену с масками, 3D-боксами, описаниями объектов и QA-парами.
Пайплайн три шага: сначала Depth-Anything + 3D Gaussian Splatting строят геометрию, потом VLM + SAM3 режут сцену на объекты в 2D, потом всё это поднимается в 3D, фильтруется и подписывается агентом.
Результат — датасет Holi-Spatial-4M: 12K сцен, 1.2M масок, 1.3M QA-пар. Файнтюн Qwen3-VL на этих данных даёт +15% AP50 на ScanNet++ и +7.9% на MMSI-Bench. А аннотации оказались точнее официальных меток ScanNet.
https://arxiv.org/abs/2603.07660
LoGeR: 3D-реконструкция на 19к кадров без SLAM (by DeepMind)
Современные feedforward-модели для 3D-реконструкции упираются в "стену контекста": квадратичная сложность attention не позволяет обрабатывать длинные последовательности. SLAM справляется, но требует дорогого backend-оптимизатора.
LoGeR решает это через гибридную память из двух компонентов:
1. Sliding Window Attention — хранит последние чанки без потерь для точного локального выравнивания
2. Test-Time Training (TTT) — сжимает глобальный контекст в fast-weight матрицу для предотвращения дрейфа масштаба
Модель обучается на последовательностях из 128 кадров, а на инференсе обобщается до 19к кадров и траекторий длиной 11.5 км. На KITTI ошибка ATE снизилась с 72.86 до 18.65, на VBR benchmark — улучшение на 30.8% относительно SOTA.
Итог: линейная сложность по длине последовательности, лossless локальный контекст и глобальная согласованность одновременно.
https://arxiv.org/abs/2603.03269
Современные feedforward-модели для 3D-реконструкции упираются в "стену контекста": квадратичная сложность attention не позволяет обрабатывать длинные последовательности. SLAM справляется, но требует дорогого backend-оптимизатора.
LoGeR решает это через гибридную память из двух компонентов:
1. Sliding Window Attention — хранит последние чанки без потерь для точного локального выравнивания
2. Test-Time Training (TTT) — сжимает глобальный контекст в fast-weight матрицу для предотвращения дрейфа масштаба
Модель обучается на последовательностях из 128 кадров, а на инференсе обобщается до 19к кадров и траекторий длиной 11.5 км. На KITTI ошибка ATE снизилась с 72.86 до 18.65, на VBR benchmark — улучшение на 30.8% относительно SOTA.
Итог: линейная сложность по длине последовательности, лossless локальный контекст и глобальная согласованность одновременно.
https://arxiv.org/abs/2603.03269
Доверяй своей модели: как распределение уверенности улучшает выбор ответа
Когда LLM генерирует несколько рассуждений для одного вопроса, как выбрать лучший? Обычно — голосованием или внешней reward-моделью. Авторы предлагают DistriVoting: смотреть на распределение внутренней уверенности модели как на смесь двух гауссиан (правильные vs неправильные ответы) и фильтровать кандидатов в два шага.
Сначала GMM разделяет траектории на «позитивные» (высокая уверенность) и «негативные». Затем Reject Filter использует негативные ответы, чтобы выкинуть ложноположительные из пула голосования.
Дополнительно SelfStepConf мониторит уверенность пошагово прямо во время генерации — если она резко падает, принудительно вставляет токены рефлексии. Это раздвигает распределения правильных и неправильных ответов дальше друг от друга, что теоретически доказуемо улучшает точность голосования.
Проверено на DeepSeek и Qwen3 на AIME, GPQA-D и других бенчмарках — стабильный прирост без внешних моделей.
Когда LLM генерирует несколько рассуждений для одного вопроса, как выбрать лучший? Обычно — голосованием или внешней reward-моделью. Авторы предлагают DistriVoting: смотреть на распределение внутренней уверенности модели как на смесь двух гауссиан (правильные vs неправильные ответы) и фильтровать кандидатов в два шага.
Сначала GMM разделяет траектории на «позитивные» (высокая уверенность) и «негативные». Затем Reject Filter использует негативные ответы, чтобы выкинуть ложноположительные из пула голосования.
Дополнительно SelfStepConf мониторит уверенность пошагово прямо во время генерации — если она резко падает, принудительно вставляет токены рефлексии. Это раздвигает распределения правильных и неправильных ответов дальше друг от друга, что теоретически доказуемо улучшает точность голосования.
Проверено на DeepSeek и Qwen3 на AIME, GPQA-D и других бенчмарках — стабильный прирост без внешних моделей.
Планирование за 8 токенов: как сжать мир до 128 бит
Современные world models для планирования в RL страдают от одной проблемы: им нужны сотни токенов на кадр, а значит планирование занимает минуты. Авторы задались вопросом: а что если сжать изображение до предела — всего 8 токенов (128 бит)?
Так появился CompACT. Ключевые идеи:
1. Вместо обычного энкодера — frozen pretrained vision model (типа DINO), из которой через cross-attention извлекаются только семантически важные фичи.
2. Дискретное латентное пространство — предсказание будущего состояния делается через masked generative modeling (как MaskGIT), без диффузии.
3. Декодер не пытается восстановить пиксели напрямую из 8 токенов — он генерирует их условно, используя компактные токены как подсказку.
Результат: world model на навигации достигает точности модели с 784 токенами, но в 40 раз быстрее. А 8-токенная модель вообще обходит конкурента с 64 токенами!
https://arxiv.org/abs/2603.05438
Современные world models для планирования в RL страдают от одной проблемы: им нужны сотни токенов на кадр, а значит планирование занимает минуты. Авторы задались вопросом: а что если сжать изображение до предела — всего 8 токенов (128 бит)?
Так появился CompACT. Ключевые идеи:
1. Вместо обычного энкодера — frozen pretrained vision model (типа DINO), из которой через cross-attention извлекаются только семантически важные фичи.
2. Дискретное латентное пространство — предсказание будущего состояния делается через masked generative modeling (как MaskGIT), без диффузии.
3. Декодер не пытается восстановить пиксели напрямую из 8 токенов — он генерирует их условно, используя компактные токены как подсказку.
Результат: world model на навигации достигает точности модели с 784 токенами, но в 40 раз быстрее. А 8-токенная модель вообще обходит конкурента с 64 токенами!
https://arxiv.org/abs/2603.05438
WildActor: как заставить видеомодель не "забывать" лицо актёра при смене ракурса
Классическая проблема генерации видео с конкретным персонажем: стоит сменить угол камеры — и лицо "поплыло", одежда изменилась, а тело живёт своей жизнью. Авторы атакуют эту проблему сразу с двух сторон.
Во-первых, они собрали Actor-18M — 1.6M видео и 18M референсных изображений одних и тех же людей с разных ракурсов, в разных окружениях и позах. Часть данных сгенерирована: для каждого субъекта синтезируют вид спереди, сзади, сбоку и т.д.
Во-вторых, предложили WildActor с двумя ключевыми идеями: асимметричный attention (видео-токены смотрят на референс, но не наоборот — чтобы не "загрязнять" backbone), и Viewpoint-Adaptive Monte Carlo Sampling — выбор референсных изображений с максимальным разнообразием ракурсов.
Результат: стабильная идентичность персонажа при смене сцен, ракурсов и движений.
https://arxiv.org/abs/2603.00586
Классическая проблема генерации видео с конкретным персонажем: стоит сменить угол камеры — и лицо "поплыло", одежда изменилась, а тело живёт своей жизнью. Авторы атакуют эту проблему сразу с двух сторон.
Во-первых, они собрали Actor-18M — 1.6M видео и 18M референсных изображений одних и тех же людей с разных ракурсов, в разных окружениях и позах. Часть данных сгенерирована: для каждого субъекта синтезируют вид спереди, сзади, сбоку и т.д.
Во-вторых, предложили WildActor с двумя ключевыми идеями: асимметричный attention (видео-токены смотрят на референс, но не наоборот — чтобы не "загрязнять" backbone), и Viewpoint-Adaptive Monte Carlo Sampling — выбор референсных изображений с максимальным разнообразием ракурсов.
Результат: стабильная идентичность персонажа при смене сцен, ракурсов и движений.
https://arxiv.org/abs/2603.00586
Nvidia Tech выпустила CUDA 13.2 — масштабное обновление для разработчиков GPU-приложений.
Главное: CUDA Tile теперь полноценно работает на архитектурах Ampere, Ada и Blackwell. Python-библиотека cuTile получила поддержку рекурсивных функций, замыканий, кастомных редукций и улучшенной работы с массивами. Установка теперь одной командой через pip.
Из важного для разработчиков: новые API cudaMemcpyWithAttributesAsync упрощают гибкое управление памятью, на Windows в режиме WDDM значительно снизился расход локальной памяти GPU, а дефолтный режим драйвера сменился с TCC на MCDM — это открывает поддержку WSL2, контейнеров и продвинутого управления памятью.
Для математических вычислений: экспериментальная поддержка Grouped GEMM с MXFP8 в cuBLAS для Blackwell, ускоренные FP64-эмулированные операции QR, LU и Cholesky на INT8-платформах.
Инструменты: NVIDIA Nsight Python для профилирования прямо из Python, отладка Numba-ядер, AI-ассистент Nsight Copilot для написания CUDA-кода.
https://developer.nvidia.com/blog/cuda-13-2-introduces-enhanced-cuda-tile-support-and-new-python-features/
Главное: CUDA Tile теперь полноценно работает на архитектурах Ampere, Ada и Blackwell. Python-библиотека cuTile получила поддержку рекурсивных функций, замыканий, кастомных редукций и улучшенной работы с массивами. Установка теперь одной командой через pip.
Из важного для разработчиков: новые API cudaMemcpyWithAttributesAsync упрощают гибкое управление памятью, на Windows в режиме WDDM значительно снизился расход локальной памяти GPU, а дефолтный режим драйвера сменился с TCC на MCDM — это открывает поддержку WSL2, контейнеров и продвинутого управления памятью.
Для математических вычислений: экспериментальная поддержка Grouped GEMM с MXFP8 в cuBLAS для Blackwell, ускоренные FP64-эмулированные операции QR, LU и Cholesky на INT8-платформах.
Инструменты: NVIDIA Nsight Python для профилирования прямо из Python, отладка Numba-ядер, AI-ассистент Nsight Copilot для написания CUDA-кода.
https://developer.nvidia.com/blog/cuda-13-2-introduces-enhanced-cuda-tile-support-and-new-python-features/
NVIDIA Technical Blog
CUDA 13.2 Introduces Enhanced CUDA Tile Support and New Python Features
CUDA 13.2 arrives with a major update: NVIDIA CUDA Tile is now supported on devices of compute capability 8.X architectures (NVIDIA Ampere and NVIDIA Ada), as well as 10.X, 11.X and 12.
Nvidia Tech — интеграция гибридной архитектуры Falcon-H1 в Megatron Core
Technology Innovation Institute (TII) внедрили архитектуру Falcon-H1 в NVIDIA Megatron Core. Главная особенность — параллельная работа Transformer-внимания и Mamba-2 SSM внутри каждого блока: оба компонента обрабатывают входные данные одновременно, а не последовательно. Это ускоряет работу и улучшает обработку длинных контекстов.
Дополнительно: интеграция BitNet позволяет обучать модели с троичными (1.58-бит) весами, что снижает потребление памяти и пропускной способности без потери производительности.
Для разработчиков это означает возможность гибко настраивать соотношение слоёв (Mamba, Attention, MLP) и масштабировать модели от 0.5B до 34B параметров. Вклад открыт в репозитории Megatron-LM на GitHub.
https://developer.nvidia.com/blog/implementing-falcon-h1-hybrid-architecture-in-nvidia-megatron-core/
Technology Innovation Institute (TII) внедрили архитектуру Falcon-H1 в NVIDIA Megatron Core. Главная особенность — параллельная работа Transformer-внимания и Mamba-2 SSM внутри каждого блока: оба компонента обрабатывают входные данные одновременно, а не последовательно. Это ускоряет работу и улучшает обработку длинных контекстов.
Дополнительно: интеграция BitNet позволяет обучать модели с троичными (1.58-бит) весами, что снижает потребление памяти и пропускной способности без потери производительности.
Для разработчиков это означает возможность гибко настраивать соотношение слоёв (Mamba, Attention, MLP) и масштабировать модели от 0.5B до 34B параметров. Вклад открыт в репозитории Megatron-LM на GitHub.
https://developer.nvidia.com/blog/implementing-falcon-h1-hybrid-architecture-in-nvidia-megatron-core/
NVIDIA Technical Blog
Implementing Falcon-H1 Hybrid Architecture in NVIDIA Megatron Core
In the rapidly evolving landscape of large language model (LLM) development, NVIDIA Megatron Core has emerged as the foundational framework for training massive transformer models at scale.
Nvidia выпустила NIXL — открытую библиотеку для ускорения передачи данных в распределённых AI-системах.
Суть: когда большая языковая модель работает на десятках GPU одновременно, между ними постоянно гоняются огромные объёмы данных — кэши, веса, промежуточные результаты. NIXL делает этот процесс быстрее и проще.
Что важно: библиотека поддерживает RDMA, GPU-Direct Storage, облачные хранилища (S3, Azure Blob) и работает на оборудовании AWS, Azure и скоро Google Cloud. Уже интегрирована с vLLM, TensorRT-LLM, SGLang и другими фреймворками.
Главная фишка — динамичность: система умеет добавлять и убирать GPU-узлы на ходу, переживать сбои без остановки сервиса и автоматически перераспределять нагрузку. Это критично для продакшн-сервисов, работающих круглосуточно.
Для разработчиков AI-инфраструктуры — полезный инструмент, снимающий головную боль с низкоуровневой оптимизацией передачи данных.
https://developer.nvidia.com/blog/enhancing-distributed-inference-performance-with-the-nvidia-inference-transfer-library/
Суть: когда большая языковая модель работает на десятках GPU одновременно, между ними постоянно гоняются огромные объёмы данных — кэши, веса, промежуточные результаты. NIXL делает этот процесс быстрее и проще.
Что важно: библиотека поддерживает RDMA, GPU-Direct Storage, облачные хранилища (S3, Azure Blob) и работает на оборудовании AWS, Azure и скоро Google Cloud. Уже интегрирована с vLLM, TensorRT-LLM, SGLang и другими фреймворками.
Главная фишка — динамичность: система умеет добавлять и убирать GPU-узлы на ходу, переживать сбои без остановки сервиса и автоматически перераспределять нагрузку. Это критично для продакшн-сервисов, работающих круглосуточно.
Для разработчиков AI-инфраструктуры — полезный инструмент, снимающий головную боль с низкоуровневой оптимизацией передачи данных.
https://developer.nvidia.com/blog/enhancing-distributed-inference-performance-with-the-nvidia-inference-transfer-library/
NVIDIA Technical Blog
Enhancing Distributed Inference Performance with the NVIDIA Inference Transfer Library
Deploying large language models (LLMs) requires large-scale distributed inference, which spreads model computation and request handling across many GPUs and nodes to scale to more users while reducing…
Андрей Карпати намекнул, что стоило бы сразу поделиться ссылкой на его проект AutoResearch — штуку, которую он придумал для автоматизации исследований с помощью ИИ-агентов.
Важный момент: это не готовый инструмент, который можно просто запустить. Это скорее рецепт или идея — берёшь её, передаёшь своему агенту и адаптируешь под свою задачу. Что-то вроде шаблона мышления для ИИ, который помогает ему самостоятельно копаться в теме и делать выводы.
На выходных твит об этом завирусился — видимо, идея зацепила многих разработчиков и исследователей. Карпати явно доволен реакцией, хоть и с лёгкой самоиронией признаёт, что мог бы сразу дать все нужные ссылки.
https://x.com/karpathy/status/2031137476438548874
Важный момент: это не готовый инструмент, который можно просто запустить. Это скорее рецепт или идея — берёшь её, передаёшь своему агенту и адаптируешь под свою задачу. Что-то вроде шаблона мышления для ИИ, который помогает ему самостоятельно копаться в теме и делать выводы.
На выходных твит об этом завирусился — видимо, идея зацепила многих разработчиков и исследователей. Карпати явно доволен реакцией, хоть и с лёгкой самоиронией признаёт, что мог бы сразу дать все нужные ссылки.
https://x.com/karpathy/status/2031137476438548874
X (formerly Twitter)
Andrej Karpathy (@karpathy) on X
oh yeah i should have linked autoresearch probably
https://t.co/MhdH7YF1PP
(you don't "use it" directly, it's just a recipe/idea - give it to your agent and apply to what you care about.)
and the tweet about it that went mini-viral over the weekend with…
https://t.co/MhdH7YF1PP
(you don't "use it" directly, it's just a recipe/idea - give it to your agent and apply to what you care about.)
and the tweet about it that went mini-viral over the weekend with…
Карпати поделился впечатляющим результатом авторесёрча — системы, которая сама ищет улучшения в нейросетях.
Он запустил её на небольшой модели (12 слоёв) и ушёл на два дня. Система нашла около 20 изменений, которые снизили validation loss. Когда Карпати проверил результаты, оказалось, что все улучшения складываются друг с другом и переносятся на более крупную модель (24 слоя).
Это важно: часто трюки, работающие на маленьких моделях, ломаются при масштабировании. Здесь — нет. По сути, ИИ сам улучшает ИИ, и результат реально работает.
https://x.com/karpathy/status/2031135152349524125
Он запустил её на небольшой модели (12 слоёв) и ушёл на два дня. Система нашла около 20 изменений, которые снизили validation loss. Когда Карпати проверил результаты, оказалось, что все улучшения складываются друг с другом и переносятся на более крупную модель (24 слоя).
Это важно: часто трюки, работающие на маленьких моделях, ломаются при масштабировании. Здесь — нет. По сути, ИИ сам улучшает ИИ, и результат реально работает.
https://x.com/karpathy/status/2031135152349524125
X (formerly Twitter)
Andrej Karpathy (@karpathy) on X
Three days ago I left autoresearch tuning nanochat for ~2 days on depth=12 model. It found ~20 changes that improved the validation loss. I tested these changes yesterday and all of them were additive and transferred to larger (depth=24) models. Stacking…
❤🔥1
AutoResearch-RL: ИИ сам себе исследователь (by Anthropic)
Что если LLM-агент сам читает train.py, вносит правки, запускает обучение и учится на результатах — бесконечно? Именно это делает AutoResearch-RL.
Идея: формализовать "петлю автоисследования" как MDP. Агент на базе трансформера с PPO предлагает диффы к коду, запускает обучение на 5 минут, получает награду в виде улучшения val-bpb и обновляет политику. История экспериментов — рабочая память агента (скользящее окно из 32 запусков).
Ключевая фишка — модуль самооценки: каждые 30 секунд он фитит степенной закон на кривую лосса и предсказывает финальный bpb. Если прогноз плохой — обучение прерывается досрочно. Это даёт 2.4× больше экспериментов за то же время.
Теоретически доказана монотонная сходимость: лучший bpb — супермартингал, то есть гарантированно не ухудшается.
Результат: на одной GPU за ночь агент выходит на уровень hand-tuned SoTA по val-bpb на nanochat.
https://arxiv.org/abs/2603.07300
Что если LLM-агент сам читает train.py, вносит правки, запускает обучение и учится на результатах — бесконечно? Именно это делает AutoResearch-RL.
Идея: формализовать "петлю автоисследования" как MDP. Агент на базе трансформера с PPO предлагает диффы к коду, запускает обучение на 5 минут, получает награду в виде улучшения val-bpb и обновляет политику. История экспериментов — рабочая память агента (скользящее окно из 32 запусков).
Ключевая фишка — модуль самооценки: каждые 30 секунд он фитит степенной закон на кривую лосса и предсказывает финальный bpb. Если прогноз плохой — обучение прерывается досрочно. Это даёт 2.4× больше экспериментов за то же время.
Теоретически доказана монотонная сходимость: лучший bpb — супермартингал, то есть гарантированно не ухудшается.
Результат: на одной GPU за ночь агент выходит на уровень hand-tuned SoTA по val-bpb на nanochat.
https://arxiv.org/abs/2603.07300
LLMs теряются в длинных историях — и теперь это можно измерить
Попросите любой LLM написать рассказ на 8–10 тысяч слов, и он неизбежно начнёт противоречить сам себе: персонаж был пятилетним, а через страницу стал подростком. Авторы собрали бенчмарк ConStory-Bench (2000 промптов) и пайплайн ConStory-Checker для автоматического поиска таких багов.
Таксономия включает 5 категорий и 19 подтипов ошибок: противоречия во временной логике, в характере персонажей, в правилах мира, в фактах и в стиле повествования. Пайплайн работает в 4 этапа: извлечение подозрительных фрагментов → попарное сравнение → построение цепочки доказательств с цитатами → JSON-отчёт.
Протестировали модели от OpenAI, Google, Anthropic, xAI, Qwen, DeepSeek и агентные системы. Спойлер: чем длиннее текст, тем больше ошибок у всех.
https://arxiv.org/abs/2603.05890
Попросите любой LLM написать рассказ на 8–10 тысяч слов, и он неизбежно начнёт противоречить сам себе: персонаж был пятилетним, а через страницу стал подростком. Авторы собрали бенчмарк ConStory-Bench (2000 промптов) и пайплайн ConStory-Checker для автоматического поиска таких багов.
Таксономия включает 5 категорий и 19 подтипов ошибок: противоречия во временной логике, в характере персонажей, в правилах мира, в фактах и в стиле повествования. Пайплайн работает в 4 этапа: извлечение подозрительных фрагментов → попарное сравнение → построение цепочки доказательств с цитатами → JSON-отчёт.
Протестировали модели от OpenAI, Google, Anthropic, xAI, Qwen, DeepSeek и агентные системы. Спойлер: чем длиннее текст, тем больше ошибок у всех.
https://arxiv.org/abs/2603.05890
👍1
RL для 3D-редактирования сцен без парных данных (by AMAP-ML)
Главная боль 3D-редактирования: нужна мультивью-консистентность, но собрать парные данные почти нереально. Авторы решили это через RL — как в LLM, только вместо "правильного ответа" используют 3D-верификатор.
Идея: берём мощный 2D-редактор FLUX-Kontext, умеющий совместно редактировать несколько изображений, и дообучаем его через GRPO. Reward считает замороженная 3D-модель VGGT — она оценивает геометрическую консистентность по картам уверенности и предсказаниям камерных поз. Никаких парных 3D-данных не нужно!
Результат: метод RL3DEdit обучается на 5% данных по сравнению с конкурентами, работает за один проход (в 2х быстрее), справляется с геометрическими изменениями ("надень капюшон", "поклонись") и сохраняет качество 2D-редактирования.
По сути — это SDS, но вместо диффузионной модели как оракула качества используется 3D foundation model как оракул консистентности.
https://arxiv.org/abs/2603.03143
Главная боль 3D-редактирования: нужна мультивью-консистентность, но собрать парные данные почти нереально. Авторы решили это через RL — как в LLM, только вместо "правильного ответа" используют 3D-верификатор.
Идея: берём мощный 2D-редактор FLUX-Kontext, умеющий совместно редактировать несколько изображений, и дообучаем его через GRPO. Reward считает замороженная 3D-модель VGGT — она оценивает геометрическую консистентность по картам уверенности и предсказаниям камерных поз. Никаких парных 3D-данных не нужно!
Результат: метод RL3DEdit обучается на 5% данных по сравнению с конкурентами, работает за один проход (в 2х быстрее), справляется с геометрическими изменениями ("надень капюшон", "поклонись") и сохраняет качество 2D-редактирования.
По сути — это SDS, но вместо диффузионной модели как оракула качества используется 3D foundation model как оракул консистентности.
https://arxiv.org/abs/2603.03143