Модели уверены даже когда ошибаются — и виновато дистилляция (by Salesforce AI Research)

Все топовые LLM — GPT, Claude, Gemini, DeepSeek — страдают от одной болезни: они систематически переоценивают свою уверенность. Авторы называют это «Законом масштабирования неправильной калибровки»: чем мощнее модель, тем увереннее она ошибается.

Виновник — On-Policy Distillation (OPD). Учитель обучается с привилегированным контекстом (правильным ответом), поэтому генерирует почти детерминированные траектории с уверенностью ~1.0. Студент вынужден имитировать эту уверенность — но без доступа к подсказкам. Результат: искусственно заострённые логиты и слепой оптимизм.

Решение — CaOPD: разделить «что отвечать» и «насколько быть уверенным». Траектории берутся от учителя, а confidence-токен заменяется на реальный эмпирический success rate студента по нескольким роллаутам. Итог: компактная 8B модель бьёт фронтирные API по калибровке, не теряя точности.

https://arxiv.org/abs/2604.16830

Nvidia Tech — оптимизация памяти для запуска больших AI-моделей на Jetson

Nvidia опубликовала техническое руководство по максимально эффективному использованию памяти на платформе Jetson — для запуска многомиллиардных языковых моделей прямо на периферийных устройствах: роботах, автономных агентах и промышленных системах.

Главная проблема: на edge-устройствах CPU и GPU делят ограниченную память, и любая неэффективность ведёт к задержкам или сбоям.

Что предлагают инженеры Nvidia:
— Отключить графический рабочий стол — экономия до 865 МБ
— Деактивировать неиспользуемые сервисы сети и журналирования — до 32 МБ
— Освободить зарезервированные carveout-регионы (дисплей, камера) — ещё до 101 МБ

Это важно для разработчиков, которые хотят запускать LLM, многокамерные системы и сенсорный фьюжн на бюджетном железе без апгрейда. Меньше памяти — меньше стоимость системы, лучше КПД на ватт.

https://developer.nvidia.com/blog/maximizing-memory-efficiency-to-run-bigger-models-on-nvidia-jetson/

Apple ML опубликовала исследование на конференции EACL: учёные проверили, насколько хорошо большие языковые модели реально понимают контекст.

Для этого создали специальный бенчмарк из четырёх задач и девяти датасетов. Результаты оказались показательными: предобученные модели плохо справляются с тонкими контекстными нюансами по сравнению с дообученными аналогами. Отдельно проверили квантизированные модели — сжатие до 3 бит заметно ухудшает понимание контекста.

Почему это важно: контекст — основа человеческого языка. Если модель его не улавливает, она ошибается в диалогах, неверно интерпретирует запросы и теряет смысл. Для Apple, которая встраивает AI в Siri и другие продукты, это критично. Исследование помогает понять, где именно модели проседают — и как это исправить при оптимизации под мобильные устройства.

https://machinelearning.apple.com/research/llm-context-understanding

OpenAI показали улучшенную генерацию изображений в ChatGPT — теперь модель гораздо точнее следует инструкциям пользователя. Демонстрацию подготовил разработчик Jianfeng Wang.

Судя по всему, новая версия значительно лучше понимает детальные текстовые описания и воспроизводит именно то, что просит пользователь — без лишних "творческих интерпретаций" со стороны ИИ. Это одна из главных болей при работе с генераторами изображений: модель делает что-то похожее, но не то.

https://x.com/OpenAI/status/2046691648604905588

OpenAI рассказали, почему их новая модель генерации изображений ChatGPT Images 2.0 считается лучшей в своём классе.

Исследователи, работавшие над моделью, объяснили, что отличает её от конкурентов — она умеет не просто рисовать по запросу, а по-настоящему «думать» перед генерацией. Модель анализирует задачу, понимает контекст и выстраивает логику изображения, прежде чем его создать.

Это принципиально новый подход: вместо того чтобы сразу выдавать картинку, система проходит через этап рассуждения — почти как o-модели в текстовых задачах. Именно это позволяет лучше справляться со сложными сценами, текстом на изображениях и точным следованием инструкциям.

Демонстрацию возможностей подготовил исследователь Аян Жак.

https://x.com/OpenAI/status/2046691647036227700

OpenAI анонсировали ChatGPT Images 2.0 — первую модель генерации изображений с функцией «мышления». Когда включён режим thinking, модель умеет искать актуальную информацию в интернете, создавать несколько разных картинок по одному запросу и самостоятельно проверять свои результаты. По сути, это уже не просто генератор картинок, а полноценный визуальный ассистент, который думает перед тем, как рисовать. Интересный шаг — раньше «рассуждения» были прерогативой текстовых моделей, теперь эту логику переносят и на изображения.

https://x.com/OpenAI/status/2046670989719924768

Google DeepMind анонсировал Deep Research и Deep Research Max — новые автономные исследовательские агенты на базе Gemini 2.5 Pro.

Они умеют самостоятельно шарить по интернету и по вашим собственным данным — внутренним документам, финансовой аналитике и прочему — и выдавать профессиональные отчёты с полными ссылками на источники.

Грубо говоря, это такой умный помощник-аналитик, которому можно скинуть задачу и получить готовый структурированный документ, а не просто набор ссылок. Особенно интересно, что агенты работают и с закрытыми корпоративными данными — это явный прицел на бизнес-аудиторию.

https://x.com/GoogleDeepMind/status/2046627042335060342

Cohere поделились материалом о том, как выжать больше из спекулятивного декодирования в моделях типа MoE (Mixture of Experts).

Если коротко: спекулятивное декодирование — это техника ускорения работы больших языковых моделей. Маленькая модель быстро предлагает варианты токенов, а большая их проверяет и принимает или отклоняет. В итоге скорость генерации растет без потери качества.

В MoE-моделях это работает особенно интересно: часть экспертов простаивает при обычной генерации, и спекулятивное декодирование позволяет использовать эти ресурсы эффективнее. Cohere, судя по всему, нашли способ адаптировать этот подход специально под архитектуру MoE и получить дополнительный прирост производительности.

Тема техническая, но важная — именно такие оптимизации делают мощные модели быстрее и дешевле в использовании.

https://x.com/cohere/status/2046755038417359221

Cohere поделились неожиданным открытием: оказывается, архитектура MoE (Mixture of Experts, когда модель использует только часть своих "экспертных" блоков для каждого токена) делает спекулятивное декодирование ещё эффективнее, а не хуже, как можно было бы предположить.

Спекулятивное декодирование — это техника ускорения генерации текста: маленькая модель предсказывает несколько токенов вперёд, а большая их проверяет. Обычно считалось, что сложные архитектуры вроде MoE могут мешать этому процессу. Но нет — всё наоборот.

https://x.com/cohere/status/2046742203758694510

Один диффузионный LLM для понимания и генерации картинок (by inclusionAI)

Обычно задачи понимания изображений и их генерации решают разные модели. Авторы предлагают LLaDA2.0-Uni — единую систему на основе диффузионного LLM, которая делает и то, и другое.

Ключевая идея: вместо стандартных VQ-VAE токенайзеров, которые хороши для реконструкции пикселей, но теряют семантику, используется SigLIP-VQ — токенайзер, обученный на задачах понимания. Он переводит картинки в дискретные семантические токены, совместимые с текстовыми.

Архитектура: 16B MoE диффузионный LLM (LLaDA2.0) обрабатывает текст и изображения единым masked diffusion objective, а отдельный диффузионный декодер (6B, дистиллированный до 8 шагов) восстанавливает картинку из семантических токенов.

Бонус: block-wise attention вместо полного bidirectional — это помогает стабильности обучения. Модель поддерживает interleaved генерацию и рассуждения. Результаты конкурентны с Qwen2.5-VL на понимании и топовыми unified-моделями на генерации.

Почему слияние нейросетей работает — теперь есть ответ

Task Arithmetic — это когда берёшь веса двух файнтюненных моделей, складываешь разности с базовой моделью, и получаешь модель, умеющую оба навыка сразу. Работает магически, но почему — никто толком не объяснял.

Авторы вводят понятие Task-Feature Specialization (TFS): если разные задачи активируют разные внутренние признаки модели, то их задачные векторы становятся ортогональными — и не мешают друг другу при сложении.

На основе этого они предлагают OrthoReg — регуляризатор, который при файнтюнинге принудительно делает обновления весов ортогональными. Это напрямую снижает интерференцию между задачами при последующем слиянии моделей.

Связь с Tangent Task Arithmetic тоже объяснена: оба метода по сути добиваются одного — ортогональности между задачными векторами, просто разными путями.

https://arxiv.org/abs/2604.17078

Примерка одежды за 4 секунды — теперь коммерческая реальность (by Alibaba)

Виртуальная примерка одежды давно обещала революцию в e-commerce, но упиралась в три стены: медленно, нереалистично, работает только с одной вещью за раз. Alibaba выкатили Tstars-Tryon 1.0 и, кажется, пробили все три.

Ключевые решения: вместо классического inpainting — задача редактирования изображений на базе MMDiT архитектуры, которая одновременно обрабатывает несколько референсных изображений. Добавили CFG distillation + Step Distillation, урезали основную модель до 5B параметров.

Результат: одна вещь — 3.92 сек, пять вещей одновременно — 6.74 сек на H200. Для сравнения, топовые open-source модели (QwenEdit, Flux.2 dev) тратят ~200 секунд.

Поддерживает 8 категорий: топы, брюки, юбки, платья, обувь, сумки, шляпы, пальто. Работает даже на аниме-персонажах и статуях. Плюс собственный бенчмарк Tstars-VTON на 1780 сэмплах с реальными e-commerce сценариями.

https://arxiv.org/abs/2604.19748

Microsoft Research представила AutoAdapt — систему автоматической адаптации языковых моделей к конкретным доменам.

Суть простая: раньше чтобы «заточить» модель под медицину, юриспруденцию или финансы, нужна была ручная работа экспертов. AutoAdapt делает это автоматически — и для маленьких, и для больших моделей.

Главный результат — заметный прирост качества рассуждений в специализированных областях. Модель лучше понимает контекст домена и делает меньше ошибок там, где раньше «плавала».

Для бизнеса это означает: быстрее, дешевле, без армии ML-инженеров. Компании смогут адаптировать модели под свои нужды без глубокой экспертизы в машинном обучении.

Пока это исследовательская работа, но с учётом того, что Microsoft активно интегрирует AI в Copilot и Azure, ждать практического применения, скорее всего, недолго.

https://www.microsoft.com/en-us/research/blog/autoadapt-automated-domain-adaptation-for-large-language-models/

Nvidia / nvmath-python

В версии nvmath-python v0.9.0 появился Universal Sparse Tensor (UST) — инструмент для работы с разреженными данными в задачах глубокого обучения.

Что нового: UST интегрируется без копирования данных с PyTorch, SciPy, CuPy и NumPy. Поддерживаются форматы COO, CSR, CSC, BSR, DIA и пользовательские схемы разреженности. Операции автоматически диспетчеризируются на оптимизированные ядра или генерируют код на лету.

Почему важно: на задачах SpMV UST показывает ускорение до 444x по сравнению с CuPy и PyTorch. Встроенное кэширование устраняет повторную JIT-компиляцию. Инжекция в существующие PyTorch-модели — без переписывания кода.

Для кого: исследователи и инженеры, работающие с разреженными нейросетями и научными вычислениями на GPU.

https://developer.nvidia.com/blog/simplify-sparse-deep-learning-with-universal-sparse-tensor-in-nvmath-python/

Nvidia обновила Megatron Core и NeMo Framework

Nvidia добавила поддержку продвинутых оптимизаторов — Muon, MOP и REKLS — в свои инструменты для обучения больших языковых моделей. Раньше стандартом был AdamW, теперь разработчики получают альтернативы с реальными преимуществами.

Главное: на системе GB300 NVL72 обучение моделей Kimi K2 и Qwen3 30B с Muon показало почти ту же скорость, что и с AdamW — потери минимальны, а в некоторых метриках Muon даже выигрывает.

Для масштабирования на тысячи GPU решены ключевые проблемы: реализован послойный распределённый оптимизатор и три режима распределённых вычислений Newton-Schulz (дублированный, распределённый и поблочный).

Это важно для команд, обучающих крупные модели: теперь современные оптимизаторы, которые использовались при создании Kimi K2 и GLM-5, доступны прямо в официальном стеке Nvidia без значительных потерь производительности.

https://developer.nvidia.com/blog/advancing-emerging-optimizers-for-accelerated-llm-training-with-nvidia-megatron/

Клеман Делангю (CEO Hugging Face) сообщил, что OpenAI разместила новую модель прямо на Hugging Face!

Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.

Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.

https://x.com/ClementDelangue/status/2046973714751754479

OpenAI показали впечатляющее демо от Боюань Чэня: новая версия генератора изображений в ChatGPT теперь умеет нормально работать с текстом и разными языками.

Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.

https://x.com/OpenAI/status/2046691650202902681

Cohere поделились техническими деталями о том, как они улучшали квантизацию своей модели для агентных задач.

Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.

Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.

Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.

https://x.com/cohere/status/2047052562793414687

Cohere поделились интересным техническим лайфхаком по квантизации моделей.

Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.

Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.

Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.

Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.

https://x.com/cohere/status/2047052560553681183

Cohere поделились крутым достижением в области эффективного инференса. Они реализовали метод W4A8 — это когда веса модели хранятся в 4-битном формате (экономия памяти), а активации считаются в 8-битном (высокая скорость вычислений). Такой гибрид даёт лучшее из двух миров.

Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.

Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.

https://x.com/cohere/status/2047052557915476304