OpenAI рассказали, почему их новая модель генерации изображений ChatGPT Images 2.0 считается лучшей в своём классе.

Исследователи, работавшие над моделью, объяснили, что отличает её от конкурентов — она умеет не просто рисовать по запросу, а по-настоящему «думать» перед генерацией. Модель анализирует задачу, понимает контекст и выстраивает логику изображения, прежде чем его создать.

Это принципиально новый подход: вместо того чтобы сразу выдавать картинку, система проходит через этап рассуждения — почти как o-модели в текстовых задачах. Именно это позволяет лучше справляться со сложными сценами, текстом на изображениях и точным следованием инструкциям.

Демонстрацию возможностей подготовил исследователь Аян Жак.

https://x.com/OpenAI/status/2046691647036227700

OpenAI анонсировали ChatGPT Images 2.0 — первую модель генерации изображений с функцией «мышления». Когда включён режим thinking, модель умеет искать актуальную информацию в интернете, создавать несколько разных картинок по одному запросу и самостоятельно проверять свои результаты. По сути, это уже не просто генератор картинок, а полноценный визуальный ассистент, который думает перед тем, как рисовать. Интересный шаг — раньше «рассуждения» были прерогативой текстовых моделей, теперь эту логику переносят и на изображения.

https://x.com/OpenAI/status/2046670989719924768

Google DeepMind анонсировал Deep Research и Deep Research Max — новые автономные исследовательские агенты на базе Gemini 2.5 Pro.

Они умеют самостоятельно шарить по интернету и по вашим собственным данным — внутренним документам, финансовой аналитике и прочему — и выдавать профессиональные отчёты с полными ссылками на источники.

Грубо говоря, это такой умный помощник-аналитик, которому можно скинуть задачу и получить готовый структурированный документ, а не просто набор ссылок. Особенно интересно, что агенты работают и с закрытыми корпоративными данными — это явный прицел на бизнес-аудиторию.

https://x.com/GoogleDeepMind/status/2046627042335060342

Cohere поделились материалом о том, как выжать больше из спекулятивного декодирования в моделях типа MoE (Mixture of Experts).

Если коротко: спекулятивное декодирование — это техника ускорения работы больших языковых моделей. Маленькая модель быстро предлагает варианты токенов, а большая их проверяет и принимает или отклоняет. В итоге скорость генерации растет без потери качества.

В MoE-моделях это работает особенно интересно: часть экспертов простаивает при обычной генерации, и спекулятивное декодирование позволяет использовать эти ресурсы эффективнее. Cohere, судя по всему, нашли способ адаптировать этот подход специально под архитектуру MoE и получить дополнительный прирост производительности.

Тема техническая, но важная — именно такие оптимизации делают мощные модели быстрее и дешевле в использовании.

https://x.com/cohere/status/2046755038417359221

Cohere поделились неожиданным открытием: оказывается, архитектура MoE (Mixture of Experts, когда модель использует только часть своих "экспертных" блоков для каждого токена) делает спекулятивное декодирование ещё эффективнее, а не хуже, как можно было бы предположить.

Спекулятивное декодирование — это техника ускорения генерации текста: маленькая модель предсказывает несколько токенов вперёд, а большая их проверяет. Обычно считалось, что сложные архитектуры вроде MoE могут мешать этому процессу. Но нет — всё наоборот.

https://x.com/cohere/status/2046742203758694510

Один диффузионный LLM для понимания и генерации картинок (by inclusionAI)

Обычно задачи понимания изображений и их генерации решают разные модели. Авторы предлагают LLaDA2.0-Uni — единую систему на основе диффузионного LLM, которая делает и то, и другое.

Ключевая идея: вместо стандартных VQ-VAE токенайзеров, которые хороши для реконструкции пикселей, но теряют семантику, используется SigLIP-VQ — токенайзер, обученный на задачах понимания. Он переводит картинки в дискретные семантические токены, совместимые с текстовыми.

Архитектура: 16B MoE диффузионный LLM (LLaDA2.0) обрабатывает текст и изображения единым masked diffusion objective, а отдельный диффузионный декодер (6B, дистиллированный до 8 шагов) восстанавливает картинку из семантических токенов.

Бонус: block-wise attention вместо полного bidirectional — это помогает стабильности обучения. Модель поддерживает interleaved генерацию и рассуждения. Результаты конкурентны с Qwen2.5-VL на понимании и топовыми unified-моделями на генерации.

Почему слияние нейросетей работает — теперь есть ответ

Task Arithmetic — это когда берёшь веса двух файнтюненных моделей, складываешь разности с базовой моделью, и получаешь модель, умеющую оба навыка сразу. Работает магически, но почему — никто толком не объяснял.

Авторы вводят понятие Task-Feature Specialization (TFS): если разные задачи активируют разные внутренние признаки модели, то их задачные векторы становятся ортогональными — и не мешают друг другу при сложении.

На основе этого они предлагают OrthoReg — регуляризатор, который при файнтюнинге принудительно делает обновления весов ортогональными. Это напрямую снижает интерференцию между задачами при последующем слиянии моделей.

Связь с Tangent Task Arithmetic тоже объяснена: оба метода по сути добиваются одного — ортогональности между задачными векторами, просто разными путями.

https://arxiv.org/abs/2604.17078

Примерка одежды за 4 секунды — теперь коммерческая реальность (by Alibaba)

Виртуальная примерка одежды давно обещала революцию в e-commerce, но упиралась в три стены: медленно, нереалистично, работает только с одной вещью за раз. Alibaba выкатили Tstars-Tryon 1.0 и, кажется, пробили все три.

Ключевые решения: вместо классического inpainting — задача редактирования изображений на базе MMDiT архитектуры, которая одновременно обрабатывает несколько референсных изображений. Добавили CFG distillation + Step Distillation, урезали основную модель до 5B параметров.

Результат: одна вещь — 3.92 сек, пять вещей одновременно — 6.74 сек на H200. Для сравнения, топовые open-source модели (QwenEdit, Flux.2 dev) тратят ~200 секунд.

Поддерживает 8 категорий: топы, брюки, юбки, платья, обувь, сумки, шляпы, пальто. Работает даже на аниме-персонажах и статуях. Плюс собственный бенчмарк Tstars-VTON на 1780 сэмплах с реальными e-commerce сценариями.

https://arxiv.org/abs/2604.19748

Microsoft Research представила AutoAdapt — систему автоматической адаптации языковых моделей к конкретным доменам.

Суть простая: раньше чтобы «заточить» модель под медицину, юриспруденцию или финансы, нужна была ручная работа экспертов. AutoAdapt делает это автоматически — и для маленьких, и для больших моделей.

Главный результат — заметный прирост качества рассуждений в специализированных областях. Модель лучше понимает контекст домена и делает меньше ошибок там, где раньше «плавала».

Для бизнеса это означает: быстрее, дешевле, без армии ML-инженеров. Компании смогут адаптировать модели под свои нужды без глубокой экспертизы в машинном обучении.

Пока это исследовательская работа, но с учётом того, что Microsoft активно интегрирует AI в Copilot и Azure, ждать практического применения, скорее всего, недолго.

https://www.microsoft.com/en-us/research/blog/autoadapt-automated-domain-adaptation-for-large-language-models/

Nvidia / nvmath-python

В версии nvmath-python v0.9.0 появился Universal Sparse Tensor (UST) — инструмент для работы с разреженными данными в задачах глубокого обучения.

Что нового: UST интегрируется без копирования данных с PyTorch, SciPy, CuPy и NumPy. Поддерживаются форматы COO, CSR, CSC, BSR, DIA и пользовательские схемы разреженности. Операции автоматически диспетчеризируются на оптимизированные ядра или генерируют код на лету.

Почему важно: на задачах SpMV UST показывает ускорение до 444x по сравнению с CuPy и PyTorch. Встроенное кэширование устраняет повторную JIT-компиляцию. Инжекция в существующие PyTorch-модели — без переписывания кода.

Для кого: исследователи и инженеры, работающие с разреженными нейросетями и научными вычислениями на GPU.

https://developer.nvidia.com/blog/simplify-sparse-deep-learning-with-universal-sparse-tensor-in-nvmath-python/

Nvidia обновила Megatron Core и NeMo Framework

Nvidia добавила поддержку продвинутых оптимизаторов — Muon, MOP и REKLS — в свои инструменты для обучения больших языковых моделей. Раньше стандартом был AdamW, теперь разработчики получают альтернативы с реальными преимуществами.

Главное: на системе GB300 NVL72 обучение моделей Kimi K2 и Qwen3 30B с Muon показало почти ту же скорость, что и с AdamW — потери минимальны, а в некоторых метриках Muon даже выигрывает.

Для масштабирования на тысячи GPU решены ключевые проблемы: реализован послойный распределённый оптимизатор и три режима распределённых вычислений Newton-Schulz (дублированный, распределённый и поблочный).

Это важно для команд, обучающих крупные модели: теперь современные оптимизаторы, которые использовались при создании Kimi K2 и GLM-5, доступны прямо в официальном стеке Nvidia без значительных потерь производительности.

https://developer.nvidia.com/blog/advancing-emerging-optimizers-for-accelerated-llm-training-with-nvidia-megatron/

Клеман Делангю (CEO Hugging Face) сообщил, что OpenAI разместила новую модель прямо на Hugging Face!

Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.

Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.

https://x.com/ClementDelangue/status/2046973714751754479

OpenAI показали впечатляющее демо от Боюань Чэня: новая версия генератора изображений в ChatGPT теперь умеет нормально работать с текстом и разными языками.

Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.

https://x.com/OpenAI/status/2046691650202902681

Cohere поделились техническими деталями о том, как они улучшали квантизацию своей модели для агентных задач.

Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.

Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.

Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.

https://x.com/cohere/status/2047052562793414687

Cohere поделились интересным техническим лайфхаком по квантизации моделей.

Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.

Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.

Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.

Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.

https://x.com/cohere/status/2047052560553681183

Cohere поделились крутым достижением в области эффективного инференса. Они реализовали метод W4A8 — это когда веса модели хранятся в 4-битном формате (экономия памяти), а активации считаются в 8-битном (высокая скорость вычислений). Такой гибрид даёт лучшее из двух миров.

Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.

Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.

https://x.com/cohere/status/2047052557915476304

Expert Upcycling: как вырастить MoE модель дешевле (by Amazon)

Тренировать большие MoE с нуля дорого: память, коммуникации между GPU, всё это растёт с числом экспертов. Авторы предлагают другой путь — начать с маленькой MoE, а потом "апциклировать" её в большую.

Схема простая: обучаем E-экспертную модель до шага τ, затем дублируем экспертов (умные эксперты получают больше копий на основе gradient-based важности), расширяем роутер — и продолжаем обучение. Top-K остаётся фиксированным, значит активные параметры и FLOPs при инференсе не меняются!

Результат: 7B→13B параметров при экономии 32% GPU-часов, а качество на 11 бенчмарках не хуже чем у модели обученной с нуля на 13B.

Ключевая фишка — utility-based выбор: дублировать надо важные эксперты, а не случайные. Это утраивает эффект при ограниченном бюджете дообучения.

https://arxiv.org/abs/2604.19835

Модели не чувствуют время — и вот как это исправить

Если показать современному VLM замедленное видео, он не поймёт, что оно замедленное. Модели обучены на видео с одинаковым fps и просто не знают, как "должно" течь время.

Авторы решают это через два умных трюка без ручной разметки:
1. Аудио-сигнал: когда видео ускоряется, питч звука растёт. Это бесплатная кросс-модальная разметка для детекции смены скорости.
2. Self-supervised сигнал: если даунсэмплить видео в 2x — воспринимаемая скорость падает в 2x. Модель учится на этом соотношении.

На этих сигналах авторы автоматически собрали SloMo-44K — 44к клипов с fps до 10000+, что в 150x больше предыдущих датасетов.

Результат: 92% точность на детекции смены скорости, near-human точность на оценке скорости воспроизведения, и генерация видео с контролем от 1x до 0.01x скорости.

https://arxiv.org/abs/2604.21931

Учись у себя из будущего: новый трюк для RLVR

Проблема обучения с подкреплением для LLM: в начале обучения правильных траекторий почти нет, а в конце модель застревает на плато. Добавлять чужие траектории (от учителя или старых чекпоинтов) тоже не помогает — либо слишком далеко по распределению, либо слишком слабые.

Авторы формализуют это как trade-off: сигнал Q(Δ) растёт с дистанцией до чекпоинта, а дисперсия V(Δ) растёт экспоненциально. Оптимум S=Q/V достигается при небольшом Δ — "near-future" чекпоинте из того же рана.

Идея NPO: на каждом шаге t запускаем обучение ещё на Δ шагов вперёд, берём этот чекпоинт, откатываемся назад и используем его правильные траектории как подсказки — один слот в rollout-группе. Остальное не меняем.

AutoNPO автоматизирует выбор момента вмешательства, отслеживая стагнацию reward и падение энтропии.

Результат на Qwen3-VL-8B + GRPO: +4.96 (NPO) и +5.27 (AutoNPO) по мультимодальным бенчмаркам.

https://arxiv.org/abs/2604.20733

OpenAI рассказала, как устроен агентный цикл Codex изнутри.

Инженеры перевели Responses API на WebSockets вместо обычных HTTP-запросов. Это позволило держать соединение открытым на протяжении всей сессии, а не устанавливать его заново при каждом шаге агента.

Вдобавок внедрили кэширование на уровне соединения: модель «помнит» контекст между вызовами и не гоняет одни и те же данные туда-обратно. В итоге снизились накладные расходы и уменьшилась задержка ответов модели.

Почему это важно: агентные сценарии — это десятки и сотни последовательных вызовов API. Каждая миллисекунда накапливается, и оптимизация на уровне протокола даёт ощутимый прирост скорости для реальных задач вроде написания и проверки кода.

Разработчикам, которые строят своих агентов на Responses API, стоит присмотреться к WebSocket-режиму.

https://openai.com/index/speeding-up-agentic-workflows-with-websockets