OpenAI анонсировали ChatGPT Images 2.0 — первую модель генерации изображений с функцией «мышления». Когда включён режим thinking, модель умеет искать актуальную информацию в интернете, создавать несколько разных картинок по одному запросу и самостоятельно проверять свои результаты. По сути, это уже не просто генератор картинок, а полноценный визуальный ассистент, который думает перед тем, как рисовать. Интересный шаг — раньше «рассуждения» были прерогативой текстовых моделей, теперь эту логику переносят и на изображения.
https://x.com/OpenAI/status/2046670989719924768
https://x.com/OpenAI/status/2046670989719924768
Google DeepMind анонсировал Deep Research и Deep Research Max — новые автономные исследовательские агенты на базе Gemini 2.5 Pro.
Они умеют самостоятельно шарить по интернету и по вашим собственным данным — внутренним документам, финансовой аналитике и прочему — и выдавать профессиональные отчёты с полными ссылками на источники.
Грубо говоря, это такой умный помощник-аналитик, которому можно скинуть задачу и получить готовый структурированный документ, а не просто набор ссылок. Особенно интересно, что агенты работают и с закрытыми корпоративными данными — это явный прицел на бизнес-аудиторию.
https://x.com/GoogleDeepMind/status/2046627042335060342
Они умеют самостоятельно шарить по интернету и по вашим собственным данным — внутренним документам, финансовой аналитике и прочему — и выдавать профессиональные отчёты с полными ссылками на источники.
Грубо говоря, это такой умный помощник-аналитик, которому можно скинуть задачу и получить готовый структурированный документ, а не просто набор ссылок. Особенно интересно, что агенты работают и с закрытыми корпоративными данными — это явный прицел на бизнес-аудиторию.
https://x.com/GoogleDeepMind/status/2046627042335060342
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
Deep Research and Deep Research Max are our latest autonomous research agents powered by Gemini 3.1 Pro.
They can safely navigate both the web and your custom data, like internal docs and specialized financial information, to create professional-grade, fully…
They can safely navigate both the web and your custom data, like internal docs and specialized financial information, to create professional-grade, fully…
Cohere поделились материалом о том, как выжать больше из спекулятивного декодирования в моделях типа MoE (Mixture of Experts).
Если коротко: спекулятивное декодирование — это техника ускорения работы больших языковых моделей. Маленькая модель быстро предлагает варианты токенов, а большая их проверяет и принимает или отклоняет. В итоге скорость генерации растет без потери качества.
В MoE-моделях это работает особенно интересно: часть экспертов простаивает при обычной генерации, и спекулятивное декодирование позволяет использовать эти ресурсы эффективнее. Cohere, судя по всему, нашли способ адаптировать этот подход специально под архитектуру MoE и получить дополнительный прирост производительности.
Тема техническая, но важная — именно такие оптимизации делают мощные модели быстрее и дешевле в использовании.
https://x.com/cohere/status/2046755038417359221
Если коротко: спекулятивное декодирование — это техника ускорения работы больших языковых моделей. Маленькая модель быстро предлагает варианты токенов, а большая их проверяет и принимает или отклоняет. В итоге скорость генерации растет без потери качества.
В MoE-моделях это работает особенно интересно: часть экспертов простаивает при обычной генерации, и спекулятивное декодирование позволяет использовать эти ресурсы эффективнее. Cohere, судя по всему, нашли способ адаптировать этот подход специально под архитектуру MoE и получить дополнительный прирост производительности.
Тема техническая, но важная — именно такие оптимизации делают мощные модели быстрее и дешевле в использовании.
https://x.com/cohere/status/2046755038417359221
X (formerly Twitter)
Cohere (@cohere) on X
Get more from speculative decoding in MoE models
https://t.co/JHVcCUAmZT
https://t.co/JHVcCUAmZT
Cohere поделились неожиданным открытием: оказывается, архитектура MoE (Mixture of Experts, когда модель использует только часть своих "экспертных" блоков для каждого токена) делает спекулятивное декодирование ещё эффективнее, а не хуже, как можно было бы предположить.
Спекулятивное декодирование — это техника ускорения генерации текста: маленькая модель предсказывает несколько токенов вперёд, а большая их проверяет. Обычно считалось, что сложные архитектуры вроде MoE могут мешать этому процессу. Но нет — всё наоборот.
https://x.com/cohere/status/2046742203758694510
Спекулятивное декодирование — это техника ускорения генерации текста: маленькая модель предсказывает несколько токенов вперёд, а большая их проверяет. Обычно считалось, что сложные архитектуры вроде MoE могут мешать этому процессу. Но нет — всё наоборот.
https://x.com/cohere/status/2046742203758694510
X (formerly Twitter)
Cohere (@cohere) on X
New Technical Report from @EkagraRanjan: Contrary to what you might expect, MoE-based LLMs make speculative decoding even more effective. Read more on our blog:
Один диффузионный LLM для понимания и генерации картинок (by inclusionAI)
Обычно задачи понимания изображений и их генерации решают разные модели. Авторы предлагают LLaDA2.0-Uni — единую систему на основе диффузионного LLM, которая делает и то, и другое.
Ключевая идея: вместо стандартных VQ-VAE токенайзеров, которые хороши для реконструкции пикселей, но теряют семантику, используется SigLIP-VQ — токенайзер, обученный на задачах понимания. Он переводит картинки в дискретные семантические токены, совместимые с текстовыми.
Архитектура: 16B MoE диффузионный LLM (LLaDA2.0) обрабатывает текст и изображения единым masked diffusion objective, а отдельный диффузионный декодер (6B, дистиллированный до 8 шагов) восстанавливает картинку из семантических токенов.
Бонус: block-wise attention вместо полного bidirectional — это помогает стабильности обучения. Модель поддерживает interleaved генерацию и рассуждения. Результаты конкурентны с Qwen2.5-VL на понимании и топовыми unified-моделями на генерации.
Обычно задачи понимания изображений и их генерации решают разные модели. Авторы предлагают LLaDA2.0-Uni — единую систему на основе диффузионного LLM, которая делает и то, и другое.
Ключевая идея: вместо стандартных VQ-VAE токенайзеров, которые хороши для реконструкции пикселей, но теряют семантику, используется SigLIP-VQ — токенайзер, обученный на задачах понимания. Он переводит картинки в дискретные семантические токены, совместимые с текстовыми.
Архитектура: 16B MoE диффузионный LLM (LLaDA2.0) обрабатывает текст и изображения единым masked diffusion objective, а отдельный диффузионный декодер (6B, дистиллированный до 8 шагов) восстанавливает картинку из семантических токенов.
Бонус: block-wise attention вместо полного bidirectional — это помогает стабильности обучения. Модель поддерживает interleaved генерацию и рассуждения. Результаты конкурентны с Qwen2.5-VL на понимании и топовыми unified-моделями на генерации.
Почему слияние нейросетей работает — теперь есть ответ
Task Arithmetic — это когда берёшь веса двух файнтюненных моделей, складываешь разности с базовой моделью, и получаешь модель, умеющую оба навыка сразу. Работает магически, но почему — никто толком не объяснял.
Авторы вводят понятие Task-Feature Specialization (TFS): если разные задачи активируют разные внутренние признаки модели, то их задачные векторы становятся ортогональными — и не мешают друг другу при сложении.
На основе этого они предлагают OrthoReg — регуляризатор, который при файнтюнинге принудительно делает обновления весов ортогональными. Это напрямую снижает интерференцию между задачами при последующем слиянии моделей.
Связь с Tangent Task Arithmetic тоже объяснена: оба метода по сути добиваются одного — ортогональности между задачными векторами, просто разными путями.
https://arxiv.org/abs/2604.17078
Task Arithmetic — это когда берёшь веса двух файнтюненных моделей, складываешь разности с базовой моделью, и получаешь модель, умеющую оба навыка сразу. Работает магически, но почему — никто толком не объяснял.
Авторы вводят понятие Task-Feature Specialization (TFS): если разные задачи активируют разные внутренние признаки модели, то их задачные векторы становятся ортогональными — и не мешают друг другу при сложении.
На основе этого они предлагают OrthoReg — регуляризатор, который при файнтюнинге принудительно делает обновления весов ортогональными. Это напрямую снижает интерференцию между задачами при последующем слиянии моделей.
Связь с Tangent Task Arithmetic тоже объяснена: оба метода по сути добиваются одного — ортогональности между задачными векторами, просто разными путями.
https://arxiv.org/abs/2604.17078
Примерка одежды за 4 секунды — теперь коммерческая реальность (by Alibaba)
Виртуальная примерка одежды давно обещала революцию в e-commerce, но упиралась в три стены: медленно, нереалистично, работает только с одной вещью за раз. Alibaba выкатили Tstars-Tryon 1.0 и, кажется, пробили все три.
Ключевые решения: вместо классического inpainting — задача редактирования изображений на базе MMDiT архитектуры, которая одновременно обрабатывает несколько референсных изображений. Добавили CFG distillation + Step Distillation, урезали основную модель до 5B параметров.
Результат: одна вещь — 3.92 сек, пять вещей одновременно — 6.74 сек на H200. Для сравнения, топовые open-source модели (QwenEdit, Flux.2 dev) тратят ~200 секунд.
Поддерживает 8 категорий: топы, брюки, юбки, платья, обувь, сумки, шляпы, пальто. Работает даже на аниме-персонажах и статуях. Плюс собственный бенчмарк Tstars-VTON на 1780 сэмплах с реальными e-commerce сценариями.
https://arxiv.org/abs/2604.19748
Виртуальная примерка одежды давно обещала революцию в e-commerce, но упиралась в три стены: медленно, нереалистично, работает только с одной вещью за раз. Alibaba выкатили Tstars-Tryon 1.0 и, кажется, пробили все три.
Ключевые решения: вместо классического inpainting — задача редактирования изображений на базе MMDiT архитектуры, которая одновременно обрабатывает несколько референсных изображений. Добавили CFG distillation + Step Distillation, урезали основную модель до 5B параметров.
Результат: одна вещь — 3.92 сек, пять вещей одновременно — 6.74 сек на H200. Для сравнения, топовые open-source модели (QwenEdit, Flux.2 dev) тратят ~200 секунд.
Поддерживает 8 категорий: топы, брюки, юбки, платья, обувь, сумки, шляпы, пальто. Работает даже на аниме-персонажах и статуях. Плюс собственный бенчмарк Tstars-VTON на 1780 сэмплах с реальными e-commerce сценариями.
https://arxiv.org/abs/2604.19748
Microsoft Research представила AutoAdapt — систему автоматической адаптации языковых моделей к конкретным доменам.
Суть простая: раньше чтобы «заточить» модель под медицину, юриспруденцию или финансы, нужна была ручная работа экспертов. AutoAdapt делает это автоматически — и для маленьких, и для больших моделей.
Главный результат — заметный прирост качества рассуждений в специализированных областях. Модель лучше понимает контекст домена и делает меньше ошибок там, где раньше «плавала».
Для бизнеса это означает: быстрее, дешевле, без армии ML-инженеров. Компании смогут адаптировать модели под свои нужды без глубокой экспертизы в машинном обучении.
Пока это исследовательская работа, но с учётом того, что Microsoft активно интегрирует AI в Copilot и Azure, ждать практического применения, скорее всего, недолго.
https://www.microsoft.com/en-us/research/blog/autoadapt-automated-domain-adaptation-for-large-language-models/
Суть простая: раньше чтобы «заточить» модель под медицину, юриспруденцию или финансы, нужна была ручная работа экспертов. AutoAdapt делает это автоматически — и для маленьких, и для больших моделей.
Главный результат — заметный прирост качества рассуждений в специализированных областях. Модель лучше понимает контекст домена и делает меньше ошибок там, где раньше «плавала».
Для бизнеса это означает: быстрее, дешевле, без армии ML-инженеров. Компании смогут адаптировать модели под свои нужды без глубокой экспертизы в машинном обучении.
Пока это исследовательская работа, но с учётом того, что Microsoft активно интегрирует AI в Copilot и Azure, ждать практического применения, скорее всего, недолго.
https://www.microsoft.com/en-us/research/blog/autoadapt-automated-domain-adaptation-for-large-language-models/
Microsoft Research
AutoAdapt: Automated domain adaptation for LLMs
AutoAdapt automates the design and tuning of domain adaptation workflows for large language models. It improves performance without requiring additional compute, making deployment more accessible:
Nvidia / nvmath-python
В версии nvmath-python v0.9.0 появился Universal Sparse Tensor (UST) — инструмент для работы с разреженными данными в задачах глубокого обучения.
Что нового: UST интегрируется без копирования данных с PyTorch, SciPy, CuPy и NumPy. Поддерживаются форматы COO, CSR, CSC, BSR, DIA и пользовательские схемы разреженности. Операции автоматически диспетчеризируются на оптимизированные ядра или генерируют код на лету.
Почему важно: на задачах SpMV UST показывает ускорение до 444x по сравнению с CuPy и PyTorch. Встроенное кэширование устраняет повторную JIT-компиляцию. Инжекция в существующие PyTorch-модели — без переписывания кода.
Для кого: исследователи и инженеры, работающие с разреженными нейросетями и научными вычислениями на GPU.
https://developer.nvidia.com/blog/simplify-sparse-deep-learning-with-universal-sparse-tensor-in-nvmath-python/
В версии nvmath-python v0.9.0 появился Universal Sparse Tensor (UST) — инструмент для работы с разреженными данными в задачах глубокого обучения.
Что нового: UST интегрируется без копирования данных с PyTorch, SciPy, CuPy и NumPy. Поддерживаются форматы COO, CSR, CSC, BSR, DIA и пользовательские схемы разреженности. Операции автоматически диспетчеризируются на оптимизированные ядра или генерируют код на лету.
Почему важно: на задачах SpMV UST показывает ускорение до 444x по сравнению с CuPy и PyTorch. Встроенное кэширование устраняет повторную JIT-компиляцию. Инжекция в существующие PyTorch-модели — без переписывания кода.
Для кого: исследователи и инженеры, работающие с разреженными нейросетями и научными вычислениями на GPU.
https://developer.nvidia.com/blog/simplify-sparse-deep-learning-with-universal-sparse-tensor-in-nvmath-python/
NVIDIA Technical Blog
Simplify Sparse Deep Learning with Universal Sparse Tensor in nvmath-python
In a previous post, we introduced the Universal Sparse Tensor (UST), enabling developers to decouple a tensor’s sparsity from its memory layout for greater flexibility and performance.
Nvidia обновила Megatron Core и NeMo Framework
Nvidia добавила поддержку продвинутых оптимизаторов — Muon, MOP и REKLS — в свои инструменты для обучения больших языковых моделей. Раньше стандартом был AdamW, теперь разработчики получают альтернативы с реальными преимуществами.
Главное: на системе GB300 NVL72 обучение моделей Kimi K2 и Qwen3 30B с Muon показало почти ту же скорость, что и с AdamW — потери минимальны, а в некоторых метриках Muon даже выигрывает.
Для масштабирования на тысячи GPU решены ключевые проблемы: реализован послойный распределённый оптимизатор и три режима распределённых вычислений Newton-Schulz (дублированный, распределённый и поблочный).
Это важно для команд, обучающих крупные модели: теперь современные оптимизаторы, которые использовались при создании Kimi K2 и GLM-5, доступны прямо в официальном стеке Nvidia без значительных потерь производительности.
https://developer.nvidia.com/blog/advancing-emerging-optimizers-for-accelerated-llm-training-with-nvidia-megatron/
Nvidia добавила поддержку продвинутых оптимизаторов — Muon, MOP и REKLS — в свои инструменты для обучения больших языковых моделей. Раньше стандартом был AdamW, теперь разработчики получают альтернативы с реальными преимуществами.
Главное: на системе GB300 NVL72 обучение моделей Kimi K2 и Qwen3 30B с Muon показало почти ту же скорость, что и с AdamW — потери минимальны, а в некоторых метриках Muon даже выигрывает.
Для масштабирования на тысячи GPU решены ключевые проблемы: реализован послойный распределённый оптимизатор и три режима распределённых вычислений Newton-Schulz (дублированный, распределённый и поблочный).
Это важно для команд, обучающих крупные модели: теперь современные оптимизаторы, которые использовались при создании Kimi K2 и GLM-5, доступны прямо в официальном стеке Nvidia без значительных потерь производительности.
https://developer.nvidia.com/blog/advancing-emerging-optimizers-for-accelerated-llm-training-with-nvidia-megatron/
NVIDIA Technical Blog
Advancing Emerging Optimizers for Accelerated LLM Training with NVIDIA Megatron
Higher-order optimization algorithms such as Shampoo have been effectively applied in neural network training for at least a decade. These methods have achieved significant success more recently when…
Клеман Делангю (CEO Hugging Face) сообщил, что OpenAI разместила новую модель прямо на Hugging Face!
Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.
Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.
https://x.com/ClementDelangue/status/2046973714751754479
Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.
Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.
https://x.com/ClementDelangue/status/2046973714751754479
X (formerly Twitter)
clem 🤗 (@ClementDelangue) on X
OpenAI dropped a new model on HF today!
OpenAI показали впечатляющее демо от Боюань Чэня: новая версия генератора изображений в ChatGPT теперь умеет нормально работать с текстом и разными языками.
Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.
https://x.com/OpenAI/status/2046691650202902681
Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.
https://x.com/OpenAI/status/2046691650202902681
X (formerly Twitter)
OpenAI (@OpenAI) on X
Multilingual & Text Rendering in ChatGPT Images 2.0, demonstrated by @BoyuanChen0
Cohere поделились техническими деталями о том, как они улучшали квантизацию своей модели для агентных задач.
Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.
Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.
Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.
https://x.com/cohere/status/2047052562793414687
Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.
Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.
Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.
https://x.com/cohere/status/2047052562793414687
X (formerly Twitter)
Cohere (@cohere) on X
For real agentic workloads (North), short-context calibration wasn't enough. We calibrated AWQ on long internal agentic traces (up to 64k tokens) and added token masking in llm-compressor to exclude repetitive chat templates/tool descriptions from calibration…
Cohere поделились интересным техническим лайфхаком по квантизации моделей.
Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.
Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.
Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.
Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.
https://x.com/cohere/status/2047052560553681183
Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.
Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.
Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.
Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.
https://x.com/cohere/status/2047052560553681183
X (formerly Twitter)
Cohere (@cohere) on X
🔧 The tricky part: naïvely casting BF16 group scales to FP8 dropped the quality. Our fix: quantize scales per-channel (outer vector scaling) + rescale by 1/8 to avoid FP8 clipping. Result: >99.5% of W4A16 accuracy recovered on Command A & Cohere MoE. Paired…
Cohere поделились крутым достижением в области эффективного инференса. Они реализовали метод W4A8 — это когда веса модели хранятся в 4-битном формате (экономия памяти), а активации считаются в 8-битном (высокая скорость вычислений). Такой гибрид даёт лучшее из двух миров.
Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.
Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.
https://x.com/cohere/status/2047052557915476304
Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.
Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.
https://x.com/cohere/status/2047052557915476304
X (formerly Twitter)
Cohere (@cohere) on X
Excited to share our work on production-ready W4A8 inference, now integrated in vLLM! By combining 4-bit weights (low memory) with 8-bit activations (high compute), we hit the sweet spot for both decoding and prefill — up to 58% faster TTFT and 45% faster…
Expert Upcycling: как вырастить MoE модель дешевле (by Amazon)
Тренировать большие MoE с нуля дорого: память, коммуникации между GPU, всё это растёт с числом экспертов. Авторы предлагают другой путь — начать с маленькой MoE, а потом "апциклировать" её в большую.
Схема простая: обучаем E-экспертную модель до шага τ, затем дублируем экспертов (умные эксперты получают больше копий на основе gradient-based важности), расширяем роутер — и продолжаем обучение. Top-K остаётся фиксированным, значит активные параметры и FLOPs при инференсе не меняются!
Результат: 7B→13B параметров при экономии 32% GPU-часов, а качество на 11 бенчмарках не хуже чем у модели обученной с нуля на 13B.
Ключевая фишка — utility-based выбор: дублировать надо важные эксперты, а не случайные. Это утраивает эффект при ограниченном бюджете дообучения.
https://arxiv.org/abs/2604.19835
Тренировать большие MoE с нуля дорого: память, коммуникации между GPU, всё это растёт с числом экспертов. Авторы предлагают другой путь — начать с маленькой MoE, а потом "апциклировать" её в большую.
Схема простая: обучаем E-экспертную модель до шага τ, затем дублируем экспертов (умные эксперты получают больше копий на основе gradient-based важности), расширяем роутер — и продолжаем обучение. Top-K остаётся фиксированным, значит активные параметры и FLOPs при инференсе не меняются!
Результат: 7B→13B параметров при экономии 32% GPU-часов, а качество на 11 бенчмарках не хуже чем у модели обученной с нуля на 13B.
Ключевая фишка — utility-based выбор: дублировать надо важные эксперты, а не случайные. Это утраивает эффект при ограниченном бюджете дообучения.
https://arxiv.org/abs/2604.19835
Модели не чувствуют время — и вот как это исправить
Если показать современному VLM замедленное видео, он не поймёт, что оно замедленное. Модели обучены на видео с одинаковым fps и просто не знают, как "должно" течь время.
Авторы решают это через два умных трюка без ручной разметки:
1. Аудио-сигнал: когда видео ускоряется, питч звука растёт. Это бесплатная кросс-модальная разметка для детекции смены скорости.
2. Self-supervised сигнал: если даунсэмплить видео в 2x — воспринимаемая скорость падает в 2x. Модель учится на этом соотношении.
На этих сигналах авторы автоматически собрали SloMo-44K — 44к клипов с fps до 10000+, что в 150x больше предыдущих датасетов.
Результат: 92% точность на детекции смены скорости, near-human точность на оценке скорости воспроизведения, и генерация видео с контролем от 1x до 0.01x скорости.
https://arxiv.org/abs/2604.21931
Если показать современному VLM замедленное видео, он не поймёт, что оно замедленное. Модели обучены на видео с одинаковым fps и просто не знают, как "должно" течь время.
Авторы решают это через два умных трюка без ручной разметки:
1. Аудио-сигнал: когда видео ускоряется, питч звука растёт. Это бесплатная кросс-модальная разметка для детекции смены скорости.
2. Self-supervised сигнал: если даунсэмплить видео в 2x — воспринимаемая скорость падает в 2x. Модель учится на этом соотношении.
На этих сигналах авторы автоматически собрали SloMo-44K — 44к клипов с fps до 10000+, что в 150x больше предыдущих датасетов.
Результат: 92% точность на детекции смены скорости, near-human точность на оценке скорости воспроизведения, и генерация видео с контролем от 1x до 0.01x скорости.
https://arxiv.org/abs/2604.21931
Учись у себя из будущего: новый трюк для RLVR
Проблема обучения с подкреплением для LLM: в начале обучения правильных траекторий почти нет, а в конце модель застревает на плато. Добавлять чужие траектории (от учителя или старых чекпоинтов) тоже не помогает — либо слишком далеко по распределению, либо слишком слабые.
Авторы формализуют это как trade-off: сигнал Q(Δ) растёт с дистанцией до чекпоинта, а дисперсия V(Δ) растёт экспоненциально. Оптимум S=Q/V достигается при небольшом Δ — "near-future" чекпоинте из того же рана.
Идея NPO: на каждом шаге t запускаем обучение ещё на Δ шагов вперёд, берём этот чекпоинт, откатываемся назад и используем его правильные траектории как подсказки — один слот в rollout-группе. Остальное не меняем.
AutoNPO автоматизирует выбор момента вмешательства, отслеживая стагнацию reward и падение энтропии.
Результат на Qwen3-VL-8B + GRPO: +4.96 (NPO) и +5.27 (AutoNPO) по мультимодальным бенчмаркам.
https://arxiv.org/abs/2604.20733
Проблема обучения с подкреплением для LLM: в начале обучения правильных траекторий почти нет, а в конце модель застревает на плато. Добавлять чужие траектории (от учителя или старых чекпоинтов) тоже не помогает — либо слишком далеко по распределению, либо слишком слабые.
Авторы формализуют это как trade-off: сигнал Q(Δ) растёт с дистанцией до чекпоинта, а дисперсия V(Δ) растёт экспоненциально. Оптимум S=Q/V достигается при небольшом Δ — "near-future" чекпоинте из того же рана.
Идея NPO: на каждом шаге t запускаем обучение ещё на Δ шагов вперёд, берём этот чекпоинт, откатываемся назад и используем его правильные траектории как подсказки — один слот в rollout-группе. Остальное не меняем.
AutoNPO автоматизирует выбор момента вмешательства, отслеживая стагнацию reward и падение энтропии.
Результат на Qwen3-VL-8B + GRPO: +4.96 (NPO) и +5.27 (AutoNPO) по мультимодальным бенчмаркам.
https://arxiv.org/abs/2604.20733
OpenAI рассказала, как устроен агентный цикл Codex изнутри.
Инженеры перевели Responses API на WebSockets вместо обычных HTTP-запросов. Это позволило держать соединение открытым на протяжении всей сессии, а не устанавливать его заново при каждом шаге агента.
Вдобавок внедрили кэширование на уровне соединения: модель «помнит» контекст между вызовами и не гоняет одни и те же данные туда-обратно. В итоге снизились накладные расходы и уменьшилась задержка ответов модели.
Почему это важно: агентные сценарии — это десятки и сотни последовательных вызовов API. Каждая миллисекунда накапливается, и оптимизация на уровне протокола даёт ощутимый прирост скорости для реальных задач вроде написания и проверки кода.
Разработчикам, которые строят своих агентов на Responses API, стоит присмотреться к WebSocket-режиму.
https://openai.com/index/speeding-up-agentic-workflows-with-websockets
Инженеры перевели Responses API на WebSockets вместо обычных HTTP-запросов. Это позволило держать соединение открытым на протяжении всей сессии, а не устанавливать его заново при каждом шаге агента.
Вдобавок внедрили кэширование на уровне соединения: модель «помнит» контекст между вызовами и не гоняет одни и те же данные туда-обратно. В итоге снизились накладные расходы и уменьшилась задержка ответов модели.
Почему это важно: агентные сценарии — это десятки и сотни последовательных вызовов API. Каждая миллисекунда накапливается, и оптимизация на уровне протокола даёт ощутимый прирост скорости для реальных задач вроде написания и проверки кода.
Разработчикам, которые строят своих агентов на Responses API, стоит присмотреться к WebSocket-режиму.
https://openai.com/index/speeding-up-agentic-workflows-with-websockets
OpenAI
Speeding up agentic workflows with WebSockets in the Responses API
A deep dive into the Codex agent loop, showing how WebSockets and connection-scoped caching reduced API overhead and improved model latency.
OpenAI выпустила Privacy Filter — открытую модель для обнаружения и удаления персональных данных из текстов.
Модель работает с именами, адресами, номерами телефонов и другими личными данными, автоматически их находя и скрывая. При этом OpenAI заявляет о точности на уровне лучших решений в своём классе.
Главное — модель открытая, то есть её можно скачать и запустить у себя. Это важно для компаний, которые работают с чувствительными данными и не хотят отправлять их в сторонние сервисы.
Разработчики смогут встроить Privacy Filter в свои пайплайны для автоматической анонимизации данных перед обработкой другими моделями.
https://openai.com/index/introducing-openai-privacy-filter
Модель работает с именами, адресами, номерами телефонов и другими личными данными, автоматически их находя и скрывая. При этом OpenAI заявляет о точности на уровне лучших решений в своём классе.
Главное — модель открытая, то есть её можно скачать и запустить у себя. Это важно для компаний, которые работают с чувствительными данными и не хотят отправлять их в сторонние сервисы.
Разработчики смогут встроить Privacy Filter в свои пайплайны для автоматической анонимизации данных перед обработкой другими моделями.
https://openai.com/index/introducing-openai-privacy-filter
OpenAI
Introducing OpenAI Privacy Filter
OpenAI Privacy Filter is an open-weight model for detecting and redacting personally identifiable information (PII) in text with state-of-the-art accuracy
Google DeepMind представила Decoupled DiLoCo — новый подход к распределённому обучению больших языковых моделей.
Суть: вместо жёсткой синхронизации тысяч чипов система делит обучение на независимые «острова» вычислений, которые общаются асинхронно. Если один кластер падает — остальные продолжают работу, а вернувшийся узел бесшовно переподключается.
Что важно на практике: технологию уже проверили на моделях Gemma 4. 12-миллиардная модель обучалась сразу в четырёх регионах США через обычный интернет (2–5 Гбит/с) — в 20 раз быстрее традиционных методов. При этом качество модели не пострадало.
Бонус: система позволяет смешивать чипы разных поколений (TPU v5 и v6) в одном прогоне обучения, продлевая жизнь старого железа.
Для индустрии это важный шаг: масштабировать следующее поколение AI-моделей станет проще и дешевле.
https://deepmind.google/blog/decoupled-diloco/
Суть: вместо жёсткой синхронизации тысяч чипов система делит обучение на независимые «острова» вычислений, которые общаются асинхронно. Если один кластер падает — остальные продолжают работу, а вернувшийся узел бесшовно переподключается.
Что важно на практике: технологию уже проверили на моделях Gemma 4. 12-миллиардная модель обучалась сразу в четырёх регионах США через обычный интернет (2–5 Гбит/с) — в 20 раз быстрее традиционных методов. При этом качество модели не пострадало.
Бонус: система позволяет смешивать чипы разных поколений (TPU v5 и v6) в одном прогоне обучения, продлевая жизнь старого железа.
Для индустрии это важный шаг: масштабировать следующее поколение AI-моделей станет проще и дешевле.
https://deepmind.google/blog/decoupled-diloco/
Google DeepMind
Decoupled DiLoCo: Resilient, Distributed AI Training at Scale
Google’s new distributed architecture keeps AI training runs on track across distant data centers, with exceptional efficiency – even when hardware fails.