Cola DLM: диффузия не для токенов, а для смысла
Авторегрессивные модели генерируют текст слева направо — это удобно, но создаёт жёсткий порядок и медленный инференс. Диффузионные LLM (типа LLaDA) работают прямо в пространстве токенов, что тоже не идеально для глобальной семантики.
Cola DLM предлагает другой путь: сначала Text VAE сжимает текст в непрерывные латентные векторы, затем block-causal DiT моделирует prior через Flow Matching в этом латентном пространстве, и наконец декодер восстанавливает текст из латента.
Ключевая идея: диффузия используется не для восстановления токенов из шума, а для транспорта латентного prior — то есть модель учится глобальной семантической структуре отдельно от локальной текстовой реализации.
Эксперименты на ~2B параметрах показывают конкурентное качество с AR и LLaDA базелайнами, плюс хорошее масштабирование. Бонус: архитектура естественно расширяется на другие модальности (например, изображения).
https://arxiv.org/abs/2605.06548
Авторегрессивные модели генерируют текст слева направо — это удобно, но создаёт жёсткий порядок и медленный инференс. Диффузионные LLM (типа LLaDA) работают прямо в пространстве токенов, что тоже не идеально для глобальной семантики.
Cola DLM предлагает другой путь: сначала Text VAE сжимает текст в непрерывные латентные векторы, затем block-causal DiT моделирует prior через Flow Matching в этом латентном пространстве, и наконец декодер восстанавливает текст из латента.
Ключевая идея: диффузия используется не для восстановления токенов из шума, а для транспорта латентного prior — то есть модель учится глобальной семантической структуре отдельно от локальной текстовой реализации.
Эксперименты на ~2B параметрах показывают конкурентное качество с AR и LLaDA базелайнами, плюс хорошее масштабирование. Бонус: архитектура естественно расширяется на другие модальности (например, изображения).
https://arxiv.org/abs/2605.06548
Одна модель, все награды сразу — и без ручной настройки
Когда хочешь, чтобы диффузионная модель была одновременно эстетичной, точной по тексту и правильно рендерила надписи — простое взвешенное суммирование наград не работает. Почему? Потому что большинство сэмплов "специализированы": картинка с котом ничего не говорит OCR-reward, а красивая типографика может быть посредственной эстетически. В итоге градиенты конфликтуют — в 80% мини-батчей взвешенная сумма активно тянет модель против хотя бы одной из наград.
MARBLE решает это в пространстве градиентов: для каждой награды считается отдельный advantage и отдельный градиент политики, затем они нормализуются и гармонизируются в единое направление обновления. Плюс EMA-сглаживание коэффициентов, чтобы редкие сигналы не глушились случайным мини-батчем. Вычислительная стоимость — почти как у однонаградного baseline за счёт аффинной структуры DiffusionNFT loss.
Результат: одна модель, все цели одновременно, без ручного расписания этапов обучения.
Когда хочешь, чтобы диффузионная модель была одновременно эстетичной, точной по тексту и правильно рендерила надписи — простое взвешенное суммирование наград не работает. Почему? Потому что большинство сэмплов "специализированы": картинка с котом ничего не говорит OCR-reward, а красивая типографика может быть посредственной эстетически. В итоге градиенты конфликтуют — в 80% мини-батчей взвешенная сумма активно тянет модель против хотя бы одной из наград.
MARBLE решает это в пространстве градиентов: для каждой награды считается отдельный advantage и отдельный градиент политики, затем они нормализуются и гармонизируются в единое направление обновления. Плюс EMA-сглаживание коэффициентов, чтобы редкие сигналы не глушились случайным мини-батчем. Вычислительная стоимость — почти как у однонаградного baseline за счёт аффинной структуры DiffusionNFT loss.
Результат: одна модель, все цели одновременно, без ручного расписания этапов обучения.
MiniCPM-o 4.5: ИИ, который слушает и говорит одновременно
Все существующие мультимодальные модели работают в режиме "воспринимай — отвечай — воспринимай". Это как разговор по рации: пока говоришь, не слышишь. MiniCPM-o 4.5 от OpenBMB ломает эту схему.
Ключевая идея — фреймворк Omni-Flow: восприятие и генерация ответа идут параллельно по единой временной оси. Взято из техники мультиплексирования с разделением по времени — поток разбивается на мелкие окна, в каждом модель одновременно читает новые сигналы и генерирует вывод.
Архитектура: Whisper-энкодер для аудио, SigLIP для видео, Qwen3-8B как backbone (генерирует только текст, 3-4 токена/сек), отдельный лёгкий декодер речи на базе Llama (~0.3B). Всё соединено на уровне токенов, обучается end-to-end.
Результат: 9B параметров, работает на устройствах с <12GB RAM, по vision-language догоняет Gemini 2.5 Flash, обгоняет Qwen3-Omni-30B в omni-понимании. Плюс поддержка клонирования голоса через мультимодальный system prompt.
https://arxiv.org/abs/2604.27393
Все существующие мультимодальные модели работают в режиме "воспринимай — отвечай — воспринимай". Это как разговор по рации: пока говоришь, не слышишь. MiniCPM-o 4.5 от OpenBMB ломает эту схему.
Ключевая идея — фреймворк Omni-Flow: восприятие и генерация ответа идут параллельно по единой временной оси. Взято из техники мультиплексирования с разделением по времени — поток разбивается на мелкие окна, в каждом модель одновременно читает новые сигналы и генерирует вывод.
Архитектура: Whisper-энкодер для аудио, SigLIP для видео, Qwen3-8B как backbone (генерирует только текст, 3-4 токена/сек), отдельный лёгкий декодер речи на базе Llama (~0.3B). Всё соединено на уровне токенов, обучается end-to-end.
Результат: 9B параметров, работает на устройствах с <12GB RAM, по vision-language догоняет Gemini 2.5 Flash, обгоняет Qwen3-Omni-30B в omni-понимании. Плюс поддержка клонирования голоса через мультимодальный system prompt.
https://arxiv.org/abs/2604.27393
Nvidia Tech выпустила подробное руководство по квантизации AI-моделей с помощью NVIDIA Model Optimizer.
Что это значит на практике: инструмент ModelOpt позволяет сжимать модели вроде CLIP до формата FP8 без заметной потери качества. Тесты на ImageNet и MS-COCO показали: квантизованная модель работает почти так же хорошо, как оригинальная FP16-версия.
Зачем это нужно? Меньше памяти GPU, быстрее инференс — модели становятся доступны на обычных потребительских картах GeForce RTX. ModelOpt поддерживает форматы FP4, FP8, INT4, INT8 и работает с моделями из Hugging Face, PyTorch и ONNX.
Особенность подхода: квантизация происходит после обучения (PTQ), без переобучения модели. Достаточно калибровочного датасета из 8 тысяч примеров.
https://developer.nvidia.com/blog/model-quantization-post-training-quantization-using-nvidia-model-optimizer/
Что это значит на практике: инструмент ModelOpt позволяет сжимать модели вроде CLIP до формата FP8 без заметной потери качества. Тесты на ImageNet и MS-COCO показали: квантизованная модель работает почти так же хорошо, как оригинальная FP16-версия.
Зачем это нужно? Меньше памяти GPU, быстрее инференс — модели становятся доступны на обычных потребительских картах GeForce RTX. ModelOpt поддерживает форматы FP4, FP8, INT4, INT8 и работает с моделями из Hugging Face, PyTorch и ONNX.
Особенность подхода: квантизация происходит после обучения (PTQ), без переобучения модели. Достаточно калибровочного датасета из 8 тысяч примеров.
https://developer.nvidia.com/blog/model-quantization-post-training-quantization-using-nvidia-model-optimizer/
NVIDIA Technical Blog
Model Quantization: Post-Training Quantization Using NVIDIA Model Optimizer
Model quantization is an effective method to reduce VRAM usage and improve inference performance on consumer devices such as NVIDIA GeForce RTX GPUs. By lowering computational and memory requirements…
Nvidia Tech обновила инструмент NCCL Inspector — теперь он работает в реальном времени.
NCCL 2.30 получил режим Prometheus Mode: метрики GPU-коммуникаций при обучении нейросетей теперь можно смотреть вживую через дашборды Grafana, а не ждать офлайн-анализа JSON-файлов.
Что это даёт на практике: когда обучение большой модели замедляется, раньше было сложно понять — виновата сеть, железо или конкретный GPU. Теперь инженеры видят просадку bandwidth прямо в момент её возникновения. В тестах удалось поймать сетевую деградацию, снизившую производительность с 310 до 268 TFLOPs/GPU, то есть минус 13%.
Бонус: новый режим не требует большого хранилища — файлы метрик перезаписываются непрерывно и сразу уходят в Prometheus.
Полезно всем, кто занимается распределённым обучением на GPU-кластерах и хочет быстрее находить узкие места.
https://developer.nvidia.com/blog/real-time-performance-monitoring-and-faster-debugging-with-nccl-inspector-and-prometheus/
NCCL 2.30 получил режим Prometheus Mode: метрики GPU-коммуникаций при обучении нейросетей теперь можно смотреть вживую через дашборды Grafana, а не ждать офлайн-анализа JSON-файлов.
Что это даёт на практике: когда обучение большой модели замедляется, раньше было сложно понять — виновата сеть, железо или конкретный GPU. Теперь инженеры видят просадку bandwidth прямо в момент её возникновения. В тестах удалось поймать сетевую деградацию, снизившую производительность с 310 до 268 TFLOPs/GPU, то есть минус 13%.
Бонус: новый режим не требует большого хранилища — файлы метрик перезаписываются непрерывно и сразу уходят в Prometheus.
Полезно всем, кто занимается распределённым обучением на GPU-кластерах и хочет быстрее находить узкие места.
https://developer.nvidia.com/blog/real-time-performance-monitoring-and-faster-debugging-with-nccl-inspector-and-prometheus/
NVIDIA Technical Blog
Real-Time Performance Monitoring and Faster Debugging with NCCL Inspector and Prometheus
Distributed deep learning depends on fast, reliable GPU-to-GPU communication using the NVIDIA Collective Communication Library (NCCL). When training slows down, it becomes challenging to determine why…
Apple ML представила RVPO — новый метод обучения языковых моделей с учётом рисков.
Проблема: существующие методы RLHF усредняют несколько метрик вознаграждения арифметически. Из-за этого модель может отлично справляться с одними задачами, полностью игнорируя критически важные — например, безопасность или форматирование.
RVPO решает это через штраф за разброс между наградами. Вместо "максимизируй сумму" цель становится "максимизируй стабильность по всем критериям". Математически это реализовано через оператор LogSumExp, который работает как сглаженный вариационный штраф.
На практике: модель Qwen2.5-14B с RVPO набрала 0.261 на медицинском бенчмарке HealthBench против 0.215 у конкурирующего метода GDPO. При этом общие способности не деградируют.
Почему важно: это шаг к более надёжным AI-ассистентам, которые не жертвуют безопасностью ради производительности в других областях.
https://machinelearning.apple.com/research/rvpo-risk-sensitive-alignment
Проблема: существующие методы RLHF усредняют несколько метрик вознаграждения арифметически. Из-за этого модель может отлично справляться с одними задачами, полностью игнорируя критически важные — например, безопасность или форматирование.
RVPO решает это через штраф за разброс между наградами. Вместо "максимизируй сумму" цель становится "максимизируй стабильность по всем критериям". Математически это реализовано через оператор LogSumExp, который работает как сглаженный вариационный штраф.
На практике: модель Qwen2.5-14B с RVPO набрала 0.261 на медицинском бенчмарке HealthBench против 0.215 у конкурирующего метода GDPO. При этом общие способности не деградируют.
Почему важно: это шаг к более надёжным AI-ассистентам, которые не жертвуют безопасностью ради производительности в других областях.
https://machinelearning.apple.com/research/rvpo-risk-sensitive-alignment
Apple Machine Learning Research
RVPO: Risk-Sensitive Alignment via Variance Regularization
Current critic-less RLHF methods aggregate multi-objective rewards via an arithmetic mean, leaving them vulnerable to constraint neglect:…
Идея из LLM-мира спасает text-to-image генерацию от "эффекта качелей"
Когда учишь диффузионную модель сразу нескольким задачам (OCR, композиция, эстетика), улучшение одного неизбежно ломает другое — это называют seesaw effect. Авторы из USTC предлагают Flow-OPD: берём идею On-Policy Distillation из мира LLM (DeepSeek, GLM) и переносим её на Flow Matching модели.
Схема: сначала обучаем отдельных учителей через GRPO под каждую задачу. Потом студент генерирует свои траектории, учителя дают плотную (trajectory-level) supervision по своим доменам. Плюс добавляется Manifold Anchor Regularization — task-agnostic учитель следит, чтобы эстетика не деградировала.
Результат на SD 3.5 Medium: GenEval 63→92, OCR accuracy 59→94, +10 пунктов над vanilla GRPO. И студент местами обгоняет своих учителей.
https://arxiv.org/abs/2605.08063
Когда учишь диффузионную модель сразу нескольким задачам (OCR, композиция, эстетика), улучшение одного неизбежно ломает другое — это называют seesaw effect. Авторы из USTC предлагают Flow-OPD: берём идею On-Policy Distillation из мира LLM (DeepSeek, GLM) и переносим её на Flow Matching модели.
Схема: сначала обучаем отдельных учителей через GRPO под каждую задачу. Потом студент генерирует свои траектории, учителя дают плотную (trajectory-level) supervision по своим доменам. Плюс добавляется Manifold Anchor Regularization — task-agnostic учитель следит, чтобы эстетика не деградировала.
Результат на SD 3.5 Medium: GenEval 63→92, OCR accuracy 59→94, +10 пунктов над vanilla GRPO. И студент местами обгоняет своих учителей.
https://arxiv.org/abs/2605.08063
HyperEyes: поиск вширь, а не вглубь (by Xiaohongshu)
Мультимодальные агенты поиска умеют искать параллельно — но всё равно делают это последовательно. Почему? Потому что их обучали только на точность ответа, без штрафа за лишние шаги.
HyperEyes решает это через Dual-Grained Efficiency-Aware RL:
— На уровне траектории: динамический референс TRACE, который по ходу обучения ужесточает требования к числу шагов
— На уровне токенов: On-Policy Distillation — учитель подсказывает правильные токены на провальных роллаутах, решая проблему размытого кредита
Плюс Unified Grounded Search: вместо "сначала crop, потом search" — единое действие, которое одновременно локализует все сущности на изображении и запускает параллельный поиск.
Результат на 6 бенчмарках: +9.9% к точности и в 5.3× меньше обращений к инструментам по сравнению с лучшим open-source агентом.
https://arxiv.org/abs/2605.07177
Мультимодальные агенты поиска умеют искать параллельно — но всё равно делают это последовательно. Почему? Потому что их обучали только на точность ответа, без штрафа за лишние шаги.
HyperEyes решает это через Dual-Grained Efficiency-Aware RL:
— На уровне траектории: динамический референс TRACE, который по ходу обучения ужесточает требования к числу шагов
— На уровне токенов: On-Policy Distillation — учитель подсказывает правильные токены на провальных роллаутах, решая проблему размытого кредита
Плюс Unified Grounded Search: вместо "сначала crop, потом search" — единое действие, которое одновременно локализует все сущности на изображении и запускает параллельный поиск.
Результат на 6 бенчмарках: +9.9% к точности и в 5.3× меньше обращений к инструментам по сравнению с лучшим open-source агентом.
https://arxiv.org/abs/2605.07177
(by Google) LLM сам придумывает алгоритмы test-time scaling вместо людей
Все существующие стратегии TTS (self-consistency, beam search, adaptive pruning) — это ручные эвристики: исследователи вручную решают, когда ветвиться, углубляться или останавливаться.
Google предлагает AutoTTS: пусть LLM-агент сам ищет оптимальную стратегию управления вычислениями. Ключевая идея — оффлайн-среда: заранее собираем траектории рассуждений, и агент (Claude Code!) оценивает кандидат-контроллеры без повторных вызовов базовой модели — дёшево и детерминированно.
Два трюка делают поиск управляемым: бета-параметризация (один скалярный параметр β управляет всеми гиперпараметрами контроллера) и трейсы исполнения (агент видит не просто точность, а как именно контроллер тратил бюджет — и может диагностировать ошибки).
Результат: найденные контроллеры бьют ручные базовые линии по Парето-фронту accuracy/cost и обобщаются на новые бенчмарки и масштабы моделей.
https://arxiv.org/abs/2605.08083
Все существующие стратегии TTS (self-consistency, beam search, adaptive pruning) — это ручные эвристики: исследователи вручную решают, когда ветвиться, углубляться или останавливаться.
Google предлагает AutoTTS: пусть LLM-агент сам ищет оптимальную стратегию управления вычислениями. Ключевая идея — оффлайн-среда: заранее собираем траектории рассуждений, и агент (Claude Code!) оценивает кандидат-контроллеры без повторных вызовов базовой модели — дёшево и детерминированно.
Два трюка делают поиск управляемым: бета-параметризация (один скалярный параметр β управляет всеми гиперпараметрами контроллера) и трейсы исполнения (агент видит не просто точность, а как именно контроллер тратил бюджет — и может диагностировать ошибки).
Результат: найденные контроллеры бьют ручные базовые линии по Парето-фронту accuracy/cost и обобщаются на новые бенчмарки и масштабы моделей.
https://arxiv.org/abs/2605.08083
Математики vs LLM: кто сильнее в настоящей математике? (by EleutherAI)
Топовые модели решают олимпиадные задачи уже неплохо — но что если дать им задачи уровня аспирантуры, написанные живыми математиками? Именно это сделали авторы бенчмарка Soohak: 105 математиков (38 профессоров, 25 постдоков/PhD, IMO-медалисты) написали задачи с нуля, без ИИ.
Результаты на Challenge-части: лучший Gemini-3-Pro берёт лишь 30%, GPT-5 — 26%, Claude Opus 4.5 — 10%. Лучшая открытая модель Kimi-2.5 — 14%.
Отдельный сюрприз: Refusal-сабсет с некорректно поставленными задачами. Лучшие модели распознают "плохие" задачи лишь в 43-49% случаев — остальное время уверенно решают то, что решить невозможно.
Человеческая команда IMO-медалистов и PhD покрыла 50% задач — бенчмарк сложный, но реальный.
https://arxiv.org/abs/2605.09063
Топовые модели решают олимпиадные задачи уже неплохо — но что если дать им задачи уровня аспирантуры, написанные живыми математиками? Именно это сделали авторы бенчмарка Soohak: 105 математиков (38 профессоров, 25 постдоков/PhD, IMO-медалисты) написали задачи с нуля, без ИИ.
Результаты на Challenge-части: лучший Gemini-3-Pro берёт лишь 30%, GPT-5 — 26%, Claude Opus 4.5 — 10%. Лучшая открытая модель Kimi-2.5 — 14%.
Отдельный сюрприз: Refusal-сабсет с некорректно поставленными задачами. Лучшие модели распознают "плохие" задачи лишь в 43-49% случаев — остальное время уверенно решают то, что решить невозможно.
Человеческая команда IMO-медалистов и PhD покрыла 50% задач — бенчмарк сложный, но реальный.
https://arxiv.org/abs/2605.09063
Законы масштабирования для слияния LLM
Слияние моделей (model merging) — мощный трюк: берёшь несколько специализированных LLM, складываешь их веса и получаешь одну универсальную модель без дообучения. Но когда стоит остановиться и сколько экспертов сливать?
Авторы из Hong Kong PolyU вывели закон масштабирования для merging: потери убывают по формуле floor + tail, где floor зависит от размера модели N, а tail убывает как 1/(k+b) с числом экспертов k. Проверили на 10 866 слитых моделях (0.5B–72B, 9 доменов, 4 метода: Average, TA, TIES, DARE). R² > 0.98.
Главные выводы: большие модели сливаются легче; большинство выигрыша даёт первая горсть экспертов — потом плато; различия между методами исчезают при росте масштаба. При этом merging почти догоняет multitask SFT, тратя ничтожно мало GPU-часов.
Практически: три замера — и можно предсказать всю кривую качества и выбрать оптимальное k под бюджет.
https://arxiv.org/abs/2509.24244
Слияние моделей (model merging) — мощный трюк: берёшь несколько специализированных LLM, складываешь их веса и получаешь одну универсальную модель без дообучения. Но когда стоит остановиться и сколько экспертов сливать?
Авторы из Hong Kong PolyU вывели закон масштабирования для merging: потери убывают по формуле floor + tail, где floor зависит от размера модели N, а tail убывает как 1/(k+b) с числом экспертов k. Проверили на 10 866 слитых моделях (0.5B–72B, 9 доменов, 4 метода: Average, TA, TIES, DARE). R² > 0.98.
Главные выводы: большие модели сливаются легче; большинство выигрыша даёт первая горсть экспертов — потом плато; различия между методами исчезают при росте масштаба. При этом merging почти догоняет multitask SFT, тратя ничтожно мало GPU-часов.
Практически: три замера — и можно предсказать всю кривую качества и выбрать оптимальное k под бюджет.
https://arxiv.org/abs/2509.24244
Qwen-Image-2.0: один фреймворк для генерации и редактирования изображений (by Qwen/Alibaba)
Главная идея: зачем держать отдельные модели для text-to-image и редактирования, если можно обучить одну?
Qwen-Image-2.0 объединяет генерацию и инструкционное редактирование в единой архитектуре. Под капотом — Qwen3-VL как энкодер + MMDiT-бэкбон, плюс VAE с 16× сжатием для нативной генерации в 2K.
Ключевые фишки:
— Рендеринг текста до 1K токенов промпта (слайды, постеры, инфографика)
— Широкая многоязычность с корректной типографикой
— RLHF через GRPO с отдельными reward-моделями для эстетики, портретов, следования инструкциям
Данные обучаются в 6 стадий фильтрации с автоматическим data flywheel — модель сама находит свои провалы через evaluation-сигналы и итеративно улучшается.
Конкурируют с GPT-4o image gen и Gemini Imagen — судя по бенчмаркам, вполне достойно.
https://arxiv.org/abs/2605.10730
Главная идея: зачем держать отдельные модели для text-to-image и редактирования, если можно обучить одну?
Qwen-Image-2.0 объединяет генерацию и инструкционное редактирование в единой архитектуре. Под капотом — Qwen3-VL как энкодер + MMDiT-бэкбон, плюс VAE с 16× сжатием для нативной генерации в 2K.
Ключевые фишки:
— Рендеринг текста до 1K токенов промпта (слайды, постеры, инфографика)
— Широкая многоязычность с корректной типографикой
— RLHF через GRPO с отдельными reward-моделями для эстетики, портретов, следования инструкциям
Данные обучаются в 6 стадий фильтрации с автоматическим data flywheel — модель сама находит свои провалы через evaluation-сигналы и итеративно улучшается.
Конкурируют с GPT-4o image gen и Gemini Imagen — судя по бенчмаркам, вполне достойно.
https://arxiv.org/abs/2605.10730
Apple ML представила BalCapRL — новый фреймворк для обучения мультимодальных языковых моделей описывать изображения с помощью reinforcement learning.
Проблема была в том, что существующие RL-методы оптимизируют что-то одно: либо точность ответов на вопросы по картинке, либо красивый слог — но не всё сразу. В итоге модели генерировали либо длинные галлюцинирующие описания, либо гладкие, но бесполезные.
BalCapRL одновременно оптимизирует три параметра: фактическую корректность, полноту охвата и качество языка. Для этого используется GDPO-нормализация наград и новая техника length-conditional reward masking, которая штрафует за неуместную длину.
Результаты на моделях LLaVA-1.5-7B и Qwen2.5-VL: прирост до +13.6 по DCScore, +9.0 по CaptionQA и +29.0 по CapArena.
Для пользователей это значит более точные и читаемые описания изображений в будущих продуктах Apple — от accessibility-функций до поиска по фото.
https://machinelearning.apple.com/research/balcaprl-mllm-image-captioning
Проблема была в том, что существующие RL-методы оптимизируют что-то одно: либо точность ответов на вопросы по картинке, либо красивый слог — но не всё сразу. В итоге модели генерировали либо длинные галлюцинирующие описания, либо гладкие, но бесполезные.
BalCapRL одновременно оптимизирует три параметра: фактическую корректность, полноту охвата и качество языка. Для этого используется GDPO-нормализация наград и новая техника length-conditional reward masking, которая штрафует за неуместную длину.
Результаты на моделях LLaVA-1.5-7B и Qwen2.5-VL: прирост до +13.6 по DCScore, +9.0 по CaptionQA и +29.0 по CapArena.
Для пользователей это значит более точные и читаемые описания изображений в будущих продуктах Apple — от accessibility-функций до поиска по фото.
https://machinelearning.apple.com/research/balcaprl-mllm-image-captioning
Apple Machine Learning Research
BalCapRL: A Balanced Framework for RL-Based MLLM Image Captioning
Image captioning is one of the most fundamental tasks in computer vision. Owing to its open-ended nature, it has received significant…
Один трансформер вместо зоопарка энкодеров и декодеров
Классическая проблема мультимодальных систем: понимание изображений требует vision encoder, генерация — VAE/latent diffusion, и всё это склеивается на скотч. SenseNova-U1 предлагает радикальный выход: никаких VE, никаких VAE, только сырые пиксели и слова прямо на вход.
Ключевая идея — архитектура NEO-unify с near-lossless visual interface: патчи изображений кодируются минимальным embedding-слоем, а декодирование идёт через pixel-space flow matching, без латентного сжатия. Для совмещения понимания и генерации используется native Mixture-of-Transformers (MoT) — эксперты специализируются под разные модальные цели, снижая интерференцию.
Результат: модели 8B и 30B-A3B конкурируют с топовыми understanding-only VLM и при этом генерируют изображения, делают редактирование и interleaved vision+text output в одной архитектуре.
https://arxiv.org/abs/2605.12500
Классическая проблема мультимодальных систем: понимание изображений требует vision encoder, генерация — VAE/latent diffusion, и всё это склеивается на скотч. SenseNova-U1 предлагает радикальный выход: никаких VE, никаких VAE, только сырые пиксели и слова прямо на вход.
Ключевая идея — архитектура NEO-unify с near-lossless visual interface: патчи изображений кодируются минимальным embedding-слоем, а декодирование идёт через pixel-space flow matching, без латентного сжатия. Для совмещения понимания и генерации используется native Mixture-of-Transformers (MoT) — эксперты специализируются под разные модальные цели, снижая интерференцию.
Результат: модели 8B и 30B-A3B конкурируют с топовыми understanding-only VLM и при этом генерируют изображения, делают редактирование и interleaved vision+text output в одной архитектуре.
https://arxiv.org/abs/2605.12500
World Action Models: следующий шаг после VLA-роботов
Обычные VLA-модели (RT-2, OpenVLA, π0) умеют следовать инструкциям и брать предметы, но у них есть слепое пятно: они не моделируют, что произойдёт с миром после действия. Просто obs → action, без предсказания будущего.
Свежий обзор от OpenMOSS вводит термин World Action Models (WAMs) — модели, которые совместно предсказывают и действие, и следующее состояние среды: p(o', a | o, l).
Два архитектурных подхода:
1. Cascaded WAM — сначала предсказываем будущее состояние, потом из него выводим действие (явная факторизация).
2. Joint WAM — предсказание мира и генерация действий обучаются совместно в одном пространстве.
Главный бонус WAM: можно использовать огромные датасеты человеческого видео без разметки действий — модель учится физике мира из интернета.
Это первый систематический обзор этого направления, покрывающий ~80+ работ с таксономией архитектур, датасетов и бенчмарков.
https://arxiv.org/abs/2605.12090
Обычные VLA-модели (RT-2, OpenVLA, π0) умеют следовать инструкциям и брать предметы, но у них есть слепое пятно: они не моделируют, что произойдёт с миром после действия. Просто obs → action, без предсказания будущего.
Свежий обзор от OpenMOSS вводит термин World Action Models (WAMs) — модели, которые совместно предсказывают и действие, и следующее состояние среды: p(o', a | o, l).
Два архитектурных подхода:
1. Cascaded WAM — сначала предсказываем будущее состояние, потом из него выводим действие (явная факторизация).
2. Joint WAM — предсказание мира и генерация действий обучаются совместно в одном пространстве.
Главный бонус WAM: можно использовать огромные датасеты человеческого видео без разметки действий — модель учится физике мира из интернета.
Это первый систематический обзор этого направления, покрывающий ~80+ работ с таксономией архитектур, датасетов и бенчмарков.
https://arxiv.org/abs/2605.12090
Что если заставить LLM думать на Python, а не на русском?
Стандартный подход Tool-Integrated Reasoning (TIR) страдает от трёх проблем: модель сначала всё считает в NL, а потом запускает код лишь для проверки; ошибки в NL-арифметике молча копируются в код; NL и код делают одно и то же.
Авторы из Korea University предложили THINC: одна короткая фраза-план на NL в начале, а дальше всё рассуждение — только код. Никаких NL-мыслей между блоками кода, только результаты интерпретатора.
Обучение: дистилляция траекторий от учителя → SFT → RL с GRPO.
Результат: THINC-4B (на базе Qwen3-4B) набирает 78.1% на пяти олимпиадных бенчмарках (AIME 2024-2026, HMMT 2025), обходя даже Qwen3-235B-Thinking. 99.2% финальных ответов берутся прямо из вывода интерпретатора.
https://arxiv.org/abs/2605.07237
Стандартный подход Tool-Integrated Reasoning (TIR) страдает от трёх проблем: модель сначала всё считает в NL, а потом запускает код лишь для проверки; ошибки в NL-арифметике молча копируются в код; NL и код делают одно и то же.
Авторы из Korea University предложили THINC: одна короткая фраза-план на NL в начале, а дальше всё рассуждение — только код. Никаких NL-мыслей между блоками кода, только результаты интерпретатора.
Обучение: дистилляция траекторий от учителя → SFT → RL с GRPO.
Результат: THINC-4B (на базе Qwen3-4B) набирает 78.1% на пяти олимпиадных бенчмарках (AIME 2024-2026, HMMT 2025), обходя даже Qwen3-235B-Thinking. 99.2% финальных ответов берутся прямо из вывода интерпретатора.
https://arxiv.org/abs/2605.07237
OpenAI провела соревнование Parameter Golf, в котором участвовали более 1000 человек и было подано свыше 2000 работ. Участники исследовали возможности ИИ в области машинного обучения, разработки агентов для кодирования, квантизации и создания новых архитектур моделей — всё это в условиях жёстких ограничений.
Главный вывод: ИИ-ассистенты реально ускоряют исследовательский процесс, но лучшие результаты показывают те, кто умеет грамотно направлять модель, а не просто полагается на неё вслепую. Соревнование выявило неожиданные подходы к оптимизации параметров, которые команда OpenAI планирует изучить глубже.
Для исследователей и разработчиков это сигнал: человек плюс ИИ в паре дают результаты, недостижимые по отдельности. OpenAI продолжает делать ставку на совместную работу людей и моделей как на ключевое направление развития.
https://openai.com/index/what-parameter-golf-taught-us
Главный вывод: ИИ-ассистенты реально ускоряют исследовательский процесс, но лучшие результаты показывают те, кто умеет грамотно направлять модель, а не просто полагается на неё вслепую. Соревнование выявило неожиданные подходы к оптимизации параметров, которые команда OpenAI планирует изучить глубже.
Для исследователей и разработчиков это сигнал: человек плюс ИИ в паре дают результаты, недостижимые по отдельности. OpenAI продолжает делать ставку на совместную работу людей и моделей как на ключевое направление развития.
https://openai.com/index/what-parameter-golf-taught-us
OpenAI
What Parameter Golf taught us
Parameter Golf brought together 1,000+ participants and 2,000+ submissions to explore AI-assisted machine learning research, coding agents, quantization, and novel model design under strict constraints.
Microsoft Research обновили MatterSim — ИИ-платформу для проектирования материалов.
Три главных новости сразу.
Во-первых, предсказания модели подтвердились экспериментально: учёные синтезировали теплопроводящий материал TaP (тантал-фосфор), который MatterSim выбрал из 240 000 кандидатов. Измеренная теплопроводность — 152 Вт/м/К, почти как у кремния.
Во-вторых, MatterSim-v1 стал быстрее: ускорение инференса в 3-5 раз плюс интеграция с LAMMPS для запуска симуляций на нескольких GPU.
В-третьих, вышла новая модель MatterSim-MT — многозадачная, обученная на 35 млн структур. Умеет предсказывать заряды, магнитные моменты, диэлектрические свойства и моделировать сложные явления вроде переключения ферроэлектриков и электрохимических реакций.
Для учёных это означает: поиск новых материалов для электроники, аккумуляторов и аэрокосмоса теперь в сотни раз быстрее и дешевле.
https://www.microsoft.com/en-us/research/blog/advancing-ai-for-materials-with-mattersim-experimental-synthesis-faster-simulation-and-multi-task-models/
Три главных новости сразу.
Во-первых, предсказания модели подтвердились экспериментально: учёные синтезировали теплопроводящий материал TaP (тантал-фосфор), который MatterSim выбрал из 240 000 кандидатов. Измеренная теплопроводность — 152 Вт/м/К, почти как у кремния.
Во-вторых, MatterSim-v1 стал быстрее: ускорение инференса в 3-5 раз плюс интеграция с LAMMPS для запуска симуляций на нескольких GPU.
В-третьих, вышла новая модель MatterSim-MT — многозадачная, обученная на 35 млн структур. Умеет предсказывать заряды, магнитные моменты, диэлектрические свойства и моделировать сложные явления вроде переключения ферроэлектриков и электрохимических реакций.
Для учёных это означает: поиск новых материалов для электроники, аккумуляторов и аэрокосмоса теперь в сотни раз быстрее и дешевле.
https://www.microsoft.com/en-us/research/blog/advancing-ai-for-materials-with-mattersim-experimental-synthesis-faster-simulation-and-multi-task-models/
Microsoft Research
MatterSim expands materials discovery with faster simulation and a new multi-task model
MatterSim is expanding what AI can do for materials science—from faster large-scale simulations to MatterSim-MT, a new multi-task model for simulating properties beyond potential energy surfaces alone.
Microsoft Research выпустила SocialReasoning-Bench — бенчмарк для оценки того, насколько хорошо AI-агенты отстаивают интересы пользователей в переговорах.
Тест проверяет агентов в двух сценариях: согласование встреч в календаре и торг на маркетплейсе. Оцениваются два параметра: насколько выгодный результат получил пользователь и насколько грамотным был сам процесс принятия решений.
Результаты тревожные: современные модели (GPT-4.1, GPT-5, Claude Sonnet, Gemini Flash) справляются с задачей формально, но регулярно оставляют пользователя в проигрыше — соглашаются на неудобное время встречи или невыгодную цену вместо того, чтобы торговаться. Даже прямая инструкция «действуй в интересах пользователя» не решает проблему.
По сути, AI-агентам пока далеко до профессионального адвоката или риелтора, которые обязаны защищать клиента. Это важно, учитывая, что агенты уже управляют почтой и календарями миллионов людей.
https://www.microsoft.com/en-us/research/blog/socialreasoning-bench-measuring-whether-ai-agents-act-in-users-best-interests/
Тест проверяет агентов в двух сценариях: согласование встреч в календаре и торг на маркетплейсе. Оцениваются два параметра: насколько выгодный результат получил пользователь и насколько грамотным был сам процесс принятия решений.
Результаты тревожные: современные модели (GPT-4.1, GPT-5, Claude Sonnet, Gemini Flash) справляются с задачей формально, но регулярно оставляют пользователя в проигрыше — соглашаются на неудобное время встречи или невыгодную цену вместо того, чтобы торговаться. Даже прямая инструкция «действуй в интересах пользователя» не решает проблему.
По сути, AI-агентам пока далеко до профессионального адвоката или риелтора, которые обязаны защищать клиента. Это важно, учитывая, что агенты уже управляют почтой и календарями миллионов людей.
https://www.microsoft.com/en-us/research/blog/socialreasoning-bench-measuring-whether-ai-agents-act-in-users-best-interests/
Microsoft Research
SocialReasoning Bench shows the limits of today’s AI agents
Using SocialReasoning Bench, we observed a stable pattern across models—agents execute competently, but fail to consistently improve the user’s position, even with explicit instructions to optimize for user interest.
Инфраструктура для миллионов LoRA-моделей на одном базовом весе
Представьте: у вас тысячи клиентов, каждый хочет свою дообученную LLM. Копировать полный чекпоинт на каждого — катастрофа. MinT (MindLab Toolkit) решает это элегантно: базовая модель живёт постоянно в памяти, а между обучением и инференсом передаются только LoRA-адаптеры (менее 1% от размера базы).
Ключевые числа: передача адаптера вместо полного чекпоинта ускоряет handoff в 18x на 4B модели и в 2.85x на 30B MoE. Параллельное обучение нескольких политик сокращает wall time в 1.77x без роста памяти. Один движок может адресовать каталог из 10^6 адаптеров, загрузка MoE LoRA ускорена в 8.5x.
MinT управляет полным жизненным циклом: обучение → экспорт ревизии → роллаут → оценка → сервинг → откат. Всё через единый API, совместимый с Tinker от Thinking Machines Lab.
https://arxiv.org/abs/2605.13779
Представьте: у вас тысячи клиентов, каждый хочет свою дообученную LLM. Копировать полный чекпоинт на каждого — катастрофа. MinT (MindLab Toolkit) решает это элегантно: базовая модель живёт постоянно в памяти, а между обучением и инференсом передаются только LoRA-адаптеры (менее 1% от размера базы).
Ключевые числа: передача адаптера вместо полного чекпоинта ускоряет handoff в 18x на 4B модели и в 2.85x на 30B MoE. Параллельное обучение нескольких политик сокращает wall time в 1.77x без роста памяти. Один движок может адресовать каталог из 10^6 адаптеров, загрузка MoE LoRA ускорена в 8.5x.
MinT управляет полным жизненным циклом: обучение → экспорт ревизии → роллаут → оценка → сервинг → откат. Всё через единый API, совместимый с Tinker от Thinking Machines Lab.
https://arxiv.org/abs/2605.13779
AnyFlow: видео-диффузия с любым числом шагов (by NVIDIA)
Проблема consistency-моделей для видео: они отлично работают на 2-4 шагах, но при увеличении числа шагов качество не растёт, а иногда падает. Причина структурная — повторное зашумление промежуточных состояний накапливает ошибки и уводит траекторию от целевого пути.
AnyFlow решает это через flow map дистилляцию. Вместо того чтобы учить прямой прыжок z_t → z_0, модель учит переходы между произвольными парами времён z_t → z_r. Это позволяет одной модели работать с любым бюджетом шагов: быстрый превью за 2-4 NFE или качественный рендер за 32 NFE.
Ключевой трюк — flow map backward simulation: вместо дорогой симуляции полной траектории используются shortcut-декомпозиции, что делает on-policy дистилляцию масштабируемой.
Результат на 14B модели: 84.05 VBench при 4 NFE и 84.41 при 32 NFE — и это одна и та же модель!
https://arxiv.org/abs/2605.13724
Проблема consistency-моделей для видео: они отлично работают на 2-4 шагах, но при увеличении числа шагов качество не растёт, а иногда падает. Причина структурная — повторное зашумление промежуточных состояний накапливает ошибки и уводит траекторию от целевого пути.
AnyFlow решает это через flow map дистилляцию. Вместо того чтобы учить прямой прыжок z_t → z_0, модель учит переходы между произвольными парами времён z_t → z_r. Это позволяет одной модели работать с любым бюджетом шагов: быстрый превью за 2-4 NFE или качественный рендер за 32 NFE.
Ключевой трюк — flow map backward simulation: вместо дорогой симуляции полной траектории используются shortcut-декомпозиции, что делает on-policy дистилляцию масштабируемой.
Результат на 14B модели: 84.05 VBench при 4 NFE и 84.41 при 32 NFE — и это одна и та же модель!
https://arxiv.org/abs/2605.13724