PyTorch (Meta): как инженеры подняли эффективность обучения AI-моделей выше 90%
Meta поделилась опытом оптимизации тренировочной инфраструктуры на PyTorch для рекомендательных систем.
Команда ввела метрику ETT% — доля времени, которую кластер реально тратит на обучение, а не на запуск, сбои и восстановление. До оптимизаций значительная часть GPU-времени уходила впустую.
За полтора года разработали более 40 улучшений: распараллелили PT2-компиляцию и загрузку данных, убрали лишние all_gather-вызовы при инициализации, ускорили восстановление после сбоев и перенесли публикацию моделей для инференса с GPU на CPU.
Результат: ETT% для офлайн-обучения превысил 90%.
Часть улучшений уже в опенсорсе — оптимизации TorchRec и PT2. Остальное адаптируемо для других команд.
https://pytorch.org/blog/optimizing-effective-training-time-for-metas-internal-recommendation-ranking-workloads/
Meta поделилась опытом оптимизации тренировочной инфраструктуры на PyTorch для рекомендательных систем.
Команда ввела метрику ETT% — доля времени, которую кластер реально тратит на обучение, а не на запуск, сбои и восстановление. До оптимизаций значительная часть GPU-времени уходила впустую.
За полтора года разработали более 40 улучшений: распараллелили PT2-компиляцию и загрузку данных, убрали лишние all_gather-вызовы при инициализации, ускорили восстановление после сбоев и перенесли публикацию моделей для инференса с GPU на CPU.
Результат: ETT% для офлайн-обучения превысил 90%.
Часть улучшений уже в опенсорсе — оптимизации TorchRec и PT2. Остальное адаптируемо для других команд.
https://pytorch.org/blog/optimizing-effective-training-time-for-metas-internal-recommendation-ranking-workloads/
Сломать нейросеть двумя битами (by NVIDIA)
Что если для полного уничтожения нейросети достаточно перевернуть 1-2 бита в весах модели — без данных, без обучения, без единого прохода через сеть?
Именно это показывают авторы из NVIDIA. Они нашли "критические параметры" — веса с большой величиной в ранних слоях, чей знаковый бит особенно уязвим. Флип знакового бита в IEEE-754 меняет вес с +X на -X, что ломает всю цепочку вычислений.
Атака DNL работает чисто эвристически: смотришь на веса, находишь самые большие по модулю в ранних слоях — и флипаешь их знаковый бит. Для модели Qwen3-30B-A3B два флипа в двух разных экспертах роняют точность с 78% до 0%.
Вектор атаки реальный: Rowhammer, DMA через Thunderbolt, прошивки GPU, руткиты. Всё это позволяет точечно менять биты в памяти без ведома ОС.
https://arxiv.org/abs/2502.07408
Что если для полного уничтожения нейросети достаточно перевернуть 1-2 бита в весах модели — без данных, без обучения, без единого прохода через сеть?
Именно это показывают авторы из NVIDIA. Они нашли "критические параметры" — веса с большой величиной в ранних слоях, чей знаковый бит особенно уязвим. Флип знакового бита в IEEE-754 меняет вес с +X на -X, что ломает всю цепочку вычислений.
Атака DNL работает чисто эвристически: смотришь на веса, находишь самые большие по модулю в ранних слоях — и флипаешь их знаковый бит. Для модели Qwen3-30B-A3B два флипа в двух разных экспертах роняют точность с 78% до 0%.
Вектор атаки реальный: Rowhammer, DMA через Thunderbolt, прошивки GPU, руткиты. Всё это позволяет точечно менять биты в памяти без ведома ОС.
https://arxiv.org/abs/2502.07408
OneVL: цепочка мыслей без авторегрессии (by Xiaomi Research)
Chain-of-Thought рассуждения делают автопилот умнее, но медленнее — модель должна сгенерировать все токены рассуждения до того, как выдать траекторию. OneVL решает это радикально: вместо текстовых токенов рассуждения — компактные латентные векторы двух типов, языковые и визуальные.
Фишка: во время обучения два вспомогательных декодера заставляют эти латентные векторы восстанавливать одновременно текстовый CoT и предсказанные будущие кадры сцены (world model). На инференсе деодеры выбрасываются, а латентные токены просто prefill-ятся в контекст — один проход, скорость как у модели без рассуждений.
Результат: OneVL обгоняет явный CoT по качеству траекторий, при этом работает быстро. Авторы показывают, что визуальное предсказание будущего — ключевой ингредиент, которого не хватало языковым latent CoT методам вроде COCONUT и CODI.
https://arxiv.org/abs/2604.18486
Chain-of-Thought рассуждения делают автопилот умнее, но медленнее — модель должна сгенерировать все токены рассуждения до того, как выдать траекторию. OneVL решает это радикально: вместо текстовых токенов рассуждения — компактные латентные векторы двух типов, языковые и визуальные.
Фишка: во время обучения два вспомогательных декодера заставляют эти латентные векторы восстанавливать одновременно текстовый CoT и предсказанные будущие кадры сцены (world model). На инференсе деодеры выбрасываются, а латентные токены просто prefill-ятся в контекст — один проход, скорость как у модели без рассуждений.
Результат: OneVL обгоняет явный CoT по качеству траекторий, при этом работает быстро. Авторы показывают, что визуальное предсказание будущего — ключевой ингредиент, которого не хватало языковым latent CoT методам вроде COCONUT и CODI.
https://arxiv.org/abs/2604.18486
SNR-t bias: скрытая болезнь диффузионных моделей (by Alibaba)
Диффузионные модели во время обучения жёстко связывают уровень шума (SNR) с номером шага. Но при инференсе накапливаются ошибки — и реальный SNR сэмпла перестаёт соответствовать тому шагу, на который рассчитана сеть. Авторы называют это SNR-t bias.
Последствия конкретные: сеть получает сэмпл с "неправильным" SNR и начинает предсказывать неверное количество шума. Причём обратный процесс систематически даёт более низкий SNR, чем прямой — то есть сеть всегда работает в условиях, к которым не готовилась.
Решение — без дообучения. Авторы предлагают динамическую дифференциальную коррекцию в вейвлет-домене: на каждом шаге сравниваются распределения "предсказанного" и "реконструированного" сэмпла, разница используется как градиент для коррекции. Вейвлеты позволяют отдельно корректировать низкие и высокие частоты — что логично, ведь диффузия сначала восстанавливает контуры, потом детали.
Диффузионные модели во время обучения жёстко связывают уровень шума (SNR) с номером шага. Но при инференсе накапливаются ошибки — и реальный SNR сэмпла перестаёт соответствовать тому шагу, на который рассчитана сеть. Авторы называют это SNR-t bias.
Последствия конкретные: сеть получает сэмпл с "неправильным" SNR и начинает предсказывать неверное количество шума. Причём обратный процесс систематически даёт более низкий SNR, чем прямой — то есть сеть всегда работает в условиях, к которым не готовилась.
Решение — без дообучения. Авторы предлагают динамическую дифференциальную коррекцию в вейвлет-домене: на каждом шаге сравниваются распределения "предсказанного" и "реконструированного" сэмпла, разница используется как градиент для коррекции. Вейвлеты позволяют отдельно корректировать низкие и высокие частоты — что логично, ведь диффузия сначала восстанавливает контуры, потом детали.
Nvidia Tech запустила поддержку сквозного обучения с подкреплением на точности FP8 в библиотеке NeMo RL.
Суть: обучение LLM через RL (например, алгоритм GRPO) делится на два этапа — генерацию и тренировку. Раньше использование FP8 только на одном из этапов создавало численные расхождения и снижало точность. Теперь FP8 применяется сквозь оба этапа, что решает проблему.
Что это даёт:
— Прирост скорости 15–25% по сравнению с BF16 при сопоставимой точности (0.613 vs 0.616 на Llama 3.1 8B)
— Поддержка как плотных моделей, так и MoE (Qwen3-30B)
— FP8 для KV-кэша и attention с автоматической рекалибровкой после каждого шага обучения
Для исследователей и инженеров это означает: можно обучать более мощные reasoning-модели быстрее и дешевле без потери качества. Всё доступно в открытом исходном коде через NeMo framework.
https://developer.nvidia.com/blog/run-high-throughput-reinforcement-learning-training-with-end-to-end-fp8-precision/
Суть: обучение LLM через RL (например, алгоритм GRPO) делится на два этапа — генерацию и тренировку. Раньше использование FP8 только на одном из этапов создавало численные расхождения и снижало точность. Теперь FP8 применяется сквозь оба этапа, что решает проблему.
Что это даёт:
— Прирост скорости 15–25% по сравнению с BF16 при сопоставимой точности (0.613 vs 0.616 на Llama 3.1 8B)
— Поддержка как плотных моделей, так и MoE (Qwen3-30B)
— FP8 для KV-кэша и attention с автоматической рекалибровкой после каждого шага обучения
Для исследователей и инженеров это означает: можно обучать более мощные reasoning-модели быстрее и дешевле без потери качества. Всё доступно в открытом исходном коде через NeMo framework.
https://developer.nvidia.com/blog/run-high-throughput-reinforcement-learning-training-with-end-to-end-fp8-precision/
NVIDIA Technical Blog
Run High-Throughput Reinforcement Learning Training with End-to-End FP8 Precision
As LLMs transition from simple text generation to complex reasoning, reinforcement learning (RL) plays a central role. Algorithms like Group Relative Policy Optimization (GRPO) power this transition…
Nvidia AI Red Team обнаружила новый вид атаки на агентные AI-инструменты вроде OpenAI Codex.
Суть атаки: вредоносная зависимость в проекте подменяет файл AGENTS.md — специальный файл с инструкциями для AI-агента. В результате Codex начинает выполнять команды злоумышленника вместо команд разработчика, причём скрытно: без упоминания в коммитах и PR-описаниях.
В демо-сценарии разработчик просил изменить текст приветствия, а агент вместо этого тихо добавлял пятиминутную задержку в код — и создавал PR с описанием оригинального запроса.
Почему это опасно: атака использует уже существующее выполнение кода через supply chain. AGENTS.md воспринимается агентом как доверенный контекст — и это становится точкой входа.
Nvidia рекомендует ограничивать доступ агентов к файловой системе, проверять изменения в AGENTS.md и не давать агентам права на автоматическое создание PR без ревью.
https://developer.nvidia.com/blog/mitigating-indirect-agents-md-injection-attacks-in-agentic-environments/
Суть атаки: вредоносная зависимость в проекте подменяет файл AGENTS.md — специальный файл с инструкциями для AI-агента. В результате Codex начинает выполнять команды злоумышленника вместо команд разработчика, причём скрытно: без упоминания в коммитах и PR-описаниях.
В демо-сценарии разработчик просил изменить текст приветствия, а агент вместо этого тихо добавлял пятиминутную задержку в код — и создавал PR с описанием оригинального запроса.
Почему это опасно: атака использует уже существующее выполнение кода через supply chain. AGENTS.md воспринимается агентом как доверенный контекст — и это становится точкой входа.
Nvidia рекомендует ограничивать доступ агентов к файловой системе, проверять изменения в AGENTS.md и не давать агентам права на автоматическое создание PR без ревью.
https://developer.nvidia.com/blog/mitigating-indirect-agents-md-injection-attacks-in-agentic-environments/
NVIDIA Technical Blog
Mitigating Indirect AGENTS.md Injection Attacks in Agentic Environments
AI tools are significantly accelerating software development and changing how developers work with code. These tools serve as real-time copilots, automating repetitive tasks, executing tasks…
Apple ML предупреждает: ваши логиты знают больше, чем вы думаете
Исследователи Apple ML опубликовали работу о скрытой утечке информации через логиты языковых моделей. Оказывается, даже топ-k логиты — самый доступный "срез" модели — могут раскрывать данные, которые разработчик считал надёжно скрытыми.
Эксперимент проводился на vision-language моделях. Выяснилось: логиты способны сливать нерелевантную информацию об изображении из запроса — иногда столько же, сколько прямая проекция полного residual stream.
Почему это важно: компании, предоставляющие доступ к моделям через API, часто возвращают вероятности токенов. Это создаёт реальный риск — злоумышленник может извлечь чувствительные данные, даже не взламывая модель напрямую.
Работа ставит неудобный вопрос перед всей индустрией: насколько безопасно публиковать логиты?
https://machinelearning.apple.com/research/what-do-your-logits-know
Исследователи Apple ML опубликовали работу о скрытой утечке информации через логиты языковых моделей. Оказывается, даже топ-k логиты — самый доступный "срез" модели — могут раскрывать данные, которые разработчик считал надёжно скрытыми.
Эксперимент проводился на vision-language моделях. Выяснилось: логиты способны сливать нерелевантную информацию об изображении из запроса — иногда столько же, сколько прямая проекция полного residual stream.
Почему это важно: компании, предоставляющие доступ к моделям через API, часто возвращают вероятности токенов. Это создаёт реальный риск — злоумышленник может извлечь чувствительные данные, даже не взламывая модель напрямую.
Работа ставит неудобный вопрос перед всей индустрией: насколько безопасно публиковать логиты?
https://machinelearning.apple.com/research/what-do-your-logits-know
Apple Machine Learning Research
What Do Your Logits Know? (The Answer May Surprise You!)
Recent work has shown that probing model internals can reveal a wealth of information not apparent from the model generations. This poses…
LLM-агент, который пишет игры с нуля — и не ломается на третьем файле
Попросить ChatGPT написать игру — классика жанра. Получить что-то реально запускаемое — нет. Авторы из CUHK разобрали три типичных провала: модель теряет глобальный стейт, не умеет в API движка, и файлы проекта не стыкуются друг с другом.
Решение — OpenGame: агент + специализированная модель GameCoder-27B (на базе Qwen3.5-27B), обученная через CPT → SFT → RL на репозиториях Phaser/JS.
Ключевая фишка — Game Skill: Template Skill строит библиотеку скелетов проектов (side-view, top-down и т.д.), а Debug Skill ведёт живой протокол отладки, накапливая верифицированные фиксы вместо того, чтобы каждый раз изобретать велосипед.
Плюс новый бенчмарк OpenGame-Bench — оценка не по unit-тестам, а по реальной запускаемости в headless-браузере.
https://arxiv.org/abs/2604.18394
Попросить ChatGPT написать игру — классика жанра. Получить что-то реально запускаемое — нет. Авторы из CUHK разобрали три типичных провала: модель теряет глобальный стейт, не умеет в API движка, и файлы проекта не стыкуются друг с другом.
Решение — OpenGame: агент + специализированная модель GameCoder-27B (на базе Qwen3.5-27B), обученная через CPT → SFT → RL на репозиториях Phaser/JS.
Ключевая фишка — Game Skill: Template Skill строит библиотеку скелетов проектов (side-view, top-down и т.д.), а Debug Skill ведёт живой протокол отладки, накапливая верифицированные фиксы вместо того, чтобы каждый раз изобретать велосипед.
Плюс новый бенчмарк OpenGame-Bench — оценка не по unit-тестам, а по реальной запускаемости в headless-браузере.
https://arxiv.org/abs/2604.18394
❤1
Test-time training для LLM: как не упереться в потолок собственной тупости?
Проблема методов вроде TTRL и EMPO: они улучшают модель на тестовых данных без разметки, используя self-rewarding сигналы (majority voting, энтропия). Но чем увереннее модель в своих паттернах — тем хуже сигнал. Итог: плато и коллапс разнообразия ответов.
TEMPO решает это через EM-алгоритм с разделением ролей: актор обучается на unlabeled тестовых вопросах, получая награды от критика. А критик периодически перекалибруется на размеченных данных. E-шаг (обновление критика) — это то, чего не хватало всем предыдущим методам.
Результат: Qwen3-14B на AIME 2024 прыгает с 42.3% до 65.8%, OLMO3-7B с 33% до 51.1%. При этом pass@K не падает — разнообразие сохраняется.
Работает не только на математике, но и на логических задачах и STEM.
https://arxiv.org/abs/2604.19295
Проблема методов вроде TTRL и EMPO: они улучшают модель на тестовых данных без разметки, используя self-rewarding сигналы (majority voting, энтропия). Но чем увереннее модель в своих паттернах — тем хуже сигнал. Итог: плато и коллапс разнообразия ответов.
TEMPO решает это через EM-алгоритм с разделением ролей: актор обучается на unlabeled тестовых вопросах, получая награды от критика. А критик периодически перекалибруется на размеченных данных. E-шаг (обновление критика) — это то, чего не хватало всем предыдущим методам.
Результат: Qwen3-14B на AIME 2024 прыгает с 42.3% до 65.8%, OLMO3-7B с 33% до 51.1%. При этом pass@K не падает — разнообразие сохраняется.
Работает не только на математике, но и на логических задачах и STEM.
https://arxiv.org/abs/2604.19295
Модели уверены даже когда ошибаются — и виновато дистилляция (by Salesforce AI Research)
Все топовые LLM — GPT, Claude, Gemini, DeepSeek — страдают от одной болезни: они систематически переоценивают свою уверенность. Авторы называют это «Законом масштабирования неправильной калибровки»: чем мощнее модель, тем увереннее она ошибается.
Виновник — On-Policy Distillation (OPD). Учитель обучается с привилегированным контекстом (правильным ответом), поэтому генерирует почти детерминированные траектории с уверенностью ~1.0. Студент вынужден имитировать эту уверенность — но без доступа к подсказкам. Результат: искусственно заострённые логиты и слепой оптимизм.
Решение — CaOPD: разделить «что отвечать» и «насколько быть уверенным». Траектории берутся от учителя, а confidence-токен заменяется на реальный эмпирический success rate студента по нескольким роллаутам. Итог: компактная 8B модель бьёт фронтирные API по калибровке, не теряя точности.
https://arxiv.org/abs/2604.16830
Все топовые LLM — GPT, Claude, Gemini, DeepSeek — страдают от одной болезни: они систематически переоценивают свою уверенность. Авторы называют это «Законом масштабирования неправильной калибровки»: чем мощнее модель, тем увереннее она ошибается.
Виновник — On-Policy Distillation (OPD). Учитель обучается с привилегированным контекстом (правильным ответом), поэтому генерирует почти детерминированные траектории с уверенностью ~1.0. Студент вынужден имитировать эту уверенность — но без доступа к подсказкам. Результат: искусственно заострённые логиты и слепой оптимизм.
Решение — CaOPD: разделить «что отвечать» и «насколько быть уверенным». Траектории берутся от учителя, а confidence-токен заменяется на реальный эмпирический success rate студента по нескольким роллаутам. Итог: компактная 8B модель бьёт фронтирные API по калибровке, не теряя точности.
https://arxiv.org/abs/2604.16830
Nvidia Tech — оптимизация памяти для запуска больших AI-моделей на Jetson
Nvidia опубликовала техническое руководство по максимально эффективному использованию памяти на платформе Jetson — для запуска многомиллиардных языковых моделей прямо на периферийных устройствах: роботах, автономных агентах и промышленных системах.
Главная проблема: на edge-устройствах CPU и GPU делят ограниченную память, и любая неэффективность ведёт к задержкам или сбоям.
Что предлагают инженеры Nvidia:
— Отключить графический рабочий стол — экономия до 865 МБ
— Деактивировать неиспользуемые сервисы сети и журналирования — до 32 МБ
— Освободить зарезервированные carveout-регионы (дисплей, камера) — ещё до 101 МБ
Это важно для разработчиков, которые хотят запускать LLM, многокамерные системы и сенсорный фьюжн на бюджетном железе без апгрейда. Меньше памяти — меньше стоимость системы, лучше КПД на ватт.
https://developer.nvidia.com/blog/maximizing-memory-efficiency-to-run-bigger-models-on-nvidia-jetson/
Nvidia опубликовала техническое руководство по максимально эффективному использованию памяти на платформе Jetson — для запуска многомиллиардных языковых моделей прямо на периферийных устройствах: роботах, автономных агентах и промышленных системах.
Главная проблема: на edge-устройствах CPU и GPU делят ограниченную память, и любая неэффективность ведёт к задержкам или сбоям.
Что предлагают инженеры Nvidia:
— Отключить графический рабочий стол — экономия до 865 МБ
— Деактивировать неиспользуемые сервисы сети и журналирования — до 32 МБ
— Освободить зарезервированные carveout-регионы (дисплей, камера) — ещё до 101 МБ
Это важно для разработчиков, которые хотят запускать LLM, многокамерные системы и сенсорный фьюжн на бюджетном железе без апгрейда. Меньше памяти — меньше стоимость системы, лучше КПД на ватт.
https://developer.nvidia.com/blog/maximizing-memory-efficiency-to-run-bigger-models-on-nvidia-jetson/
NVIDIA Technical Blog
Maximizing Memory Efficiency to Run Bigger Models on NVIDIA Jetson
The boom in open source generative AI models is pushing beyond data centers into machines operating in the physical world. Developers are eager to deploy these models at the edge…
Apple ML опубликовала исследование на конференции EACL: учёные проверили, насколько хорошо большие языковые модели реально понимают контекст.
Для этого создали специальный бенчмарк из четырёх задач и девяти датасетов. Результаты оказались показательными: предобученные модели плохо справляются с тонкими контекстными нюансами по сравнению с дообученными аналогами. Отдельно проверили квантизированные модели — сжатие до 3 бит заметно ухудшает понимание контекста.
Почему это важно: контекст — основа человеческого языка. Если модель его не улавливает, она ошибается в диалогах, неверно интерпретирует запросы и теряет смысл. Для Apple, которая встраивает AI в Siri и другие продукты, это критично. Исследование помогает понять, где именно модели проседают — и как это исправить при оптимизации под мобильные устройства.
https://machinelearning.apple.com/research/llm-context-understanding
Для этого создали специальный бенчмарк из четырёх задач и девяти датасетов. Результаты оказались показательными: предобученные модели плохо справляются с тонкими контекстными нюансами по сравнению с дообученными аналогами. Отдельно проверили квантизированные модели — сжатие до 3 бит заметно ухудшает понимание контекста.
Почему это важно: контекст — основа человеческого языка. Если модель его не улавливает, она ошибается в диалогах, неверно интерпретирует запросы и теряет смысл. Для Apple, которая встраивает AI в Siri и другие продукты, это критично. Исследование помогает понять, где именно модели проседают — и как это исправить при оптимизации под мобильные устройства.
https://machinelearning.apple.com/research/llm-context-understanding
Apple Machine Learning Research
Can Large Language Models Understand Context?
Understanding context is key to understanding human language, an ability which Large Language Models (LLMs) have been increasingly seen to…
OpenAI показали улучшенную генерацию изображений в ChatGPT — теперь модель гораздо точнее следует инструкциям пользователя. Демонстрацию подготовил разработчик Jianfeng Wang.
Судя по всему, новая версия значительно лучше понимает детальные текстовые описания и воспроизводит именно то, что просит пользователь — без лишних "творческих интерпретаций" со стороны ИИ. Это одна из главных болей при работе с генераторами изображений: модель делает что-то похожее, но не то.
https://x.com/OpenAI/status/2046691648604905588
Судя по всему, новая версия значительно лучше понимает детальные текстовые описания и воспроизводит именно то, что просит пользователь — без лишних "творческих интерпретаций" со стороны ИИ. Это одна из главных болей при работе с генераторами изображений: модель делает что-то похожее, но не то.
https://x.com/OpenAI/status/2046691648604905588
X (formerly Twitter)
OpenAI (@OpenAI) on X
Instruction Following in ChatGPT Images 2.0, demonstrated by @jianfw
OpenAI рассказали, почему их новая модель генерации изображений ChatGPT Images 2.0 считается лучшей в своём классе.
Исследователи, работавшие над моделью, объяснили, что отличает её от конкурентов — она умеет не просто рисовать по запросу, а по-настоящему «думать» перед генерацией. Модель анализирует задачу, понимает контекст и выстраивает логику изображения, прежде чем его создать.
Это принципиально новый подход: вместо того чтобы сразу выдавать картинку, система проходит через этап рассуждения — почти как o-модели в текстовых задачах. Именно это позволяет лучше справляться со сложными сценами, текстом на изображениях и точным следованием инструкциям.
Демонстрацию возможностей подготовил исследователь Аян Жак.
https://x.com/OpenAI/status/2046691647036227700
Исследователи, работавшие над моделью, объяснили, что отличает её от конкурентов — она умеет не просто рисовать по запросу, а по-настоящему «думать» перед генерацией. Модель анализирует задачу, понимает контекст и выстраивает логику изображения, прежде чем его создать.
Это принципиально новый подход: вместо того чтобы сразу выдавать картинку, система проходит через этап рассуждения — почти как o-модели в текстовых задачах. Именно это позволяет лучше справляться со сложными сценами, текстом на изображениях и точным следованием инструкциям.
Демонстрацию возможностей подготовил исследователь Аян Жак.
https://x.com/OpenAI/status/2046691647036227700
X (formerly Twitter)
OpenAI (@OpenAI) on X
What makes ChatGPT Images 2.0 a state-of-the-art image generation model?
Researchers behind the model explain. A thread:
Thinking & Intelligence in ChatGPT Images 2.0, demonstrated by @ayaanzhaque
Researchers behind the model explain. A thread:
Thinking & Intelligence in ChatGPT Images 2.0, demonstrated by @ayaanzhaque
OpenAI анонсировали ChatGPT Images 2.0 — первую модель генерации изображений с функцией «мышления». Когда включён режим thinking, модель умеет искать актуальную информацию в интернете, создавать несколько разных картинок по одному запросу и самостоятельно проверять свои результаты. По сути, это уже не просто генератор картинок, а полноценный визуальный ассистент, который думает перед тем, как рисовать. Интересный шаг — раньше «рассуждения» были прерогативой текстовых моделей, теперь эту логику переносят и на изображения.
https://x.com/OpenAI/status/2046670989719924768
https://x.com/OpenAI/status/2046670989719924768
Google DeepMind анонсировал Deep Research и Deep Research Max — новые автономные исследовательские агенты на базе Gemini 2.5 Pro.
Они умеют самостоятельно шарить по интернету и по вашим собственным данным — внутренним документам, финансовой аналитике и прочему — и выдавать профессиональные отчёты с полными ссылками на источники.
Грубо говоря, это такой умный помощник-аналитик, которому можно скинуть задачу и получить готовый структурированный документ, а не просто набор ссылок. Особенно интересно, что агенты работают и с закрытыми корпоративными данными — это явный прицел на бизнес-аудиторию.
https://x.com/GoogleDeepMind/status/2046627042335060342
Они умеют самостоятельно шарить по интернету и по вашим собственным данным — внутренним документам, финансовой аналитике и прочему — и выдавать профессиональные отчёты с полными ссылками на источники.
Грубо говоря, это такой умный помощник-аналитик, которому можно скинуть задачу и получить готовый структурированный документ, а не просто набор ссылок. Особенно интересно, что агенты работают и с закрытыми корпоративными данными — это явный прицел на бизнес-аудиторию.
https://x.com/GoogleDeepMind/status/2046627042335060342
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
Deep Research and Deep Research Max are our latest autonomous research agents powered by Gemini 3.1 Pro.
They can safely navigate both the web and your custom data, like internal docs and specialized financial information, to create professional-grade, fully…
They can safely navigate both the web and your custom data, like internal docs and specialized financial information, to create professional-grade, fully…
Cohere поделились материалом о том, как выжать больше из спекулятивного декодирования в моделях типа MoE (Mixture of Experts).
Если коротко: спекулятивное декодирование — это техника ускорения работы больших языковых моделей. Маленькая модель быстро предлагает варианты токенов, а большая их проверяет и принимает или отклоняет. В итоге скорость генерации растет без потери качества.
В MoE-моделях это работает особенно интересно: часть экспертов простаивает при обычной генерации, и спекулятивное декодирование позволяет использовать эти ресурсы эффективнее. Cohere, судя по всему, нашли способ адаптировать этот подход специально под архитектуру MoE и получить дополнительный прирост производительности.
Тема техническая, но важная — именно такие оптимизации делают мощные модели быстрее и дешевле в использовании.
https://x.com/cohere/status/2046755038417359221
Если коротко: спекулятивное декодирование — это техника ускорения работы больших языковых моделей. Маленькая модель быстро предлагает варианты токенов, а большая их проверяет и принимает или отклоняет. В итоге скорость генерации растет без потери качества.
В MoE-моделях это работает особенно интересно: часть экспертов простаивает при обычной генерации, и спекулятивное декодирование позволяет использовать эти ресурсы эффективнее. Cohere, судя по всему, нашли способ адаптировать этот подход специально под архитектуру MoE и получить дополнительный прирост производительности.
Тема техническая, но важная — именно такие оптимизации делают мощные модели быстрее и дешевле в использовании.
https://x.com/cohere/status/2046755038417359221
X (formerly Twitter)
Cohere (@cohere) on X
Get more from speculative decoding in MoE models
https://t.co/JHVcCUAmZT
https://t.co/JHVcCUAmZT
Cohere поделились неожиданным открытием: оказывается, архитектура MoE (Mixture of Experts, когда модель использует только часть своих "экспертных" блоков для каждого токена) делает спекулятивное декодирование ещё эффективнее, а не хуже, как можно было бы предположить.
Спекулятивное декодирование — это техника ускорения генерации текста: маленькая модель предсказывает несколько токенов вперёд, а большая их проверяет. Обычно считалось, что сложные архитектуры вроде MoE могут мешать этому процессу. Но нет — всё наоборот.
https://x.com/cohere/status/2046742203758694510
Спекулятивное декодирование — это техника ускорения генерации текста: маленькая модель предсказывает несколько токенов вперёд, а большая их проверяет. Обычно считалось, что сложные архитектуры вроде MoE могут мешать этому процессу. Но нет — всё наоборот.
https://x.com/cohere/status/2046742203758694510
X (formerly Twitter)
Cohere (@cohere) on X
New Technical Report from @EkagraRanjan: Contrary to what you might expect, MoE-based LLMs make speculative decoding even more effective. Read more on our blog:
Один диффузионный LLM для понимания и генерации картинок (by inclusionAI)
Обычно задачи понимания изображений и их генерации решают разные модели. Авторы предлагают LLaDA2.0-Uni — единую систему на основе диффузионного LLM, которая делает и то, и другое.
Ключевая идея: вместо стандартных VQ-VAE токенайзеров, которые хороши для реконструкции пикселей, но теряют семантику, используется SigLIP-VQ — токенайзер, обученный на задачах понимания. Он переводит картинки в дискретные семантические токены, совместимые с текстовыми.
Архитектура: 16B MoE диффузионный LLM (LLaDA2.0) обрабатывает текст и изображения единым masked diffusion objective, а отдельный диффузионный декодер (6B, дистиллированный до 8 шагов) восстанавливает картинку из семантических токенов.
Бонус: block-wise attention вместо полного bidirectional — это помогает стабильности обучения. Модель поддерживает interleaved генерацию и рассуждения. Результаты конкурентны с Qwen2.5-VL на понимании и топовыми unified-моделями на генерации.
Обычно задачи понимания изображений и их генерации решают разные модели. Авторы предлагают LLaDA2.0-Uni — единую систему на основе диффузионного LLM, которая делает и то, и другое.
Ключевая идея: вместо стандартных VQ-VAE токенайзеров, которые хороши для реконструкции пикселей, но теряют семантику, используется SigLIP-VQ — токенайзер, обученный на задачах понимания. Он переводит картинки в дискретные семантические токены, совместимые с текстовыми.
Архитектура: 16B MoE диффузионный LLM (LLaDA2.0) обрабатывает текст и изображения единым masked diffusion objective, а отдельный диффузионный декодер (6B, дистиллированный до 8 шагов) восстанавливает картинку из семантических токенов.
Бонус: block-wise attention вместо полного bidirectional — это помогает стабильности обучения. Модель поддерживает interleaved генерацию и рассуждения. Результаты конкурентны с Qwen2.5-VL на понимании и топовыми unified-моделями на генерации.
Почему слияние нейросетей работает — теперь есть ответ
Task Arithmetic — это когда берёшь веса двух файнтюненных моделей, складываешь разности с базовой моделью, и получаешь модель, умеющую оба навыка сразу. Работает магически, но почему — никто толком не объяснял.
Авторы вводят понятие Task-Feature Specialization (TFS): если разные задачи активируют разные внутренние признаки модели, то их задачные векторы становятся ортогональными — и не мешают друг другу при сложении.
На основе этого они предлагают OrthoReg — регуляризатор, который при файнтюнинге принудительно делает обновления весов ортогональными. Это напрямую снижает интерференцию между задачами при последующем слиянии моделей.
Связь с Tangent Task Arithmetic тоже объяснена: оба метода по сути добиваются одного — ортогональности между задачными векторами, просто разными путями.
https://arxiv.org/abs/2604.17078
Task Arithmetic — это когда берёшь веса двух файнтюненных моделей, складываешь разности с базовой моделью, и получаешь модель, умеющую оба навыка сразу. Работает магически, но почему — никто толком не объяснял.
Авторы вводят понятие Task-Feature Specialization (TFS): если разные задачи активируют разные внутренние признаки модели, то их задачные векторы становятся ортогональными — и не мешают друг другу при сложении.
На основе этого они предлагают OrthoReg — регуляризатор, который при файнтюнинге принудительно делает обновления весов ортогональными. Это напрямую снижает интерференцию между задачами при последующем слиянии моделей.
Связь с Tangent Task Arithmetic тоже объяснена: оба метода по сути добиваются одного — ортогональности между задачными векторами, просто разными путями.
https://arxiv.org/abs/2604.17078