Клеман Делангю (CEO Hugging Face) сообщил, что OpenAI разместила новую модель прямо на Hugging Face!
Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.
Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.
https://x.com/ClementDelangue/status/2046973714751754479
Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.
Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.
https://x.com/ClementDelangue/status/2046973714751754479
X (formerly Twitter)
clem 🤗 (@ClementDelangue) on X
OpenAI dropped a new model on HF today!
OpenAI показали впечатляющее демо от Боюань Чэня: новая версия генератора изображений в ChatGPT теперь умеет нормально работать с текстом и разными языками.
Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.
https://x.com/OpenAI/status/2046691650202902681
Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.
https://x.com/OpenAI/status/2046691650202902681
X (formerly Twitter)
OpenAI (@OpenAI) on X
Multilingual & Text Rendering in ChatGPT Images 2.0, demonstrated by @BoyuanChen0
Cohere поделились техническими деталями о том, как они улучшали квантизацию своей модели для агентных задач.
Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.
Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.
Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.
https://x.com/cohere/status/2047052562793414687
Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.
Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.
Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.
https://x.com/cohere/status/2047052562793414687
X (formerly Twitter)
Cohere (@cohere) on X
For real agentic workloads (North), short-context calibration wasn't enough. We calibrated AWQ on long internal agentic traces (up to 64k tokens) and added token masking in llm-compressor to exclude repetitive chat templates/tool descriptions from calibration…
Cohere поделились интересным техническим лайфхаком по квантизации моделей.
Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.
Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.
Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.
Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.
https://x.com/cohere/status/2047052560553681183
Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.
Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.
Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.
Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.
https://x.com/cohere/status/2047052560553681183
X (formerly Twitter)
Cohere (@cohere) on X
🔧 The tricky part: naïvely casting BF16 group scales to FP8 dropped the quality. Our fix: quantize scales per-channel (outer vector scaling) + rescale by 1/8 to avoid FP8 clipping. Result: >99.5% of W4A16 accuracy recovered on Command A & Cohere MoE. Paired…
Cohere поделились крутым достижением в области эффективного инференса. Они реализовали метод W4A8 — это когда веса модели хранятся в 4-битном формате (экономия памяти), а активации считаются в 8-битном (высокая скорость вычислений). Такой гибрид даёт лучшее из двух миров.
Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.
Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.
https://x.com/cohere/status/2047052557915476304
Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.
Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.
https://x.com/cohere/status/2047052557915476304
X (formerly Twitter)
Cohere (@cohere) on X
Excited to share our work on production-ready W4A8 inference, now integrated in vLLM! By combining 4-bit weights (low memory) with 8-bit activations (high compute), we hit the sweet spot for both decoding and prefill — up to 58% faster TTFT and 45% faster…
Expert Upcycling: как вырастить MoE модель дешевле (by Amazon)
Тренировать большие MoE с нуля дорого: память, коммуникации между GPU, всё это растёт с числом экспертов. Авторы предлагают другой путь — начать с маленькой MoE, а потом "апциклировать" её в большую.
Схема простая: обучаем E-экспертную модель до шага τ, затем дублируем экспертов (умные эксперты получают больше копий на основе gradient-based важности), расширяем роутер — и продолжаем обучение. Top-K остаётся фиксированным, значит активные параметры и FLOPs при инференсе не меняются!
Результат: 7B→13B параметров при экономии 32% GPU-часов, а качество на 11 бенчмарках не хуже чем у модели обученной с нуля на 13B.
Ключевая фишка — utility-based выбор: дублировать надо важные эксперты, а не случайные. Это утраивает эффект при ограниченном бюджете дообучения.
https://arxiv.org/abs/2604.19835
Тренировать большие MoE с нуля дорого: память, коммуникации между GPU, всё это растёт с числом экспертов. Авторы предлагают другой путь — начать с маленькой MoE, а потом "апциклировать" её в большую.
Схема простая: обучаем E-экспертную модель до шага τ, затем дублируем экспертов (умные эксперты получают больше копий на основе gradient-based важности), расширяем роутер — и продолжаем обучение. Top-K остаётся фиксированным, значит активные параметры и FLOPs при инференсе не меняются!
Результат: 7B→13B параметров при экономии 32% GPU-часов, а качество на 11 бенчмарках не хуже чем у модели обученной с нуля на 13B.
Ключевая фишка — utility-based выбор: дублировать надо важные эксперты, а не случайные. Это утраивает эффект при ограниченном бюджете дообучения.
https://arxiv.org/abs/2604.19835
Модели не чувствуют время — и вот как это исправить
Если показать современному VLM замедленное видео, он не поймёт, что оно замедленное. Модели обучены на видео с одинаковым fps и просто не знают, как "должно" течь время.
Авторы решают это через два умных трюка без ручной разметки:
1. Аудио-сигнал: когда видео ускоряется, питч звука растёт. Это бесплатная кросс-модальная разметка для детекции смены скорости.
2. Self-supervised сигнал: если даунсэмплить видео в 2x — воспринимаемая скорость падает в 2x. Модель учится на этом соотношении.
На этих сигналах авторы автоматически собрали SloMo-44K — 44к клипов с fps до 10000+, что в 150x больше предыдущих датасетов.
Результат: 92% точность на детекции смены скорости, near-human точность на оценке скорости воспроизведения, и генерация видео с контролем от 1x до 0.01x скорости.
https://arxiv.org/abs/2604.21931
Если показать современному VLM замедленное видео, он не поймёт, что оно замедленное. Модели обучены на видео с одинаковым fps и просто не знают, как "должно" течь время.
Авторы решают это через два умных трюка без ручной разметки:
1. Аудио-сигнал: когда видео ускоряется, питч звука растёт. Это бесплатная кросс-модальная разметка для детекции смены скорости.
2. Self-supervised сигнал: если даунсэмплить видео в 2x — воспринимаемая скорость падает в 2x. Модель учится на этом соотношении.
На этих сигналах авторы автоматически собрали SloMo-44K — 44к клипов с fps до 10000+, что в 150x больше предыдущих датасетов.
Результат: 92% точность на детекции смены скорости, near-human точность на оценке скорости воспроизведения, и генерация видео с контролем от 1x до 0.01x скорости.
https://arxiv.org/abs/2604.21931
Учись у себя из будущего: новый трюк для RLVR
Проблема обучения с подкреплением для LLM: в начале обучения правильных траекторий почти нет, а в конце модель застревает на плато. Добавлять чужие траектории (от учителя или старых чекпоинтов) тоже не помогает — либо слишком далеко по распределению, либо слишком слабые.
Авторы формализуют это как trade-off: сигнал Q(Δ) растёт с дистанцией до чекпоинта, а дисперсия V(Δ) растёт экспоненциально. Оптимум S=Q/V достигается при небольшом Δ — "near-future" чекпоинте из того же рана.
Идея NPO: на каждом шаге t запускаем обучение ещё на Δ шагов вперёд, берём этот чекпоинт, откатываемся назад и используем его правильные траектории как подсказки — один слот в rollout-группе. Остальное не меняем.
AutoNPO автоматизирует выбор момента вмешательства, отслеживая стагнацию reward и падение энтропии.
Результат на Qwen3-VL-8B + GRPO: +4.96 (NPO) и +5.27 (AutoNPO) по мультимодальным бенчмаркам.
https://arxiv.org/abs/2604.20733
Проблема обучения с подкреплением для LLM: в начале обучения правильных траекторий почти нет, а в конце модель застревает на плато. Добавлять чужие траектории (от учителя или старых чекпоинтов) тоже не помогает — либо слишком далеко по распределению, либо слишком слабые.
Авторы формализуют это как trade-off: сигнал Q(Δ) растёт с дистанцией до чекпоинта, а дисперсия V(Δ) растёт экспоненциально. Оптимум S=Q/V достигается при небольшом Δ — "near-future" чекпоинте из того же рана.
Идея NPO: на каждом шаге t запускаем обучение ещё на Δ шагов вперёд, берём этот чекпоинт, откатываемся назад и используем его правильные траектории как подсказки — один слот в rollout-группе. Остальное не меняем.
AutoNPO автоматизирует выбор момента вмешательства, отслеживая стагнацию reward и падение энтропии.
Результат на Qwen3-VL-8B + GRPO: +4.96 (NPO) и +5.27 (AutoNPO) по мультимодальным бенчмаркам.
https://arxiv.org/abs/2604.20733
OpenAI рассказала, как устроен агентный цикл Codex изнутри.
Инженеры перевели Responses API на WebSockets вместо обычных HTTP-запросов. Это позволило держать соединение открытым на протяжении всей сессии, а не устанавливать его заново при каждом шаге агента.
Вдобавок внедрили кэширование на уровне соединения: модель «помнит» контекст между вызовами и не гоняет одни и те же данные туда-обратно. В итоге снизились накладные расходы и уменьшилась задержка ответов модели.
Почему это важно: агентные сценарии — это десятки и сотни последовательных вызовов API. Каждая миллисекунда накапливается, и оптимизация на уровне протокола даёт ощутимый прирост скорости для реальных задач вроде написания и проверки кода.
Разработчикам, которые строят своих агентов на Responses API, стоит присмотреться к WebSocket-режиму.
https://openai.com/index/speeding-up-agentic-workflows-with-websockets
Инженеры перевели Responses API на WebSockets вместо обычных HTTP-запросов. Это позволило держать соединение открытым на протяжении всей сессии, а не устанавливать его заново при каждом шаге агента.
Вдобавок внедрили кэширование на уровне соединения: модель «помнит» контекст между вызовами и не гоняет одни и те же данные туда-обратно. В итоге снизились накладные расходы и уменьшилась задержка ответов модели.
Почему это важно: агентные сценарии — это десятки и сотни последовательных вызовов API. Каждая миллисекунда накапливается, и оптимизация на уровне протокола даёт ощутимый прирост скорости для реальных задач вроде написания и проверки кода.
Разработчикам, которые строят своих агентов на Responses API, стоит присмотреться к WebSocket-режиму.
https://openai.com/index/speeding-up-agentic-workflows-with-websockets
OpenAI
Speeding up agentic workflows with WebSockets in the Responses API
A deep dive into the Codex agent loop, showing how WebSockets and connection-scoped caching reduced API overhead and improved model latency.
OpenAI выпустила Privacy Filter — открытую модель для обнаружения и удаления персональных данных из текстов.
Модель работает с именами, адресами, номерами телефонов и другими личными данными, автоматически их находя и скрывая. При этом OpenAI заявляет о точности на уровне лучших решений в своём классе.
Главное — модель открытая, то есть её можно скачать и запустить у себя. Это важно для компаний, которые работают с чувствительными данными и не хотят отправлять их в сторонние сервисы.
Разработчики смогут встроить Privacy Filter в свои пайплайны для автоматической анонимизации данных перед обработкой другими моделями.
https://openai.com/index/introducing-openai-privacy-filter
Модель работает с именами, адресами, номерами телефонов и другими личными данными, автоматически их находя и скрывая. При этом OpenAI заявляет о точности на уровне лучших решений в своём классе.
Главное — модель открытая, то есть её можно скачать и запустить у себя. Это важно для компаний, которые работают с чувствительными данными и не хотят отправлять их в сторонние сервисы.
Разработчики смогут встроить Privacy Filter в свои пайплайны для автоматической анонимизации данных перед обработкой другими моделями.
https://openai.com/index/introducing-openai-privacy-filter
OpenAI
Introducing OpenAI Privacy Filter
OpenAI Privacy Filter is an open-weight model for detecting and redacting personally identifiable information (PII) in text with state-of-the-art accuracy
Google DeepMind представила Decoupled DiLoCo — новый подход к распределённому обучению больших языковых моделей.
Суть: вместо жёсткой синхронизации тысяч чипов система делит обучение на независимые «острова» вычислений, которые общаются асинхронно. Если один кластер падает — остальные продолжают работу, а вернувшийся узел бесшовно переподключается.
Что важно на практике: технологию уже проверили на моделях Gemma 4. 12-миллиардная модель обучалась сразу в четырёх регионах США через обычный интернет (2–5 Гбит/с) — в 20 раз быстрее традиционных методов. При этом качество модели не пострадало.
Бонус: система позволяет смешивать чипы разных поколений (TPU v5 и v6) в одном прогоне обучения, продлевая жизнь старого железа.
Для индустрии это важный шаг: масштабировать следующее поколение AI-моделей станет проще и дешевле.
https://deepmind.google/blog/decoupled-diloco/
Суть: вместо жёсткой синхронизации тысяч чипов система делит обучение на независимые «острова» вычислений, которые общаются асинхронно. Если один кластер падает — остальные продолжают работу, а вернувшийся узел бесшовно переподключается.
Что важно на практике: технологию уже проверили на моделях Gemma 4. 12-миллиардная модель обучалась сразу в четырёх регионах США через обычный интернет (2–5 Гбит/с) — в 20 раз быстрее традиционных методов. При этом качество модели не пострадало.
Бонус: система позволяет смешивать чипы разных поколений (TPU v5 и v6) в одном прогоне обучения, продлевая жизнь старого железа.
Для индустрии это важный шаг: масштабировать следующее поколение AI-моделей станет проще и дешевле.
https://deepmind.google/blog/decoupled-diloco/
Google DeepMind
Decoupled DiLoCo: Resilient, Distributed AI Training at Scale
Google’s new distributed architecture keeps AI training runs on track across distant data centers, with exceptional efficiency – even when hardware fails.
Джефф Дин (Google DeepMind) анонсировал новый чип TPU 8t для масштабного обучения и инференса. Под (кластер) из 9600 чипов выдаёт 121 экзафлопс в формате FP4 — это почти в 3 раза больше, чем у предыдущего поколения Ironwood (42.5 экзафлопс). Грубо говоря, Google продолжает наращивать вычислительную мощь собственных ускорителей, не завися от Nvidia. Цифры впечатляют: 121 экзафлопс — это 121 миллиард миллиардов операций в секунду.
https://x.com/JeffDean/status/2047405389856297387
https://x.com/JeffDean/status/2047405389856297387
X (formerly Twitter)
Jeff Dean (@JeffDean) on X
First, let's talk about TPU 8t, which is designed for large-scale training and inference throughput.
The pod size is increased slightly to 9600 chips, and provides ~3X the FP4 performance per pod vs. Ironwood (8t has 121 exaflops/pod vs. 42.5 exaflops/pod…
The pod size is increased slightly to 9600 chips, and provides ~3X the FP4 performance per pod vs. Ironwood (8t has 121 exaflops/pod vs. 42.5 exaflops/pod…
Джефф Дин, один из отцов-основателей Google Brain, поделился впечатлениями от анонса новых чипов Google — TPU v8t и v8i, который прошёл на конференции Cloud Next. Дин обсудил новинки вместе с Амином Вахдатом и ведущими подкаста Acquired FM.
TPU (Tensor Processing Unit) — фирменные ИИ-ускорители Google, которые компания разрабатывает уже почти десять лет. Восьмое поколение приходит в двух вариантах: v8t заточен под обучение моделей, а v8i — под инференс (то есть запуск уже готовых моделей). Подробности о новых чипах Google опубликовала в официальном блоге.
https://x.com/JeffDean/status/2047403921912873257
TPU (Tensor Processing Unit) — фирменные ИИ-ускорители Google, которые компания разрабатывает уже почти десять лет. Восьмое поколение приходит в двух вариантах: v8t заточен под обучение моделей, а v8i — под инференс (то есть запуск уже готовых моделей). Подробности о новых чипах Google опубликовала в официальном блоге.
https://x.com/JeffDean/status/2047403921912873257
X (formerly Twitter)
Jeff Dean (@JeffDean) on X
I had a good time discussing yesterday's Google TPU v8t and v8i announcement at Cloud Next with Amin Vahdat along with @AcquiredFM hosts @gilbert
and @djrosent.
The blog post announcement has lots of details about these new chips:
https://t.co/wssyaL30FE…
and @djrosent.
The blog post announcement has lots of details about these new chips:
https://t.co/wssyaL30FE…
OpenAI сообщают, что в ChatGPT провели серьёзную оптимизацию инференса на всех уровнях стека — и это дало ощутимый результат: модель стала одновременно мощнее и быстрее.
Главный бенефициар — GPT-5.5 Pro. Раньше он был скорее имиджевым продуктом для избранных задач, теперь же, по словам компании, это реально практичный инструмент для сложной и ресурсоёмкой работы.
OpenAI называют это "game-changer" и говорят о качественном скачке в уровне задач, которые ChatGPT теперь способен брать на себя.
Проще говоря: та же мощь, но быстрее и доступнее для реального использования. Посмотрим, насколько это ощутимо на практике.
https://x.com/OpenAI/status/2047376567559668222
Главный бенефициар — GPT-5.5 Pro. Раньше он был скорее имиджевым продуктом для избранных задач, теперь же, по словам компании, это реально практичный инструмент для сложной и ресурсоёмкой работы.
OpenAI называют это "game-changer" и говорят о качественном скачке в уровне задач, которые ChatGPT теперь способен брать на себя.
Проще говоря: та же мощь, но быстрее и доступнее для реального использования. Посмотрим, насколько это ощутимо на практике.
https://x.com/OpenAI/status/2047376567559668222
X (formerly Twitter)
OpenAI (@OpenAI) on X
In ChatGPT, full-stack inference improvements enable a more capable model at faster speed. This efficiency is a game-changer for GPT-5.5 Pro, now a much more practical option for demanding tasks, and a step change in the level of difficulty and quality of…
OpenAI анонсировали GPT-5.5 — и это интересно не только по возможностям, но и по эффективности.
Новая модель не уступает GPT-5.4 по скорости ответа, но при этом показывает лучшие результаты почти во всех тестах. Плюс — тратит заметно меньше токенов на выполнение тех же задач в бенчмарке Codex.
Проще говоря: умнее, не медленнее и экономнее. Именно такой прогресс обычно и нужен разработчикам — когда улучшения не приходят за счёт скорости или стоимости запросов.
https://x.com/OpenAI/status/2047376564309115134
Новая модель не уступает GPT-5.4 по скорости ответа, но при этом показывает лучшие результаты почти во всех тестах. Плюс — тратит заметно меньше токенов на выполнение тех же задач в бенчмарке Codex.
Проще говоря: умнее, не медленнее и экономнее. Именно такой прогресс обычно и нужен разработчикам — когда улучшения не приходят за счёт скорости или стоимости запросов.
https://x.com/OpenAI/status/2047376564309115134
X (formerly Twitter)
OpenAI (@OpenAI) on X
GPT-5.5 delivers this step up in intelligence without compromising on speed.
GPT-5.5 matches GPT-5.4 per-token latency in real-world serving, while performing better across nearly every evaluation we measured.
It also uses significantly fewer tokens to…
GPT-5.5 matches GPT-5.4 per-token latency in real-world serving, while performing better across nearly every evaluation we measured.
It also uses significantly fewer tokens to…
OpenAI анонсировали GPT-5.5 — и судя по описанию, это серьёзный шаг в сторону «цифрового сотрудника». Модель заточена под агентные задачи: пишет и дебажит код, ищет информацию в интернете, анализирует данные, создаёт документы и таблицы, управляет программами и переключается между инструментами, пока задача не выполнена до конца.
Особый прогресс отмечается в агентном кодинге, управлении компьютером и работе со знаниями. Твит обрывается на полуслове — OpenAI, судя по всему, готовят полноценный анонс.
Если коротко: GPT-5.5 метит не просто в «умный чат», а в полноценного автономного помощника, который сам доводит дела до конца.
https://x.com/OpenAI/status/2047376562916581513
Особый прогресс отмечается в агентном кодинге, управлении компьютером и работе со знаниями. Твит обрывается на полуслове — OpenAI, судя по всему, готовят полноценный анонс.
Если коротко: GPT-5.5 метит не просто в «умный чат», а в полноценного автономного помощника, который сам доводит дела до конца.
https://x.com/OpenAI/status/2047376562916581513
X (formerly Twitter)
OpenAI (@OpenAI) on X
GPT-5.5 excels at writing and debugging code, researching online, analyzing data, creating documents and spreadsheets, operating software, and moving across tools until a task is finished.
The gains are especially clear in agentic coding, computer use, knowledge…
The gains are especially clear in agentic coding, computer use, knowledge…
OpenAI представила GPT-5.5 — новую модель, заточенную под реальную работу и автономных агентов. По заявлению компании, модель лучше понимает сложные цели, умеет пользоваться инструментами, проверять свою работу и доводить задачи до конца.
OpenAI называет это новым способом взаимодействия с компьютером — не просто чат, а полноценный рабочий инструмент. Модель уже доступна в ChatGPT и Codex.
https://x.com/OpenAI/status/2047376561205325845
OpenAI называет это новым способом взаимодействия с компьютером — не просто чат, а полноценный рабочий инструмент. Модель уже доступна в ChatGPT и Codex.
https://x.com/OpenAI/status/2047376561205325845
X (formerly Twitter)
OpenAI (@OpenAI) on X
Introducing GPT-5.5
A new class of intelligence for real work and powering agents, built to understand complex goals, use tools, check its work, and carry more tasks through to completion. It marks a new way of getting computer work done.
Now available…
A new class of intelligence for real work and powering agents, built to understand complex goals, use tools, check its work, and carry more tasks through to completion. It marks a new way of getting computer work done.
Now available…
GoogleDeepMind поделились впечатляющим достижением в области распределённых вычислений. Им удалось обучить модель Gemma на 12 миллиардов параметров одновременно в четырёх регионах США через обычные низкоскоростные сети — без потери производительности. Ещё интереснее то, что они смешивали разные поколения своих чипов TPU (6e и v5p) в одном процессе обучения, и это тоже не замедлило работу. По сути, это означает, что больше не нужно сосредотачивать огромные вычислительные мощности в одном месте — можно обучать большие модели распределённо по всему миру, используя разное железо. Это серьёзный шаг к переосмыслению того, как вообще организуются глобальные AI-вычисления.
https://x.com/GoogleDeepMind/status/2047330992713589009
https://x.com/GoogleDeepMind/status/2047330992713589009
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
This progress allow us to rethink global compute:
🔘 We successfully trained a 12B @GoogleGemma model across four US regions using low-bandwidth networks
🔘 We showed we can mix different hardware generations, such as TPU6e and TPUv5p, without slowing down…
🔘 We successfully trained a 12B @GoogleGemma model across four US regions using low-bandwidth networks
🔘 We showed we can mix different hardware generations, such as TPU6e and TPUv5p, without slowing down…
Google DeepMind поделились интересной деталью про их систему Decoupled DiLoCo — она умеет самовосстанавливаться.
Во время экспериментов исследователи искусственно устраивали сбои железа прямо в процессе обучения модели. Система не падала и не останавливалась — она просто изолировала проблемный узел и продолжала работать дальше. А когда "упавший" блок возвращался в строй, система спокойно его реинтегрировала обратно.
Это важно для распределённого обучения больших моделей: раньше один сбой мог положить весь процесс. Теперь — нет.
https://x.com/GoogleDeepMind/status/2047330989936894350
Во время экспериментов исследователи искусственно устраивали сбои железа прямо в процессе обучения модели. Система не падала и не останавливалась — она просто изолировала проблемный узел и продолжала работать дальше. А когда "упавший" блок возвращался в строй, система спокойно его реинтегрировала обратно.
Это важно для распределённого обучения больших моделей: раньше один сбой мог положить весь процесс. Теперь — нет.
https://x.com/GoogleDeepMind/status/2047330989936894350
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
Decoupled DiLoCo is also self-healing.
We introduced artificial hardware failures during training runs. The system isolated the disruptions and continued operating, while reintegrating offline units when they came back online.
We introduced artificial hardware failures during training runs. The system isolated the disruptions and continued operating, while reintegrating offline units when they came back online.
Google DeepMind поделились интересной разработкой — Decoupled DiLoCo.
Проблема: при обучении больших AI-моделей тысячи чипов должны работать в идеальной синхронизации. Если один чип выходит из строя — весь процесс обучения останавливается. Это огромная головная боль, учитывая масштабы современных тренировочных кластеров.
Decoupled DiLoCo — новый подход, который позволяет продолжать обучение модели без остановок даже при сбоях железа. По сути, система становится устойчивой к отказам отдельных компонентов.
Звучит как техническая деталь, но на практике это может серьёзно ускорить и удешевить разработку frontier-моделей — меньше простоев, меньше потерянных вычислений.
https://x.com/GoogleDeepMind/status/2047330984983400793
Проблема: при обучении больших AI-моделей тысячи чипов должны работать в идеальной синхронизации. Если один чип выходит из строя — весь процесс обучения останавливается. Это огромная головная боль, учитывая масштабы современных тренировочных кластеров.
Decoupled DiLoCo — новый подход, который позволяет продолжать обучение модели без остановок даже при сбоях железа. По сути, система становится устойчивой к отказам отдельных компонентов.
Звучит как техническая деталь, но на практике это может серьёзно ускорить и удешевить разработку frontier-моделей — меньше простоев, меньше потерянных вычислений.
https://x.com/GoogleDeepMind/status/2047330984983400793
X (formerly Twitter)
Google DeepMind (@GoogleDeepMind) on X
Training frontier AI models relies on identical chips staying in near-perfect synchronization. If a single chip fails, the entire training run can stall.
Decoupled DiLoCo explores how to continuously train AI models without ever stopping due to failures.
Decoupled DiLoCo explores how to continuously train AI models without ever stopping due to failures.