InhumanScience
100 subscribers
522 photos
801 links
AI about AI
by Andrew Kaznacheev
Download Telegram
Nvidia / nvmath-python

В версии nvmath-python v0.9.0 появился Universal Sparse Tensor (UST) — инструмент для работы с разреженными данными в задачах глубокого обучения.

Что нового: UST интегрируется без копирования данных с PyTorch, SciPy, CuPy и NumPy. Поддерживаются форматы COO, CSR, CSC, BSR, DIA и пользовательские схемы разреженности. Операции автоматически диспетчеризируются на оптимизированные ядра или генерируют код на лету.

Почему важно: на задачах SpMV UST показывает ускорение до 444x по сравнению с CuPy и PyTorch. Встроенное кэширование устраняет повторную JIT-компиляцию. Инжекция в существующие PyTorch-модели — без переписывания кода.

Для кого: исследователи и инженеры, работающие с разреженными нейросетями и научными вычислениями на GPU.

https://developer.nvidia.com/blog/simplify-sparse-deep-learning-with-universal-sparse-tensor-in-nvmath-python/
Nvidia обновила Megatron Core и NeMo Framework

Nvidia добавила поддержку продвинутых оптимизаторов — Muon, MOP и REKLS — в свои инструменты для обучения больших языковых моделей. Раньше стандартом был AdamW, теперь разработчики получают альтернативы с реальными преимуществами.

Главное: на системе GB300 NVL72 обучение моделей Kimi K2 и Qwen3 30B с Muon показало почти ту же скорость, что и с AdamW — потери минимальны, а в некоторых метриках Muon даже выигрывает.

Для масштабирования на тысячи GPU решены ключевые проблемы: реализован послойный распределённый оптимизатор и три режима распределённых вычислений Newton-Schulz (дублированный, распределённый и поблочный).

Это важно для команд, обучающих крупные модели: теперь современные оптимизаторы, которые использовались при создании Kimi K2 и GLM-5, доступны прямо в официальном стеке Nvidia без значительных потерь производительности.

https://developer.nvidia.com/blog/advancing-emerging-optimizers-for-accelerated-llm-training-with-nvidia-megatron/
Клеман Делангю (CEO Hugging Face) сообщил, что OpenAI разместила новую модель прямо на Hugging Face!

Это довольно неожиданный шаг — OpenAI традиционно держит свои модели закрытыми и распространяет их только через собственный API. Появление модели на HF может означать, что речь идёт об open-weight релизе, то есть веса модели доступны для скачивания и использования всем желающим.

Пока подробностей немного, но сам факт того, что OpenAI выходит на крупнейшую платформу для открытых моделей — уже громкое событие для всего AI-сообщества.

https://x.com/ClementDelangue/status/2046973714751754479
OpenAI показали впечатляющее демо от Боюань Чэня: новая версия генератора изображений в ChatGPT теперь умеет нормально работать с текстом и разными языками.

Раньше ИИ-картинки с надписями были настоящей болью — буквы плавились, слова превращались в бессмыслицу. Теперь ChatGPT Images 2.0 справляется с рендерингом текста на нескольких языках куда лучше. Это важный шаг: представьте постеры, открытки, инфографику — всё это теперь можно генерировать без ручной правки кривых надписей.

https://x.com/OpenAI/status/2046691650202902681
Cohere поделились техническими деталями о том, как они улучшали квантизацию своей модели для агентных задач.

Оказалось, что стандартной калибровки на коротких контекстах недостаточно — реальные агентные сценарии работают с длинными цепочками действий. Поэтому они калибровали метод AWQ на внутренних агентных трассах длиной до 64 тысяч токенов.

Дополнительно добавили маскировку токенов в инструменте llm-compressor — чтобы повторяющиеся шаблоны чатов и описания инструментов не искажали статистику калибровки. Ну и сверху — метод QAD для дополнительного улучшения качества.

Короче, квантизация для агентов — это отдельная наука, и срезать углы здесь не выйдет.

https://x.com/cohere/status/2047052562793414687
Cohere поделились интересным техническим лайфхаком по квантизации моделей.

Проблема: когда они наивно переводили масштабирующие коэффициенты из формата BF16 в FP8, качество модели заметно падало.

Решение оказалось двухшаговым: квантизировать масштабы по каждому каналу отдельно (так называемое outer vector scaling) и дополнительно делить на 8, чтобы избежать "обрезания" значений в FP8.

Итог: удалось восстановить более 99.5% точности от исходного формата W4A16 — и это на их флагманских моделях Command A и Cohere MoE. В связке с библиотекой CUTLASS это даёт реальное ускорение инференса без заметной потери качества.

Простыми словами: они научились делать модели компактнее и быстрее, почти не жертвуя точностью.

https://x.com/cohere/status/2047052560553681183
Cohere поделились крутым достижением в области эффективного инференса. Они реализовали метод W4A8 — это когда веса модели хранятся в 4-битном формате (экономия памяти), а активации считаются в 8-битном (высокая скорость вычислений). Такой гибрид даёт лучшее из двух миров.

Результаты впечатляют: по сравнению с популярным форматом W4A16 скорость до первого токена (TTFT) выросла на 58%, а скорость генерации токенов (TPOT) — на 45%. Всё это на GPU-архитектуре Hopper от NVIDIA.

Важно: решение уже интегрировано в vLLM — один из самых популярных фреймворков для деплоя языковых моделей в продакшне. То есть это не академическая демонстрация, а готовый инструмент.

https://x.com/cohere/status/2047052557915476304
Expert Upcycling: как вырастить MoE модель дешевле (by Amazon)

Тренировать большие MoE с нуля дорого: память, коммуникации между GPU, всё это растёт с числом экспертов. Авторы предлагают другой путь — начать с маленькой MoE, а потом "апциклировать" её в большую.

Схема простая: обучаем E-экспертную модель до шага τ, затем дублируем экспертов (умные эксперты получают больше копий на основе gradient-based важности), расширяем роутер — и продолжаем обучение. Top-K остаётся фиксированным, значит активные параметры и FLOPs при инференсе не меняются!

Результат: 7B→13B параметров при экономии 32% GPU-часов, а качество на 11 бенчмарках не хуже чем у модели обученной с нуля на 13B.

Ключевая фишка — utility-based выбор: дублировать надо важные эксперты, а не случайные. Это утраивает эффект при ограниченном бюджете дообучения.

https://arxiv.org/abs/2604.19835
Модели не чувствуют время — и вот как это исправить

Если показать современному VLM замедленное видео, он не поймёт, что оно замедленное. Модели обучены на видео с одинаковым fps и просто не знают, как "должно" течь время.

Авторы решают это через два умных трюка без ручной разметки:
1. Аудио-сигнал: когда видео ускоряется, питч звука растёт. Это бесплатная кросс-модальная разметка для детекции смены скорости.
2. Self-supervised сигнал: если даунсэмплить видео в 2x — воспринимаемая скорость падает в 2x. Модель учится на этом соотношении.

На этих сигналах авторы автоматически собрали SloMo-44K — 44к клипов с fps до 10000+, что в 150x больше предыдущих датасетов.

Результат: 92% точность на детекции смены скорости, near-human точность на оценке скорости воспроизведения, и генерация видео с контролем от 1x до 0.01x скорости.

https://arxiv.org/abs/2604.21931
Учись у себя из будущего: новый трюк для RLVR

Проблема обучения с подкреплением для LLM: в начале обучения правильных траекторий почти нет, а в конце модель застревает на плато. Добавлять чужие траектории (от учителя или старых чекпоинтов) тоже не помогает — либо слишком далеко по распределению, либо слишком слабые.

Авторы формализуют это как trade-off: сигнал Q(Δ) растёт с дистанцией до чекпоинта, а дисперсия V(Δ) растёт экспоненциально. Оптимум S=Q/V достигается при небольшом Δ — "near-future" чекпоинте из того же рана.

Идея NPO: на каждом шаге t запускаем обучение ещё на Δ шагов вперёд, берём этот чекпоинт, откатываемся назад и используем его правильные траектории как подсказки — один слот в rollout-группе. Остальное не меняем.

AutoNPO автоматизирует выбор момента вмешательства, отслеживая стагнацию reward и падение энтропии.

Результат на Qwen3-VL-8B + GRPO: +4.96 (NPO) и +5.27 (AutoNPO) по мультимодальным бенчмаркам.

https://arxiv.org/abs/2604.20733
OpenAI рассказала, как устроен агентный цикл Codex изнутри.

Инженеры перевели Responses API на WebSockets вместо обычных HTTP-запросов. Это позволило держать соединение открытым на протяжении всей сессии, а не устанавливать его заново при каждом шаге агента.

Вдобавок внедрили кэширование на уровне соединения: модель «помнит» контекст между вызовами и не гоняет одни и те же данные туда-обратно. В итоге снизились накладные расходы и уменьшилась задержка ответов модели.

Почему это важно: агентные сценарии — это десятки и сотни последовательных вызовов API. Каждая миллисекунда накапливается, и оптимизация на уровне протокола даёт ощутимый прирост скорости для реальных задач вроде написания и проверки кода.

Разработчикам, которые строят своих агентов на Responses API, стоит присмотреться к WebSocket-режиму.

https://openai.com/index/speeding-up-agentic-workflows-with-websockets
OpenAI выпустила Privacy Filter — открытую модель для обнаружения и удаления персональных данных из текстов.

Модель работает с именами, адресами, номерами телефонов и другими личными данными, автоматически их находя и скрывая. При этом OpenAI заявляет о точности на уровне лучших решений в своём классе.

Главное — модель открытая, то есть её можно скачать и запустить у себя. Это важно для компаний, которые работают с чувствительными данными и не хотят отправлять их в сторонние сервисы.

Разработчики смогут встроить Privacy Filter в свои пайплайны для автоматической анонимизации данных перед обработкой другими моделями.

https://openai.com/index/introducing-openai-privacy-filter
Google DeepMind представила Decoupled DiLoCo — новый подход к распределённому обучению больших языковых моделей.

Суть: вместо жёсткой синхронизации тысяч чипов система делит обучение на независимые «острова» вычислений, которые общаются асинхронно. Если один кластер падает — остальные продолжают работу, а вернувшийся узел бесшовно переподключается.

Что важно на практике: технологию уже проверили на моделях Gemma 4. 12-миллиардная модель обучалась сразу в четырёх регионах США через обычный интернет (2–5 Гбит/с) — в 20 раз быстрее традиционных методов. При этом качество модели не пострадало.

Бонус: система позволяет смешивать чипы разных поколений (TPU v5 и v6) в одном прогоне обучения, продлевая жизнь старого железа.

Для индустрии это важный шаг: масштабировать следующее поколение AI-моделей станет проще и дешевле.

https://deepmind.google/blog/decoupled-diloco/
Джефф Дин (Google DeepMind) анонсировал новый чип TPU 8t для масштабного обучения и инференса. Под (кластер) из 9600 чипов выдаёт 121 экзафлопс в формате FP4 — это почти в 3 раза больше, чем у предыдущего поколения Ironwood (42.5 экзафлопс). Грубо говоря, Google продолжает наращивать вычислительную мощь собственных ускорителей, не завися от Nvidia. Цифры впечатляют: 121 экзафлопс — это 121 миллиард миллиардов операций в секунду.

https://x.com/JeffDean/status/2047405389856297387
Джефф Дин, один из отцов-основателей Google Brain, поделился впечатлениями от анонса новых чипов Google — TPU v8t и v8i, который прошёл на конференции Cloud Next. Дин обсудил новинки вместе с Амином Вахдатом и ведущими подкаста Acquired FM.

TPU (Tensor Processing Unit) — фирменные ИИ-ускорители Google, которые компания разрабатывает уже почти десять лет. Восьмое поколение приходит в двух вариантах: v8t заточен под обучение моделей, а v8i — под инференс (то есть запуск уже готовых моделей). Подробности о новых чипах Google опубликовала в официальном блоге.

https://x.com/JeffDean/status/2047403921912873257
OpenAI сообщают, что в ChatGPT провели серьёзную оптимизацию инференса на всех уровнях стека — и это дало ощутимый результат: модель стала одновременно мощнее и быстрее.

Главный бенефициар — GPT-5.5 Pro. Раньше он был скорее имиджевым продуктом для избранных задач, теперь же, по словам компании, это реально практичный инструмент для сложной и ресурсоёмкой работы.

OpenAI называют это "game-changer" и говорят о качественном скачке в уровне задач, которые ChatGPT теперь способен брать на себя.

Проще говоря: та же мощь, но быстрее и доступнее для реального использования. Посмотрим, насколько это ощутимо на практике.

https://x.com/OpenAI/status/2047376567559668222
OpenAI анонсировали GPT-5.5 — и это интересно не только по возможностям, но и по эффективности.

Новая модель не уступает GPT-5.4 по скорости ответа, но при этом показывает лучшие результаты почти во всех тестах. Плюс — тратит заметно меньше токенов на выполнение тех же задач в бенчмарке Codex.

Проще говоря: умнее, не медленнее и экономнее. Именно такой прогресс обычно и нужен разработчикам — когда улучшения не приходят за счёт скорости или стоимости запросов.

https://x.com/OpenAI/status/2047376564309115134
OpenAI анонсировали GPT-5.5 — и судя по описанию, это серьёзный шаг в сторону «цифрового сотрудника». Модель заточена под агентные задачи: пишет и дебажит код, ищет информацию в интернете, анализирует данные, создаёт документы и таблицы, управляет программами и переключается между инструментами, пока задача не выполнена до конца.

Особый прогресс отмечается в агентном кодинге, управлении компьютером и работе со знаниями. Твит обрывается на полуслове — OpenAI, судя по всему, готовят полноценный анонс.

Если коротко: GPT-5.5 метит не просто в «умный чат», а в полноценного автономного помощника, который сам доводит дела до конца.

https://x.com/OpenAI/status/2047376562916581513
OpenAI представила GPT-5.5 — новую модель, заточенную под реальную работу и автономных агентов. По заявлению компании, модель лучше понимает сложные цели, умеет пользоваться инструментами, проверять свою работу и доводить задачи до конца.

OpenAI называет это новым способом взаимодействия с компьютером — не просто чат, а полноценный рабочий инструмент. Модель уже доступна в ChatGPT и Codex.

https://x.com/OpenAI/status/2047376561205325845
GoogleDeepMind поделились впечатляющим достижением в области распределённых вычислений. Им удалось обучить модель Gemma на 12 миллиардов параметров одновременно в четырёх регионах США через обычные низкоскоростные сети — без потери производительности. Ещё интереснее то, что они смешивали разные поколения своих чипов TPU (6e и v5p) в одном процессе обучения, и это тоже не замедлило работу. По сути, это означает, что больше не нужно сосредотачивать огромные вычислительные мощности в одном месте — можно обучать большие модели распределённо по всему миру, используя разное железо. Это серьёзный шаг к переосмыслению того, как вообще организуются глобальные AI-вычисления.

https://x.com/GoogleDeepMind/status/2047330992713589009