Chip War в наше время:

— В понедельник президент США разрешил продажу чипов Nvidia H200 в Китай, в то время как Пекин всё ещё решает, позволить ли компаниям их закупать, ведь линия Партии — это усилить локальное производство и адаптацию своих чипов от Huawei. H200 — это видеокарты прошлого поколения, уже чуть меньше года компании из США закупают Blackwell (GB200/300).

— По словам шести источников TheInformation, знакомых с ситуацией, DeepSeek разрабатывает свою следующую модель используя несколько тысяч передовых чипов Blackwell, запрещённых к экспорту в Китай.

— Источники сообщили, что используемые DeepSeek чипы были ввезены в Китай контрабандой по запутанной схеме: их отправляли в дата-центры стран, где закупка разрешена (обычно страны Юго-Восточной Азии). После установки чипов и серверов в этих дата-центрах за пределами Китая, Nvidia или её дистрибьюторы (например, Dell Technologies) направляют сотрудников для проверки оборудования на месте, чтобы убедиться в его соответствии техническим стандартам и экспортным ограничениям. Как только проверка завершена, дилеры разбирают серверы и отправляют их в Китай. Пройдя китайскую таможню по поддельным бумагам, чипы и серверы устанавливаются в дата-центрах 🇨🇳

— Ранее писали, что DeepSeek плотно работает с инженерами Huawei, чтобы обучать модели на их чипах, но успеха пока нет, и используются карты Nvidia. Пока тренд сохраняется.

— По словам источника, некоторые сотрудники DeepSeek надеются показать модель следующего поколения к Лунному Новому году в середине февраля '26. Однако CEO DeepSeek ставит производительность выше соблюдения сроков, и потому не установил жесткого дедлайна для выхода новой модели.

— Nvidia уже разработала и тестирует программную функцию, позволяющую отслеживать местоположение своих чипов, что может помочь компании в борьбе с контрабандой. Если эта функция будет полноценно запущена, она может нанести серьезный удар по использованию контрабандных чипов в Китае.

Наткнулся в твиттере на обсуждение эссе Why AGI Will Not Happen от Tim Dettmers, автора bitsandbytes и подходов к квантизации LLM. С частью тезисов я согласен, а часть мне кажется безумно странной — автор вместо размышлений и доводов прыгает к выводам и никак их не поясняет.

Например:
«Трансформер (архитектура, лежащая в основе LLM) — одна из самых эффективных архитектур, поскольку она сочетает в себе простейшие способы выполнения локальных вычислений и глобального объединения информации». ❓хорошо, но ведь к ней придумали как минимум две модификации, которые делали её существенно более эффективной. А сколько ещё таких модификаций будет? Если мало, то придётся улучшать железо, про которое Tim пишет так:

«Одно из самых распространенных заблуждений, которое я наблюдаю, — это предположение, что железо продолжает улучшаться и улучшаться. Это важное заблуждение, объясняющее многие ошибки в мышлении относительно прогресса ИИ. Каждое поколение GPU было лучше предыдущего, и, казалось бы, глупо думать, что это прекратится. Но на самом деле глупо думать, что GPU продолжат улучшаться. По факту, GPU больше не будут значимо улучшаться. Мы увидели последнее поколение значительных улучшений GPU. Максимальная производительность графических процессоров по соотношению цены и качества была достигнута примерно в 2018 году — после этого мы добавили разовые функции, которые быстро закончатся.»

(посочувствуем человеку, который выбрал бы себе в инвест. советчики Tim Dettmers — акции Nvidia выросли на 5000%, наверное, какой-то другой критерий тоже важен, раз компании покупают новое, а не старое железо)

Tim знает GPU лучше меня, и потому я соглашусь, что скорее всего прогресс был во многом на разовых функциях, тензорных ядрах, памяти, уменьшении битности итд. Но если посмотреть на прогресс развития CPU, то там для поддержания развития протяжении более чем 50 лет как раз такие разовые фичи и появлялись. Упираешься в предел оптимизации в одном — находится что-то другое. Волна за волной, суммарный прогресс так и накапливается.

«У нас осталось, может быть, один или два года масштабирования, потому что дальнейшие улучшения становятся физически нереализуемыми. Результаты масштабирования моделей в 2025 году не впечатлили. Лучше бы масштабированию в 2026 и 2027 годах показать себя лучше» — этот тезис очень тесно связан с другим, «Линейный прогресс требует экспоненциальных ресурсов». И с последним я согласен — но ведь именно это мы и наблюдаем. Инвестиции в триллион долларов как раз и являются тем экспоненциальным ростом, и они не заканчиваются через один или два года.

Помню, что я видел аналитику по затратам на ДЦ, на чипы и электричество, и там выходило, что мы сможем поддерживать такой рост (если индустрия будет привлекать деньги, то есть если сможет наращивать выручку) до ~2035-2036-ых годов. Вот что к тому моменту будет — от того да, сделать дальнейший шаг роста не получится, по крайней мере без решения вопросов энергетики.

Так что моё несогласие тут скорее в сроках, нежели выводе — да, конец когда-то наступит, но не через 1-2 года. Может показаться, что он замедлился, только чтобы на третий год сделать ещё больший прыжок с каким-то новым исследовательским прорывом.

Ещё одна вещь, с которой я согласен:
«Ключевой показатель прогресса — насколько ИИ интегрирован во всё вокруг и насколько он полезен. Если одна модель лучше другой, это не означает автоматически, что она будет использоваться шире. Важно, чтобы модель была полезной и приносила прирост производительности по разумной цене». Однако это говорится в контексте разницы между США и Китаем, и что якобы у США идея такова: разработай самую большую и крутую модель, и люди потянутся.

Но ведь это не так. OpenAI намеренно сделали GPT-5 маленькой, доступной для развёртывания на миллиардную аудиторию. А Китай не делает модели больше и не тренирует их дольше не потому, что это их стратегический план — а потому что они, блин, все в санкциях и собирают суперкомпьютеры через контрабанду чипов. Если им дать в 10 раз больше мощностей — они их тоже будут использовать.

Компании в США, по крайней мере 3 ведущие, очень чётко понимают, что им нужно продолжать наращивать выручку, потому что без этого они не смогут платить за расширение кластеров, про которое мы говорили выше. Они как раз и пытаются сделать так, чтобы ИИ «был интегрирован во всё вокруг» — OpenAI делают девайс нового поколения с легендарным дизайнером из Apple, Google запихивает ИИ-фичи в каждую кнопку сайта.

В общем, тут мне позиция Tim по разнице стран не понятна. Но самая горькая горошина в конце:

«Я заметил такую закономерность: когда спрашиваешь людей в области залива Сан-Франциско, когда наступит AGI, они всегда говорят, что это вопрос нескольких лет и что влияние будет колоссальным. Затем, если спросить их, что же такое AGI на самом деле, они не включают в свое определение никаких физических задач. Большинство существующих проблем робототехники, которые остаются нерешенными, также экономически нецелесообразны. Пришивание рукавов к футболке — это нерешенная задача робототехники, но в большинстве контекстов она не имеет особого экономического смысла».

Мне кажется только ленивый не сказал, что обсуждение AGI без указания используемого определения — глупость. И если одно определение (которое критикуется) не подходит к твоему — по мне так логично критиковать то, что люди имеют в виду, и находить аргументы против этого, а не говорить, что определение не правильное.

Но I в AGI означает «интеллект», и для меня, и для ведущих компаний это связано с физическим трудом в меньшей степени. Сколько физ. труда требует Google, чтобы показать выручку в сто миллиардов долларов в квартал? Ненулевое количество, конечно, но это явно не бутылочное горлышко к дальнейшему их развитию.

OpenAI определяет AGI как систему, которая может обойти человека в выполнении большинства экономически важных задач. Может быть в Камбодже большинство экономике и завязано на физический труд, но в США уже точно преобладает рынок информационных услуг (статистику не искал, скиньте в комменты, если не лень). И большинство лидеров AGI-компаний говорят про работу на замену, в первую очередь, труда, который можно выполнять удалённо — разработка, но не только. Это сам по себе огромный рынок.

Но вместо обсуждения своего несогласия с этим Tim кидается на робототехнику и рассказывает, как в ней сложно (и бессмысленно с точки зрения выручки) делать прогресс. Нет, он правда сам говорит, что там денег особо нет (фабрики уже автоамтизированы, а складывать футболки и разгружать посудомойку роботом никому не нужно). Интересно почему ж тогда компании и не копают в этом направлении 😏 (= не инвестируют столько денег)

Epoch.AI завели и сделали публично доступной трекер крупнейших дата-центров, которые уже сдали или сдадут в скором времени. Peter Gostev визуализировал суммарные мощности по месяцам в разрезе компаний.

На начало 2025-го года топ-1 занимали Google, обгоняя OpenAI более чем в 7 раз. xAI после запуска Colossus-1 вышли на второе место, даже обгоняя META. Но так как в базу заносятся только отдельные крупные ДЦ, то нельзя сказать, что тут сделан полный учёт — у Anthropic и Microsoft было вообще по нулям, что, конечно же, неправда.

Заканчивать 2025-й в лидирующей позиции будут... Anthropic, которые совсем недавно получили новый ДЦ в своё распоряжение. Вплотную с ними идут Google и OpenAI, META всё ещё отстаёт от xAI 😳

По плану, в апреле 2026-го OpenAI получат в своё распоряжение Fairwater Mount в штате Висконсин. С этого момента они не будут уступать первое место до конца инфографики — февраль 2028-го, и закончат этот период с невероятным отрывом (если все планы сбудутся, в чём я сомневаюсь — но и у других игроков часть вычислительных мощностей может поступить позже).

Чтобы вы понимали масштаб:
— 2025-й начался со ~100 МВт для OpenAI, а закончат с чуть менее чем ГигаВаттом — рост в 10 раз. Модели, которые будут обучать на части нового компьюта мы ещё не видели (хотя быть может часть дообучения 5.2 уже была на Stargate, такой слух ходит)

— в августе 2026-го эта цифра вырастет почти в 3 раза(!), и к концу года мы, быть может, увидим какие-то гигантские модели/системы

— к весне 2028-го цифра увеличится ещё в 3 раза. В относительных величинах не так впечатляет, но это будет больше, чем у 2 и 3 игроков — META и Anthropic — вместе взятых.

Источник