За и против открытых (китайских) LLM. Я периодически читаю аналитику, мнения и пейперы по теме, в этом посте собрал не самые очевидные, и конечно с упором на деньги.

0️⃣ Есть много графиков типа приложенного к посту, что открытые отстают всего на несколько месяцев, и нужно только подождать. Контрааргументом приводят, что это только по бенчмаркам на 3-4 месяца, а на проде в реальных задачах - 8-12 (что кажется тоже ок).

Аргументы ПРОТИВ того, что открытые модели могут догнать закрытые:

1️⃣ Главное заблуждение про открытые веса, что они дешевые (или бесплатные). Это справедливо для R&D, но не COGS (включая инференс): траты бизнеса растут с ростом выручки/использования. Плюс количество токенов для того же результата у "дешевых" обычно больше.

Реакция на Kimi и китайские модели сильно преувеличена: есть очевидная price umbrella порожденная нехваткой компьюта. То есть китайским моделям выгодны высокие цены топовых лаб - демпинговать в таких условиях рынка всегда легче.

2️⃣ Из-за роста "агент-инференса" рынок инференса неожиданно может расти быстрее, даже быстрее издержек тренинга. Проще говоря, закрытые модели смогут частично брать объемом, как в классическом бизнесе. Нужно только достаточно компьюта, а охваты у них уже есть.

Тот, кто крутит инференс, собирает данные, а данные идут в следующую версию модели. Это самоусиливающийся цикл, недоступный тому, кто просто раздает веса.

3️⃣ Токены - не коммодити! То есть это не как мешок кофе или баррель нефти. Токен одной модели не равен токену другой. Правильно считать стоимость решения конкретной задачи, а тут у открытых моделей все не так хорошо, как на страницах прайсинга.

4️⃣ Anthropic и OpenAI на полгода-год впереди не только по бенчмаркам, но и по возможности оптимизировать эффективность инференса, памяти, обслуживания. Контринтуитивно, но они могут заметно сократить издержки. Плюс по кибербезопасности закрытые модели вряд ли потеряют лидерство.

Аргументы ЗА будущее доминирование открытых китайских моделей:

5️⃣ Чипы - единственная часть, где у США (и закрытых моделей топовых лаб) преимущество. Но все остальное в цепочке поставок токенов (электричество, стоимость строительства датацентров и т.д.) - заметно дороже китайского. Плюс регулирование, иски, бюрократия.

6️⃣ Юзеры и бизнесы, которые больше всех тратят, легко переключаются между моделями и инструментами. Никакого moat у лидеров нет, и как только все выйдет на плато, мы увидим массовый переток юзаджа и денег в открытые модели.

Массовый потребитель, привыкший к ChatGPT, не спасет - он дает слишком мало выручки.

7️⃣ Многие проблемы больших AI лаб можно залить деньгами, но узкое место уже намечается в физическом мире - электричество, стройка и др. Есть уверенность, что обещанный капекс в принципе невозможно обеспечить, физически.

Как только это будет видно на рынке, Китай начнет становится мировой столицей инференса.

8️⃣ Главный ингредиент в стоимости токена - маржа Nvidia (а не электричество или прибыль openai). Так почему будущая выручка вообще должна остаться у лаб? Пока их moat - это не качество моделей или харнесс, а тупо субсидирование юзеров венчурными деньгами.

Конкуренты дипсика дают скидку около 30-40% - это и есть оценка маржи. Реселлеры клодкода/кодекса продают токены со скидкой до 90% от API-цены, перепродавая лимиты фиксированных планов.

9️⃣ Я не знаю, кто победит и как распределятся на рынке, но для нас конкуренция - это хорошо! Остальное просто с интересом наблюдаем.

@kyrillic