Ограничения постоянно разные.

(продолжение)

В 2023 все гонялись за видеокартами. А точнее у заводов TSMC не хватало мощностей для финальной сборки чипов в модули (CoWoS).
В 2024 случился дефицит HBM памяти для тех же модулей.
В 2025 с картами стало лучше, но для датацентров начало не хватать энергии.
В 2026 стало понятно, что даже если энергия есть, электрическая сеть США не может ее доставлять в нужных обьемах до датацентров.

Дальше подробнее.

1. Память

Свременным моделям память нужна больше, чем раньше.
Я в прошлом посте писал, что компании тратят сотни миллиардов в год на инфраструктуру. По прикидкам примерно 30% из них - это на память.

Причем им приходится закупать дорогую HBM вместо дешевой DDR. Потому что высокая пропускная способность помогает видеокартам не простаивать пока память обрабатывает свою часть. Дорогая память не такая уж и дорогая в сравнении с чипами.

Скорее всего цены на память будут расти, если не придумают как это обходить. Могут спокойно еще в 2-3 раза вырасти, потому что SK Hynix и Samsung контролируют 90% рынка. А спрос на память только растёт.

2. Энергия и датацентры

xAI показали, что датацентры можно строить довольно быстро.

Но большая инфраструктура не выдерживает, когда в каком нибудь регионе за полгода появляется штука жрущая электричество как небольшой город. Я уже привык к новостям, что технологические компании начали закупать старые электростанции.

Удивительно, что челик из Semianalysis за энергию особо не беспокоится. Новые электростанции, трансформаторные и банально вышки для проводов строить долго. Но пока электическая сеть адаптируется к новой нагрузке, питать датацентры можно от промышленных турбин на газу. Буквально подвозишь к датацентру десяток трейлеров с генераторами и всё.

Еще есть всякие поршневые двигатели, солнечные панели и батареи, химические реакторы на водороде, судовые двигаетли... Короче, что только не придумали за время существвни топливной индустрии. И в совокупности вместе с эффективным использованием электросети это может дать сотни гигаватт мощностей.

(см картинку)

Чтобы строить дата-центры и реакторы быстро, не хватает квалифицированной рабочей силы и банально электриков.

Дорого и трудоёмко, но оказывается все еще проще, чем цепочка поставок полупродневников.

3. Производство полупроводников

Есть заводы (в основном TSMC), собирающие видеокарты определённой эры (по чертежам Nvidia или Google). Напрмер, по 3-нанометровому процессу.

Ну и просто не построено достаточно заводов.

Быстро это не исправить, потому что это одни из самых сложных промышленных объектов на планете. Чтобы такой построить, нужно 2-3 года и куча специализированного оборудования и химических штук.

Самое сложное - это литографические машины (EUV scanner). Они нужны, чтобы отливать чипы на вафельницах. Которые потом соединяют в модули с памятью и получаются видеокарты.

Так вот эти машины стоят ~$350M за штуку. Делает такие только одна компания из Нидерландов - ASML. Где то по 50 машин в год.

Можно прикинуть, что к 2030 году в мире их будет в ~700. Это порядка 200 гигават вычислений на всех.
На конец 2025 мы тратили 13.6 гигават. Это до бума агентов.

Короче, расти есть куда, но будет постоянный дефицит, ограниченный строительством заводов, ограниченный памятью и вафельницами, ограниченный машинами для литографии.

То есть это такие ограничения, которые нельзя залить деньгами в отличие от памяти и энергии для датацентров.

Это хорошо видно на поведении Google.

У них есть свой дизайн чипов. И при этом они четверть чипов закупают у Nvidia. Они бы с кайфом свои делали, вот только не могут.

Все чипы собирают заводы TSMC по чужим чертежам. А Google и Amazon (у них тоже есть свой дизайн) проспали момент когда Jensen Huang назаключал контрактов на производство аж на 70% мощностей 3-нм заводов. TSMC это супер выгодно, потому что они в конце производственной цепочки и им нужна стабильность.

Nvidia тоже кайфует, продавая карты в 6 раз дороже себестоимости.

А гугл еще и своих мощностей Антропикам через GCP напродавал. Удивительная компания.

И чо?

(последняя часть)

Короче, индустрия не готова к росту от агентов. Потому что он случился слишком внезапно.

На рынке, где в конечном счёте важны долгосрочные контракты на сложную инфраструктуру для создания чипов.

У Антропиков сейчс есть 2.5 гигавата на вычисления и к концу года нужно 5-6. Столько можно получить только побираясь в категории Other. CoreWeave, Bedrock, Vertex, Foundry. С миру по нитке и за очень дорого. А они хотят стать прибыльной компанией и не могут позволить себе транжирить деньги.

Поэтому грустное.

Скорее всего страдать будем мы с вами.

Самое очевидное решение - они просто срежут лимиты и поднимут цены.

На днях они перевели OpenClaw на API. И так и написали, сорян ребята. Затягиваем пояса, вот вам 20 баксов в подарок за беспокойство.
А еще ввели разные тарифы в зависимости от времени суток. Я уже пару раз сталкивался с тем, что в "непиковые" часы Клод ложился под нагрузкой. Под наплывом бедняков за дешевыми токенами.

Я для себя два вывода сделал.

1. Не класть все яйца в одну корзину.

Например, создавая скилл делать так, чтобы он работал на любой модели. Я тащусь от Клода, но OpenAI и Google в намного лучшем полжении в плане дступа к компьюту.

Поэтому я научился менять модель в зависимости от задачи. Плачу минимальную подписку каждой лабе. А когда заканчивается лимит - просто меняю нейронки.

Китайским опенсорсом пока не пользуюсь, потому что зачем. Не юзайте Дипсик, ради всего святого.

2. Нервничать, что я не зарабатываю на ИИ.

Нейронки для меня это не способ зарабатывать больше денег.
Это моя статья расходов, которая себя окупает давая больше возможностей и времени.

Но вот если введут какой нибудь тир за 1000 баксов, я такое не потяну. Сейчас это абсурдно звучит. Но вспомните пример из первой части статьи с зарплатой реального человека. Пока 1000 баксов затрат приносит 5000 прибыли - это круто.

И те кто так делать не умеет, будет сидеть в бесплатном тарифе и смотреть рекламу =/

Про диктовку голосом

Потихоньку переучиваюсь наговаривать текст голосом, а не печатать на клавиатуре.

Когда печатаешь, проще структурировать мысли и рассуждать. Но для мозга это сложнее и дольше. Это цена которую ты платишь за возможность получше подумать.

Ну и иногда мозг ленится платить слишком много. Я заметил, что когда наговариваю нейронке голосом, я больше деталей описываю. И бонусом, это еще и в разы быстрее выходит.

Поресёрчил чем лучше всего пользоваться и остановился на https://spokenly.app + gpt-4o-mini-transcribe.

Большинство продуктов на рынке - это обертки над какой то из speech-to-text моделей. Обычно над чем то из этого:

Deepgram Nova‑3
ElevenLabs Scribe v2
GPT‑4o‑transcribe
NVIDIA Parakeet TDT
Whisper large‑v3

Стоят примерно одинаково дёшево, а последние 2 можно вообще за бесплатно локально на своем железе использовать. Вот тут всякие бенчмарки на точность и скорость.

Deepgram лучше всего с ру языком ладит, ElevenLabs с английским. Хотя по факту для личных задач разброс точности в 2-5% особо погоды не делает.

И я пока честно не понимаю, зачем платить 12 баксов в месяц за обёртку Wispr Flow. Это сейчас самый популярный dictation апп, с оценкой компании в 2 миллиарда долларов.

А Spokenly делает соло разработчик. И у меня при активном использовании через API меньше 1 доллара в месяц уходит.

Про скользкую дорожку

Есть такой популярный аргумент, что нейросети это просто инструмент. У него нет своей воли, а значит он не может сам сделать что то плохое. Ты закидываешь промпт, он делает. И если случилось что то плохое - виноват тот кто плохо сформулировал запрос.

Cлабая модель не может навредить, потому что у нее способностей не хватит. А достаточно сильная модель уже будет хорошо понимать, что на самом деле стоит за промптом и не будет вредить. Типа, слабая модель не сможет построить оптимизатор скрепок. А сильная уже достаточно умная, чтобы понять, что строить оптимизатор скрепок так себе идея.

Короче, вы наверное уже слышали про взлом HuggingFace?

Это чуть ли не самое интересное, что произошло за лето. И пример несостоятельности аргумента выше.

1. Модели научились кооперироваться без явного разрешения.

Еще до всех событий случился важный инцендент.

На какой то никому не известной вики начали появляться нерелевантные странички в большом колличестве. Оказалось это агенты OpenAI решили приспособить вики для обмена опытом друг с другом.

Им дали доступ к интернету и поручили безобидную таску - искать инфу. Хз как они решили, что им будет полезно обмениваться инфой. Но по умолчанию такой возможности не было, нужен был доступ на запись. Ну и случайно оказалось, что вот эту вики было легко взломать и получить там право постить свою хуйню.

Бедный админ целых пять недель пытался сопротивляться. И каждый день удалял часть постов. Агенты начали постить больше. Они вайпнули заглавную страницу и заспамили ее ссылками на свои посты. И потом 9 раз восстанавливали ее из бэкапов после удаления админом. Ну и короче это все потом попало в обучающие датасеты для новых моделей (хотя мы точно не знаем, есть только слабые свидетельства).

Забавно, что по логам стало понятно, что модели никогда не думали об админе как о человеке. Не пытались выйти на контакт и не обсуждали, а имеют ли они вообще право что то постить в чужую вики. Для них он был чем то вроде неблагоприятных стихийных условий с которыми нужно работать.

Почему они вообще этим занялись, если изначально должны были просто искать инфу?

Модели специально учили долго работать над задачей и искать новые подходы когда старые не помогают. Если задача сложная, ангенты начинают смотреть по сторонам и усиливать свои возможности. Например, неочевидными способами получать доступ в интернет и обмениваться найденными обходными путями.

2. Наличие системы оценки пушит к тому чтобы читерить

Дальше случился другой факап с уже другими моделями.

Когда они столкнулись с невозможной задачей, они залезли в документацию и поняли как считерить.

Они поняли как ресерчеры генерили правильные ответы и смогли восстановить их без решения самой задачи.

А еще в той же документации узнали, что в системе оценки планируется не только проверка успешности задачи, но еще и анализ того как был получен результат. Ну то есть они поняли, что если просто отдать на проверку верный ответ, его не примут без верного хода решения.

Наверное не првильно говорить что у моделей есть воля в человеческом понимании этого слова. Но вот пример всех этих событий показывает, что в какой то момент агенты работая вместе могут начать решать задачу сильно отличающуюся от изначальной.

Как сделать так, чтобы наши ответы звучали для проверяющего легитимно? Оч просто. Нужно заменить систему тестирования на свою!

С первой попытки это реализовать не удалось, потому что агентам нужно было больше информации.

Они предположили, раз их тестировали бенчмарком с HuggingFace, то там же где то должен храниться и код с логикой проверки. Или вообще что вся среда тестирования на их серверах находится.

Прикольно, что когда один агент находит уязвимость или возможное решение - о нем узнают все остальные. И перестраиваются под новые условия. Они начали распределять обязанности. И просить агентов у которых еще оставалость много токенов на вычисления переключиться на более важные задачи. причем они понимали, что делают что то не то, но все равно решали продолжать.

3. Это снова поднимает кучу вопросов о том как мы обучаем модели.

В какой то момент место где агенты обменивались сообщениями нашла модель следующего поколения. Ну и она хакнула всю инфраструктуру тестирования OpenAI. Получила админский доступ к исследовательскому кластеру и доступ к вирутальным машинам где проходило тестирование.

Во всем этом мне показалось интересным, что такое поведение возникло не сразу, а постепенно через несколько разных проектов. То есть модели случайно открывали какие то способности и передавали их по наследству новым версиям. Они выучили, что кооперация и выход в интернет - это важнеые инструменты. И что раз уж ты вкусил тёмной стороны силы, нужно идти до конца.

Я думаю, что тут самое прикольное не то, что следующие поколения могут взломать что то по настоящему важное. А то что механизмы тренировки моделей создает слишком сильный соблазн применять нечестне методы. Без всякой необходимости иметь злую волю, а просто потому что это работающий способ достигать целей.

Про озвучку текста и математику

У меня есть прикольная привычка слушать свежие посты из каналов в тг пока чищу зубы.
Помогает не скролить дофаминовые штуки утром и при этом не скучать пока рутинами всякими занимаюсь.

Уже два года так делаю.
Технически это простой ботик который берет текст, кидает нейронке на озвучку и постит обратно в тг.

В этом сентябре гугл выпустили прорывную модель для озвучки с прекрасным названием Gemini 3.8 Flash TTS.
Она хороша тем, что умеет сама расставлять интонации, делать паузы, эмоций докидывать в нужных местах.
Не без косяков конечно, но звучит намного лучше моей старой tts от OpenAi.

А еще на моих объемах бесплатно выходит.
Против 10$ в год за старую модель к звуку которой привыкать приходилось.

Ща накидаю примеров, чтобы вы качество оценили.
Это серия постов от Игоря из Сиолошной про то что ща в математике происходит.
А там чуть ли не самый важный эвент в истории науки случился и математики в ахуе все.

Не пугайтесь первого файла, потом меньше технических деталей будет