risen.eth
2.5K subscribers
48 photos
72 links
Download Telegram
MEMORY WALL - в AI / p.3


Модели расчета для каждого уровня G1-G4 типа памяти
G1 [ ТАБЛИЦА ]
G2 [ ТАБЛИЦА ]
G3 [ ТАБЛИЦА ]
G3.5 [ ТАБЛИЦА ]
G4 [ ТАБЛИЦА ]


Модель расчета для BoM разных кластеров GPU
[ ТАБЛИЦА ]

Модель расчета сценария Revenue основных memory компаний
[ ТАБЛИЦА ]
🔥2
MEMORY WALL - в AI / p.4

Тезис № 1 [ Эра ИИ Агентов ]

Эра ИИ Агентной экономики еще не наступила.
В будущем могут существовать миллиарды ИИ-агентов, которые будут действовать неделями, месяцами и годами от имени людей и компаний. Для этого им недостаточно большого контекстного окна или длинного KV-cache. Им нужен отдельный memory layer

Morgan Stanley [ 04.2026 ] - по мере того, как развивает ИИ Агенты - автономные действия, вычислительный bottleneck смещается в сторону CPU и памяти.


Тезис № 2

Большинство компаний, связанных напрямую с пятью слоями ИИ
[ энергетика - чипы -дата-центры - LLM модели - приложения для ИИ ] торгуются с P/E 30-150x

В отличии, от игроков в сфере памяти, которые торгуются на 10-20x


Тезис № 3

Пока не видно потолка остановки прогресса в мощностях с каждым новым поколением чипа.

Каждая архитекутра чипов потребляет в разы больше памяти [ 80 GB - 288 GB - 1TB ]

В отличии от телефонов, где не нужна была смена архитектуры HBM1 -HBM2- HBM3 - HBM4 -> HBF - так как там потолок памяти долгое время был на уровне 256-512 GB + память в телефоне работает намного легче в плане устройства - так как она переодически спит + обрабатывает запросы одного человека , а не под непрерывный поток матричных умножений с миллионов параллельных потоков- > 256–512 ГБ флеш + 8–16 ГБ LPDDR закрывают потребности мобильного OS и приложений уже 5+ лет, рост идёт линейно на ~10–15% в год.

В GPU Memory есть гонка по memory - которая еще не закончилась - соответственно масштабирование одного продукта пока не делается - постоянно разрабатывается следующая архитектура

Когда ИИ-чипы получают больше HBM, разработчики немедленно строят модели побольше, чтобы его заполнить, так что память всегда следующее узкое место.


Тезис № 4

В прошлом, циклы памяти были востребованы для ПК / Смартфонов / Дата-центров облачных - которые ограничивались человечески ресурусом [ кол-во людей, использующих ПК и Телефоны ]

Этот цикл - не ограничивается биологическими ограничениями, у каждого человека может быть не один смартфон, а 10 ИИ агентов по разным сферам. У компаний могут быть 1 млн ИИ сотрудников.

Парадокс Джевонса создаст еще большую потребность в ИИ вычислениях за счет того, что можно будет строить еще больше новых продуктов и закрывать еще больше потребностей.

Каждое предприятие, каждое потребительское приложение, каждый автономный автомобиль, каждый ИИ-агент, каждый ИИ-робот - потребитель памяти.
4🔥1
MEMORY WALL - в AI / p.5

Тезис № 5

Рост кол-ва параметров моделей
Gemini ~ 10T / Opus 4.7 ~ 5T / GPT 5.1 PRO ~ 10T [ рост 5-10х с 2025 г. ]
Маск планирует Grok5 до 20T параметров в 2026г.

Тезис № 6

Техническое усложнение продукта.
Относительный capex/бит для HBM -4x.
Для LPDDR5 1.6x / NAND 1.5x -

Самое главное отличие этого цикла- поставщики памяти делали весь стек целиком in-house - отсутствовали TSMC.

Тезис № 7

Переход от генерации текста к генерации видео (AI-видео, замещающее YouTube) потребует роста пропускной способности и объёма памяти примерно в 1000 раз.

Тезис № 8

Память используется очень во многих функциях дата-центров, оптимизации подобные Google TurboQuant - происходят не во всех направлениях сразу, а часто в единичных.
Недостаточно минорной оптимизации как в Turbo Quant - одной ветки вычислений - нужно полностью все стадии вычисления на ПОРЯДКИ

Groq / Cerebras - делают все свои альтернативы вместе с HBM - разделяя разные функции на разные типы памяти.


Тезис № 9

Высокий спрос на ИИ сектор будет вызывать рост цен на другие сектора: робототехника / машины / смартфоны / ПК
2🔥2
MEMORY WALL - в AI / p.6


Если брать по отдельности чип NVIDIA, одну штуку, например B200 или R200 - то наиболее затратная часть этого чипа для NVIDIA = затраты на память HBM, которые составляют > 50% себестоимости
( 2000 -3000$ )

Больше других типов памяти внутри самого чипа не ставят.
Остальные уровни памяти, о которых говорил в постах выше - ставят уже в кластерах GPU.
Все дата-центры работают на кластерах, а не на одиночных чипах.
Все крупные клиенты NVIDIA закупают кластеры.

Себестоимость, кластера из 72 чипов на примере NVIDIA GB200 NVL72:
3 200 000$
из которых > 15% уходит на G1-G4 память, при это сам GPU Silicon чип ( без HBM ) составляет ~ 10% BoM

Если рассматривать, VR200 NVL72 - то там общий BoM потенциально будет доходить ~5 000 000$
и при этом добавляется новый уровень памяти + увеличивается емкость прошлых уровней в разы - > BoM на память увеличивается >20%

[ Более детальные расчеты ]


Если брать, каждый уровень памяти - то с каждым новым поколением чипа - объем этой памяти увеличивается на 50% -200%+


G1 [ HBM ]
H100 -> B200 -> R200
1x- > 2.5x -> 4x

G2 [ Host-Dram ]
GB200 NVL72 - > VR200 NVL72
1x - > 3x

G3 [ Local NVMe/SSD ]
GB200 - > R200
1x > 5x

G3.5 [ Inference Context Memory Storage ]
новый вид памяти, не было в прошлых поколениях


G4. Networked external storage
H100 - > GB200 NVL72
1x - > 2x
🔥43
HYPURR NFT

Тезисы:
-HYPE вырос / нфт нет [ Dune ]
-Спекуляции о новом сезоне фарма
-Вся команда в аватарках + инфлюенсеры - > при росте HYPE внимание может попасть и на NFT
-текущий mcap HYPURR - 70m$
при раздаче 0.1% SUPPLY - 42m$ / окуп 60% + остается NFT
при раздаче 0.2% supply - профит 20% + остается NFT

Затраты ~ 15 500$
👍5
Взял $TON на плечо, помимо спот позиции

Тезисы:
-Telegram официально становится руководящей структурой в экосистеме - смещает TON Foundation

-За один месяц было объявлено о 3 из 7 шагов для Make TON Great Again
Ожидаю в течении месяца остальные шаги.

-Потенциально, один из шагов дополнительные байбеки от Telegram от части Revenue
Ранее, buy pressure шел только от юзеров, покупающих услуги в Telegram через Fragment
6😁2
risen.eth
MEMORY WALL - в AI / p.6 Если брать по отдельности чип NVIDIA, одну штуку, например B200 или R200 - то наиболее затратная часть этого чипа для NVIDIA = затраты на память HBM, которые составляют > 50% себестоимости ( 2000 -3000$ ) Больше других типов памяти…
Вложения:
SANDISK - 15 000$
SK Hynix - 20 000$
Samsung - 25 000$

Основные метрики для мониторинга:
1) Динамика роста кол-ва чипов в мире [ 1 ]
2) Динамика увеличения требования к памяти по новым поколениям чипов [ 1 ]

Разделение по игрокам:
Ставка больше на NAND рост в ближайшие годы из-за добавление нового уровня G3.5 + потенциальная разработка HBF -> которая по прогнозам профессора-основателя HBM полностью сместит HBM после 2035г.

Ставка на SAMSUNG как потенциального будущего лидера в сфере технологической эффективности типов памяти.
Были провалы в 2023-2024г., связанные с квалификацией.
Последние кварталы успехи больше у SAMSUNG чем у SK Hynix.
🔥8
00:00 BTC
03:00 ETH
15:20 BNB
18:35 XRP
21:19 SOL
23:00 DOGE
25:55 TRX
27:40 ADA
27😁2🎉2👍1
00:00 HYPE
14:07 ZEC
23:57 BCH
25:15 LEO
25:44 XMR

Сорри за качество войса - приболел чутка
19👍2😁1
AI-RAN / AI GRID


Jensen Huang: 6G + AI GRID - лучший способ для координации и обслуживания физического мира интеллектом.Телекоммуникационная связь станет глобальной сетью для распределения AI.

Jon Saw [ CTO T-Mobile ] : В LLM нужны были токены, как носители информации. В физическом интеллекте нужны - кинетические токены. Им нужна временно-пространственная согласованность, детерминированная производительность, сверхнизкая задержка, синхронизация устройств и непрерывное обучение на краю сети. И главное — сеть должна понимать, что эти токены не пассивны. Они операционные. Именно здесь телеком-сети становятся центральными для будущего физического ИИ.

Jensen Huang: ИИ стимилирует строительство крупнейшей инфраструктуры в мире - и телекоммуникации следующий шаг.

Jensen Huang: У нас крупное партнёрство с Nokia.Это индустрия на три триллиона долларов. NVIDIA появилась новая продуктовая линия- ARC. Nokia будет работать с нами, чтобы интегрировать нашу технологию и переписать свой стек. Это компания с 7 000 фундаментально важными патентами 5G. Трудно представить более сильного лидера в телекоммуникациях. Они сделают NVIDIA Arc своей будущей базовой станцией. Это означает, что мы возьмём эту новую технологию и сможем обновить миллионы базовых станций по всему миру до 6G и ИИ. Они повысят эффективность своих сетей за счет ИИ. Второе направление — AI on RAN. Интернет дал коммуникации, а затем такие компании, как AWS, построили облачные вычисления поверх интернета. Теперь мы собираемся сделать то же самое поверх беспроводных телекоммуникационных сетей. Это новое облако станет периферийным облаком для промышленной робототехники. Облачные вычисления смогут выйти прямо на край сети, туда, где нет дата-центров. Потому что базовые станции есть по всему миру.

Личный тезис № 1
Телеком операторы очень стабильный бизнес, который торгуется на низких P/E - даже если AI RAN не будет коммерчески успешен - не сильно скажется на ценах операторов, если рынок не будет сильно негативным.
Более того, AI RAN может потенциально улучшить их традиционную бизнес модель за счет оптимизации технических процессов радиосети и т.п. [ AI FOR RAN ]


Личный тезис № 2
AI-RAN / AI GRID - критическая инфраструктура для робототехники и физического интеллекта.

Личный тезис № 3
Появятся новые ветки для revenue на ПРАКТИЧЕСКИ готовую инфраструктуру : спектр, оптика, сетевая инфраструктура, земля, электропитание, помещения— идеальные площадки под edge AI-фабрики.
Единственный минус, что супер мощные кластеры не получится поставить, будут ставить что-то типо NVL2 - но даже это намного сильнее, чем те которые сейчас есть в edge устройствах самих девайсов. Но при этом Latency в разы лучше чем у облачных дата-центров.
[ ~ 10мс AI RAN / ~5мс Edge AI Jetson / ~50мс дата-центры ]

Личный тезис № 4
За счет низкого Latency можно не только задачи робототехники закрывать, но и новый вид AI приложений - который ранее не был доступен из-за низкого latency - могут появится killer apps [ Пример: разговор между ИИ асистентом при инференса от cloud нужно ждать несколько секунд ответ - а при AI-RAN инференсе ответ как от обычного человека ]



Новые виды монетизации:
1.Кинетические токены
Intelligent Sensing and Communication / RF Sensing - > критически важно для нового формата мира - от смартфонцентрического - к человекуцентричному, где вокруг человека будут окружать девайсы, которым нужен будет полный контекст окружений - где вы находитесь, рядом с чем, как двигаются объекты рядом с вами и многое другое.

2.Предоставление Инференса.
Преимущества телекома: уже есть спектр, оптика, сетевая инфраструктура, земля, электропитание, помещения— идеальные площадки под edge AI-фабрики.

3.Обучение ИИ / сбор данных для ИИ / обновление моделей.
Раньше операторы продавали услуги только конечным потребителям и компаниям - а теперь появится еще один слой: Operation traffic, связанный с обслуживанием AI-моделей внутри сети : Сбор данных для обучения / Обновление моделей / федеративное обучение.

4.Новый вид траффика - AI Агенты.
6
AI-RAN / AI GRID

Хронология Событий:
2024:
Учреждение AI-RAN Alliance: NVIDIA, SoftBank, Arm, Ericsson, Nokia, Samsung, Microsoft, AWS, T-Mobile US

T-Mobile + NVIDIA + Ericsson + Nokia: запуск AI-RAN Innovation Center в Bellevue, WA

SoftBank анонсирует AITRAS — собственный продукт AI-RAN на NVIDIA GH200. 5G + AI Inference одновременно в одном чипе.

NVIDIA ARC-1 — первая аппаратная платформа NVIDIA для AI-RAN


2025:
NVIDIA ARC-Compact — вторая аппаратная платформа, для edge с меньшим потреблением

NVIDIA × Nokia стратегическое партнёрство; NVIDIA инвестирует $1 млрд в Nokia ($6.01/акция).

NVIDIA ARC-PRO

Alliance до 132 членов. Новые члены: Qualcomm, SK Telecom, Vodafone. Министерство внутренних дел и коммуникаций Японии

2026:
Nokia anyRAN на NVIDIA GPU функционально оттестирован с T-Mobile US, IOH, SoftBank.

Comcast field trial: GPU в edge DOCSIS 4.0 FDX узлах

Spectrum (Charter) разворачивает RTX 6000 PRO Blackwell на 1000+ edge DC/хабов;

Akamai Inference Cloud: 2B$ сделка с Anthropic [ взяли в аренду инфраструктуру телекомов - и поставили там внутри свои чипы без RAN функций - только инференс ]
2
ИИ Реформирование компаний

Потенциальные последствия для компаний в эпоху физического и искусственного интеллекта:

I. Новый тип управления

Наиболее популярный тип управления в pre-AGI эпоху: иерарахия
Один из вариантов новой системы управления пытается внедрить Jack Dorsey [ Tweet ]
Основной принцип: все решения принимаются через внутренний мини- AGI
1) Модель компании [ агрегирует все артефакты работы (код, тикеты, обсуждения, метрики, инциденты, планы) и в реальном времени показывает, что где строится, что сломано, где узкие места.]
2) Модель клиента [ экономический граф — транзакции миллионов мерчантов и пользователей Cash App/Square, их кассовые разрывы, сезонность, поведение, риск-профили. ]
3) Интеллектуальный слой - после обработки всей информации- ИИ сам принимает решения, а не дожидается какого-то решения от человека. И все это 24/7 с моментальной скоростью без ожидания типичной корпоративной модели по координации действий от A-B-C

Нет смысла управлять ИИ Агентами через ручное управление. Эффективнее создать Enterprise World Model - которая будет знать всю информацию о компании и клиентах и при этом принимать решение. Текущий формат управления компаний построен на иерархии - где процессы по принятию решений занимают дни / недели / месяцы. Обучение должно проходить специализировано компанией через fine-tuning в зависимости от их видения бизнес-процессов.



II. Новые экономические возможности

Экономия времени / ресурсов от постоянной текучки
Экономия ресурсов от заработной платы
Экономия времени / ресурсов от управления большим кол-вом людей
Рост эффективности за счет работы 24/7
Экономия ресурсов от снижения брака / неэффективности
Рост скорости масштабирования за счет отсутствия bottlnecks в виде количества людей с подходящей экспертизой / трудовых прав и т.п.

Критерии компании, которые потенциально будут первичными бенефициарами :
-Высокая текучка
-Возможность заменить работников на физический ИИ в ближайшее время
-Высокие затраты на персонал
-LLM модели не заберут бизнес под себя


Лучшие компании под эти критерии [ ФОТО ]


III. Ускорение инноваций в DeepTech / Науке

ИИ решает два ключевых вопроса в науке:
1)интеллект ( становится доступнее -> раньше ученные были в дефиците, сейчас LLM в X вопросах науки становится твоим личным собеседником на уровне профессора или выше )
2)скорость ( один ученный может провести исследование в х10-100 раз быстрее, так как у него 1000 ИИ агентов )

Sam Altman: Самое главное влияение AGI - > экстраординарный рост научных технологий. Возможно, за год мы откроем достигнем прогресс, который проходили 100 лет. ИИ сжимает 10–100 лет исследований в 1 год. Учёные говорят, что они уже в 2–3 раза продуктивнее с ИИ. Если десятилетие исследований мы сожмём в год или месяц — темп прогресса будет совсем другим


Dario Amodei: ИИ будет делать всю работу биолога end-to-end. Ожидаю, рост прогресс в биотехнологиях х10. Конкретные ставки: рак, болезнь Альцгеймера, диабет/ожирение, сердечно-сосудистые, аутоиммунные заболевания; продление здорового долголетия; «биологическая свобода» — управление весом, фертильностью, внешностью


Карпатый: ИИ Агент провёл 700 экспериментов за 2 дня и нашёл 20 оптимизаций. Это R&D с коэффициентом сжатия времени 50-100x на конкретных подзадачах по скорости и по ценам.


Основные сферы для технологических прорывов за счет ИИ - >
Наиболее капиталоемкие сферы R&D в 2025 г. [ GOOGLE SHEET ]
Лично я бы выделил:
Биотехнологии [ консенсусное мнение - все делают упор на это - №1 приоритет ]
Материаловедение
Иное [ Термоядерный синтез / Возобновляемая энергетика / Квантовые технологии ]
5
4