ИИ-искажения.
Часть 1.
В начале года Дженсен Хуанг (NVidia) выкатил модель архитектуры ИИ в виде 5-ти слойного "cake" (тут уж пирог это или торт, решайте сами).
Соответственно, имея вот этот вертикальный (теперь ИИ) стек, можно проанализировать какой статус по каждому, где затыки и т.д.
У нас же есть много новостейпро курицу и яйцо , или в чем возникнет проблема раньше.
До второй части этого поста, я хочу провести небольшой опрос среди уважаемых читателей канала 👇
Часть 1.
В начале года Дженсен Хуанг (NVidia) выкатил модель архитектуры ИИ в виде 5-ти слойного "cake" (тут уж пирог это или торт, решайте сами).
Соответственно, имея вот этот вертикальный (теперь ИИ) стек, можно проанализировать какой статус по каждому, где затыки и т.д.
У нас же есть много новостей
До второй части этого поста, я хочу провести небольшой опрос среди уважаемых читателей канала 👇
👏1
Опрос про МИР:
Как вы считаете на каком слое существуют наиболее реальные проблемы и ограничения, связанные с дефицитом как технологий, так и ресурсов
Как вы считаете на каком слое существуют наиболее реальные проблемы и ограничения, связанные с дефицитом как технологий, так и ресурсов
Anonymous Poll
56%
Энергия
29%
Чипы
5%
Инфраструктура (ЦОДы)
5%
Большие фундаментальные модели
4%
Приложения и сервисы ИИ
Опрос про РОССИЮ: Как вы считаете на каком слое существуют наиболее реальные проблемы и ограничения, связанные с дефицитом как технологий, так и ресурсов
Anonymous Poll
18%
Энергия
69%
Чипы
8%
Инфраструктура (ЦОДы)
5%
Большие фундаментальные модели
0%
Приложения и сервисы ИИ
Forwarded from Егошин | Кеды профессора
Главная презентация года от NVIDIA: что я понял, когда перевёл новый доклад Дженсена Хуанга
Если бы меня спросили, на кого смотреть, чтобы понять, куда на самом деле движется ИИ, я бы ответил - на тех, кто несет самый большой финансовый риск. Софтверный стартап можетперевайбкодить переписать код за пару недель, а вот «железячники» вливают десятки миллиардов долларов в заводы, кремний и энергетику, которые строятся годами. Если они ошибутся с прогнозом - им будет больно.
ГлавныйСтив Джобс железячник планеты сейчас - это Дженсен Хуанг. На недавней GTC 2026 в Тайбэе он собрался с мыслями и за 2 часа раскидал как его NVIDIA + целая страна Тайвань будут перестривать мировую инфраструктуру под эпоху агентного ИИ. В Тайвани все так прет на этом фоне, что Правительство думает о том, чтобы гражданам по 10 к местных долларов выплатить)
Мы сделали студийный перевод этого доклада: ютуб, вк видео.
Вот ключевые мысли и ощущения, которые у меня остались после просмотра:
01 ИИ стал полезным
Дженсен показал интересный график активности программистов на GitHub (скрин 1). Обратите внимание на динамику: 2023, 2024 и 2025 годы график рос плавно и предсказуемо. Но за первые несколько месяцев 2026 года количество отправленных изменений в коде (коммитов) буквально выстрелило в космос - рост почти в 3 раза!
При этом мировые затраты на зарплаты разработчиков остались теми же (~$3 трлн в год), а объём генерируемого ими результата Хуанг оценил уже в $9 трлн. Произошёл тот самый сдвиг: ИИ перестал быть просто чатиком, куда мы пишем промпты, и превратился в инструмент, который сам выдаёт готовую работу.
02 Агенты, агенты, агенты
Полезным ИИ стал именно благодаря появлению Агентов (Codex, Claude Code - самые известные). Агент - это оболочка вокруг LLM-мозга (скрин 2). Мозг думает, а оболочка управляет памятью, дергает базы данных, браузер и API. Например, в самой NVIDIA такие агенты уже проектируют и тестируют микрочипы, сократив время проверки схем с недель до нескольких часов. Они показали как это работает на конфе - круто)
03 Железо заново переизобретают под нетерпеливых агентов
Человек за компьютером работает медленно: мы водим мышкой курсор, кликаем, ждём пару секунд, пока откроется файл или отработает скрипт, и нам ОК.
Агент же работает со скоростью компьютера. Он совершает тысячи вызовов в минуту, не умеет ждaть и задействует железо совершенно по-другому. Когда задержка в пару миллисекунд тормозит цепочку из сотен агентских мыслей, старые процессоры (x86 от Intel/AMD) становятся главным узким горлышком. Из-за этого NVIDIA представила Vera CPU - центральный процессор, спроектированный с нуля не под человека, а под гиперактивного агента. А также новые GPU, сетевые штуки и шкафы, которые все это хозяйство соединяют.
04 Монструозное железо Vera Rubin и «чистый рынок продавца»
На сцене перед Хуангом стояла стойка нового поколения - Vera Rubin NVL72(скрин 3). Чтобы понимать масштаб: один такой шкаф с жидкостным охлаждением стоит порядка 1,5 млрд руб. Это колоссальная вычислительная плотность - на одной такой стойке можно развернуть 13 экземпляров самой большой LLM опенсорса Kimi K3.
И здесь у меня очень вовремя совпали впечатления от презентации с личным практическим опытом. Недавно ко мне обратилась одна организация с задачей помочь раздобыть и привезти в Россию топовые серверы NVIDIA. Мы искали два типа железных монстров: 8-чиповый сервер NVIDIA B300 (в Москве это сейчас порядка $1,4 млн) и ту самую стойку NVIDIA GB300 NVL72 (стоимостью около $15 млн).
Прорабатывая поставку, я на практике прочувствовал то, что в школе на уроках экономики называли «чистым рынком продавца». Это ситуация абсолютного дефицита, когда у продавца с железным ресурсом на руках нет задачи «продать» - у него под дверью стоит очередь из покупателей с сумками наличных, и уже сам продавец выбирает, кому из них он соизволит этот сервер отгрузить. Интересные времена)
Наш полный проф. перевод презентации можно глянуть по ссылкам:
ютуб, вк видео.
Если бы меня спросили, на кого смотреть, чтобы понять, куда на самом деле движется ИИ, я бы ответил - на тех, кто несет самый большой финансовый риск. Софтверный стартап может
Главный
Мы сделали студийный перевод этого доклада: ютуб, вк видео.
Вот ключевые мысли и ощущения, которые у меня остались после просмотра:
01 ИИ стал полезным
Дженсен показал интересный график активности программистов на GitHub (скрин 1). Обратите внимание на динамику: 2023, 2024 и 2025 годы график рос плавно и предсказуемо. Но за первые несколько месяцев 2026 года количество отправленных изменений в коде (коммитов) буквально выстрелило в космос - рост почти в 3 раза!
При этом мировые затраты на зарплаты разработчиков остались теми же (~$3 трлн в год), а объём генерируемого ими результата Хуанг оценил уже в $9 трлн. Произошёл тот самый сдвиг: ИИ перестал быть просто чатиком, куда мы пишем промпты, и превратился в инструмент, который сам выдаёт готовую работу.
02 Агенты, агенты, агенты
Полезным ИИ стал именно благодаря появлению Агентов (Codex, Claude Code - самые известные). Агент - это оболочка вокруг LLM-мозга (скрин 2). Мозг думает, а оболочка управляет памятью, дергает базы данных, браузер и API. Например, в самой NVIDIA такие агенты уже проектируют и тестируют микрочипы, сократив время проверки схем с недель до нескольких часов. Они показали как это работает на конфе - круто)
03 Железо заново переизобретают под нетерпеливых агентов
Человек за компьютером работает медленно: мы водим мышкой курсор, кликаем, ждём пару секунд, пока откроется файл или отработает скрипт, и нам ОК.
Агент же работает со скоростью компьютера. Он совершает тысячи вызовов в минуту, не умеет ждaть и задействует железо совершенно по-другому. Когда задержка в пару миллисекунд тормозит цепочку из сотен агентских мыслей, старые процессоры (x86 от Intel/AMD) становятся главным узким горлышком. Из-за этого NVIDIA представила Vera CPU - центральный процессор, спроектированный с нуля не под человека, а под гиперактивного агента. А также новые GPU, сетевые штуки и шкафы, которые все это хозяйство соединяют.
04 Монструозное железо Vera Rubin и «чистый рынок продавца»
На сцене перед Хуангом стояла стойка нового поколения - Vera Rubin NVL72(скрин 3). Чтобы понимать масштаб: один такой шкаф с жидкостным охлаждением стоит порядка 1,5 млрд руб. Это колоссальная вычислительная плотность - на одной такой стойке можно развернуть 13 экземпляров самой большой LLM опенсорса Kimi K3.
И здесь у меня очень вовремя совпали впечатления от презентации с личным практическим опытом. Недавно ко мне обратилась одна организация с задачей помочь раздобыть и привезти в Россию топовые серверы NVIDIA. Мы искали два типа железных монстров: 8-чиповый сервер NVIDIA B300 (в Москве это сейчас порядка $1,4 млн) и ту самую стойку NVIDIA GB300 NVL72 (стоимостью около $15 млн).
Прорабатывая поставку, я на практике прочувствовал то, что в школе на уроках экономики называли «чистым рынком продавца». Это ситуация абсолютного дефицита, когда у продавца с железным ресурсом на руках нет задачи «продать» - у него под дверью стоит очередь из покупателей с сумками наличных, и уже сам продавец выбирает, кому из них он соизволит этот сервер отгрузить. Интересные времена)
Наш полный проф. перевод презентации можно глянуть по ссылкам:
ютуб, вк видео.
🔥4
ИИ-искажения
Часть 2.
Для начала вопрос-ответ.
Вы же не считаете, что доступ к ИИ будет всегда бесплатным?! Опенсорсные модели по щелчку заканчиваются, а раздавать из облака это уже данность.
Возвращаемся к пятиуровнему торту и результатам наших опросов.
Вишенки на этом торте🤩 в явном виде не прослеживается, но очевидно, что это стоимость токена ⚡️ .
И здесь интересно посмотреть сколько каждый слой даёт в себес, с точки зрения затрат. Вопрос совершенно дурацкий, так как все сильно зависит от того, что делается, как делается и на каком масштабе. Плюс, веса стоимости разных слоев зависят друг от друга и могут перекачиваться с уровня на уровень. Например, из-за чипов и алгоритмов стоимость токена за несколько лет снизилась на порядок или два.
Или, лично мне любопытно было узнать что русский язык (т.е. православные БФМ) с точки зрения токенизации раза в 1,5, а то и 2 ресурснее английского (а иероглифы ещё ресурснее). А ещё разделение по долям на токены ввода и вывода и политики по стоимости на каждый из них.
В общем, чудеса 🪄и нет стабильности🤔 .
Типовые сценарии:
1⃣ Обучение. Веса энергии и чипов выше, инфраструктуры ниже, модели выше, приложений ниже.
2⃣ Использование. Веса энергии и моделей ниже, чипов и инфраструктуры стандартно, приложений выше.
3⃣ Гибрид - все сильно не определено, надо смотреть доли.
Это все для одного масштаба. Для малого масштаба стоимость токена в разы дороже, на объеме хлоп - это то, что обосновывает вот эту гигаваттную гонку.
Ну и конечно, когда гонка по захвату поляны закончится, будет включен счетчик. Он уже для серьезных запросов и крутых моделей включен (а для роботов и прочих физических ништяков станет ещё более критичным и ценным). Правильно писать запросы важно (как умение на первых поисковиках, помните?), минус семантика,пунктуация и т.д., привет токенизаторам.
Плохая новость для нас заключается в том, что уровень инфраструктуры при всех раскладах это пример 10-15% стоимости токена (так вижу или ощущаю, готов спорить). И то что, у нас колоссальная дырка в чипах.
Понятно, что
- мы будем грызть свою морковку и оптимизировать и эти 10-15 процентов, но эффекты на других уровнях будут более привлекательны
- комплексная оркестрация - отдельный скилл (это то на чем сейчас Nebius бомбит).
Пессимистический ЗЫ.
При высокой зависимости от стоимости электричества и простых операциях обработки получаем токен=неомайнинг.
И да, в такой модели, делегирование на ресурсы в колониальной модели становится безопасным и даже правильным геополитическим инструментом (в т.ч. и по странам ЕАЭС по последним новостям). Местные берут на себя все затраты на инфраструктуру, создают свои ИИ-фабрики, масса-дик приходит их грузить, а если будут себя плохо вести, то останутся без нагрузки, с простаивающими ЦОДами. И это не авто и прочее производство, которое оставляет технологию, это забирается по щелчку.
Часть 2.
Для начала вопрос-ответ.
Вы же не считаете, что доступ к ИИ будет всегда бесплатным?! Опенсорсные модели по щелчку заканчиваются, а раздавать из облака это уже данность.
Возвращаемся к пятиуровнему торту и результатам наших опросов.
Вишенки на этом торте
И здесь интересно посмотреть сколько каждый слой даёт в себес, с точки зрения затрат. Вопрос совершенно дурацкий, так как все сильно зависит от того, что делается, как делается и на каком масштабе. Плюс, веса стоимости разных слоев зависят друг от друга и могут перекачиваться с уровня на уровень. Например, из-за чипов и алгоритмов стоимость токена за несколько лет снизилась на порядок или два.
Или, лично мне любопытно было узнать что русский язык (т.е. православные БФМ) с точки зрения токенизации раза в 1,5, а то и 2 ресурснее английского (а иероглифы ещё ресурснее). А ещё разделение по долям на токены ввода и вывода и политики по стоимости на каждый из них.
В общем, чудеса 🪄и нет стабильности
Типовые сценарии:
1⃣ Обучение. Веса энергии и чипов выше, инфраструктуры ниже, модели выше, приложений ниже.
2⃣ Использование. Веса энергии и моделей ниже, чипов и инфраструктуры стандартно, приложений выше.
3⃣ Гибрид - все сильно не определено, надо смотреть доли.
Это все для одного масштаба. Для малого масштаба стоимость токена в разы дороже, на объеме хлоп - это то, что обосновывает вот эту гигаваттную гонку.
Ну и конечно, когда гонка по захвату поляны закончится, будет включен счетчик. Он уже для серьезных запросов и крутых моделей включен (а для роботов и прочих физических ништяков станет ещё более критичным и ценным). Правильно писать запросы важно (как умение на первых поисковиках, помните?), минус семантика,пунктуация и т.д., привет токенизаторам.
Плохая новость для нас заключается в том, что уровень инфраструктуры при всех раскладах это пример 10-15% стоимости токена (так вижу или ощущаю, готов спорить). И то что, у нас колоссальная дырка в чипах.
Понятно, что
- мы будем грызть свою морковку и оптимизировать и эти 10-15 процентов, но эффекты на других уровнях будут более привлекательны
- комплексная оркестрация - отдельный скилл (это то на чем сейчас Nebius бомбит).
Пессимистический ЗЫ.
При высокой зависимости от стоимости электричества и простых операциях обработки получаем токен=неомайнинг.
И да, в такой модели, делегирование на ресурсы в колониальной модели становится безопасным и даже правильным геополитическим инструментом (в т.ч. и по странам ЕАЭС по последним новостям). Местные берут на себя все затраты на инфраструктуру, создают свои ИИ-фабрики, масса-дик приходит их грузить, а если будут себя плохо вести, то останутся без нагрузки, с простаивающими ЦОДами. И это не авто и прочее производство, которое оставляет технологию, это забирается по щелчку.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3🔥3💯2
Финал (мое скромное мнение) в третьей части...
👇И да, мне тут правильно подсветили, что в ответ на пятиуровневую модель, Хуавей выкатил, чуть другую, но 18-ти уровневую "пагоду"
👇И да, мне тут правильно подсветили, что в ответ на пятиуровневую модель, Хуавей выкатил, чуть другую, но 18-ти уровневую "пагоду"
👍3🔥1💯1
Forwarded from Телекоммуналка
На китайской платформе Bilibili вышло очень крутое интервью, о котором все начали говорить, перепечатывая Bloomberg. Мы же пошли другим путем и изучили все четыре часа увлекательной беседы. В частности, разберем структуру подхода Huawei, который ранее нигде не публиковался.
Гость - Ляо Хэн, главный ученый полупроводникового направления компании Huawei, ведущий архитектор ее ИИ-процессоров Ascend и компилятора CANN. Материала на несколько публикаций, поэтому мы решили подготовить серию постов о важных аспектах его высказываний.
Первое, о чем хочется поговорить, это о восемьнадцатиэтажной пагоде микроэлектроники. Хэн делает на ней акцент несколько раз за интервью, но мы разобрались в вопросе, расскажем вам про модель, про то, что в ней важно, и почему «пагода» Хэна из Huawei лучше, чем «торт» мистера Хуанга из Nvidia.
Он формулирует стратегию Huawei, как осознанный отказ воспроизводить архитектуру и экосистему конкурентов, прежде всего Nvidia, даже если это резко увеличивает издержки на построение собственной экосистемы с нуля. Копирование обречено на вечное отставание, а дифференциация – единственный путь к созданию ценности в высокотехнологичной отрасли.
Хэн специально противопоставляет свою метафору оппонентам из Nvidia. Ему такое описание показалось слишком узким, и он предложил образ пагоды в 18 этажей, по аналогии с деревянной пагодой в Инсяне.
В подвале и на первых уровнях – руда, песок, базовые химикаты и редкие металлы, физическая основа полупроводника. Дальше – производственное оборудование, включая литографические машины и т.д. Седьмой этаж Хэн называет «этажом fabless-дизайна» – это архитектура самого чипа. Средние этажи, отведены компиляторам, языкам программирования и алгоритмам вычислений. Выше – межсоединения, коммуникации, программные стеки и системы. А на самой вершине – модели и приложения, то есть все, что напрямую монетизируется: в интервью упоминались Douyin, WeChat, Alipay.
Суть в том, что общий предел производительности всей отрасли задает не средний и не самый сильный этаж, а самый слабый. Все 18 уровней связаны друг с другом, и провал на любом из них ограничивает потенциал системы целиком.
Поэтому, по его словам, катастрофически не хватает «составных инженеров», способных работать сразу на нескольких уровнях и стыковать аппаратные и программные ограничения между ними, в то время как узких специалистов, глубоко знающих один этаж, достаточно.
Хэн формулирует образ идеального инженера с «раскрытым во все стороны раструбом любопытства». Если делаем fabless-дизайн чипа – это на седьмом этаже. Есть ли у тебя способность шестого этажа? Есть ли восьмого, девятого? Можешь ли ты договориться с человеком, который занимается алгоритмами?
Разные этажи пагоды живут с разной скоростью итераций, что определяет всю стратегию Huawei. Изменение архитектуры чипа означает новый цикл длиной 18 месяцев и стоимостью 200-300 млн юаней (2,3-3,5 млрд руб.) за одну попытку. А на уровне программного стека – компиляторов и языков – итерация возможна за часы. Отсюда правило работы всей системы Huawei: внизу минимум лишних проб и максимально стабильная работа, наверху – свободный и быстрый цикл. Дешевые и частые эксперименты на программном слое используются для обратной калибровки направления развития дорогого и медленного аппаратного уровня.
Эта же логика объясняет его позицию по закону Мура. Хэн говорит, что для западных производителей чипов, включая Nvidia, закон Мура экономически исчерпал себя уже на уровне техпроцессов 16 и 7 нм – гонка за производительностью одного чипа потеряла смысл.
Huawei не бороться за лидерство на одном, этаже архитектуры чипа, а ведет системную конкуренцию через всю пагоду сразу, компенсируя слабости отдельного чипа кластерными решениями и связкой архитектуры, компиляции и системного дизайна.
Хэн заявил, что самые богатые ресурсами гиганты, вроде Microsoft, Google, Meta, Amazon, не стали лидерами в ИИ, потому что «AI is a new thing» – зрелая организация работает как иммунная система, которая уничтожает чужую клетку.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👍1