Смотрим конфу всем коллективом 👀

😅 Канал Serverflow в MAX: Подписаться

А вот и первый взгляд на вычислительные ноды на базе компонентов поколения Vera Rubin.

😅 Канал Serverflow в MAX: Подписаться

Vera Rubin Superchip 👀

😅 Канал Serverflow в MAX: Подписаться

Слева — NVLink Switch нового поколения. Справа — вычислительная нода Vera Rubin NVL72.

😅 Канал Serverflow в MAX: Подписаться

Кто-то из зала начал перебивать Хуанга...

😅 Канал Serverflow в MAX: Подписаться

И еще 2 новые ноды: Vera MGX и Spectrum-X.

😅 Канал Serverflow в MAX: Подписаться

SemiAnalysis ходит под Nvidia — теперь ни у кого не будет сомнений.

😅 Канал Serverflow в MAX: Подписаться

Модульные ИИ-кластеры Nvidia DSX также переходят на поколение Vera Rubin.

😅 Канал Serverflow в MAX: Подписаться

Боль каждого вайб-кодера..

😅 Канал Serverflow в MAX: Подписаться

Чтобы нейронка больше не могла позариться на удаление вашей кодовой базы, или не пыталась сбежать из песочницы, Nvidia разработала технологию OpenShell — среду выполнения с открытым исходным кодом для безопасного запуска автономных ИИ-агентов.

😅 Канал Serverflow в MAX: Подписаться

Подъехали первые аппаратные анонсы...Хоть и от Nvidia там только ИИ.

😅 Канал Serverflow в MAX: Подписаться

Nvidia уже третью конференцию GTC подряд анонсирует роботакси на базе AGX Thor Drive. Когда же их запустят?

😅 Канал Serverflow в MAX: Подписаться

По данным отраслевых СМИ, компания Groq, ныне являющаяся частью Nvidia, планирует перейти на 3D-упаковку DRAM в своих ускорителях LPU следующего поколения, вместо использования скоростной памяти SRAM, чтобы увеличить емкость памяти для инференса ИИ-моделей.

Текущие Groq LPU используют 500 МБ SRAM с пропускной способностью до 150 ТБ/с на чип. В стойке LPX размещаются 256 ускорителей — суммарно это 128 ГБ SRAM и заявленная совокупная пропускная способность 640 ТБ/с. Вычислительная производительность одного LPU достигает 1,20 петафлопс в формате FP8.

SRAM обеспечивает очень высокую скорость доступа, но ее емкость ограничена, а увеличение объема обходится дорого по площади кристалла. DRAM позволяет разместить значительно больше данных, но уступает SRAM по скорости доступа. Поэтому переход на новую технологию может помочь Groq обрабатывать более крупные модели и увеличивать объем данных, доступных ускорителю непосредственно во время генерации, но потеряв преимущество в скорости

Предполагается, что Groq применит 3D Stacked DRAM — вертикальное размещение нескольких слоев памяти с использованием сквозных кремниевых переходов (TSV). Похожий принцип используется в памяти HBM: многослойная компоновка позволяет увеличить плотность хранения и сократить занимаемую площадь по сравнению с традиционным размещением микросхем.

При этом пока неизвестно, полностью ли Groq откажется от SRAM или будет сочетать ее с DRAM.

😅 Канал Serverflow в MAX: Подписаться