По данным отраслевых СМИ, компания Groq, ныне являющаяся частью Nvidia, планирует перейти на 3D-упаковку DRAM в своих ускорителях LPU следующего поколения, вместо использования скоростной памяти SRAM, чтобы увеличить емкость памяти для инференса ИИ-моделей.

Текущие Groq LPU используют 500 МБ SRAM с пропускной способностью до 150 ТБ/с на чип. В стойке LPX размещаются 256 ускорителей — суммарно это 128 ГБ SRAM и заявленная совокупная пропускная способность 640 ТБ/с. Вычислительная производительность одного LPU достигает 1,20 петафлопс в формате FP8.

SRAM обеспечивает очень высокую скорость доступа, но ее емкость ограничена, а увеличение объема обходится дорого по площади кристалла. DRAM позволяет разместить значительно больше данных, но уступает SRAM по скорости доступа. Поэтому переход на новую технологию может помочь Groq обрабатывать более крупные модели и увеличивать объем данных, доступных ускорителю непосредственно во время генерации, но потеряв преимущество в скорости

Предполагается, что Groq применит 3D Stacked DRAM — вертикальное размещение нескольких слоев памяти с использованием сквозных кремниевых переходов (TSV). Похожий принцип используется в памяти HBM: многослойная компоновка позволяет увеличить плотность хранения и сократить занимаемую площадь по сравнению с традиционным размещением микросхем.

При этом пока неизвестно, полностью ли Groq откажется от SRAM или будет сочетать ее с DRAM.

😅 Канал Serverflow в MAX: Подписаться

Робот ONE SN от Nvidia и Agile Robots с конференции GTC Berlin.

😅 Канал Serverflow в MAX: Подписаться

Теперь DGX Spark официально можно объединять в кластеры из 8 штук, это мы поняли. Но интересно, каким же коммутатором объединяется все это чудо? На корпусе лого Nvidia, но в ассортименте компании нет ничего визуально похожего. Давайте разбираться.

Сзади кластеры расположены толстые breakout DAC-кабели, каждый из которых подключается к одному из портов ConnectX-7 на задней панели Spark и непосредственно к портам коммутатора. Причем порты необычные — это QSFP-DD с пропускной способностью 400 Гбит/с, поэтому с помощью 4 портов и breakout-кабелей можно объединить сразу 8 устройств. Также на коммутаторе виден разъем RJ-45 для управления и разъем питания.

Итого:

💻️ 4 порта QSFP-DD по 400G

💻️ Каждый делится на 2 x 200G

💻️ Получаем ровно 8 подключений, по одному на каждый Spark

🤔 Так что это за коммутатор?

По набору портов идеально подходит MikroTik CRS804 DDQ: компактный 400-гигабитный коммутатор с четырьмя портами QSFP56-DD и двумя портами 10GbE. Энтузиасты уже давно используют его для домашних кластеров на Spark, а ServeTheHome еще при анонсе советовал MikroTik продвигать его именно для систем на GB10.

Но MikroTik выглядит совершенно иначе, а здесь корпус явно выполнен в стиле NVIDIA. При этом в официальных материалах с GTC Berlin никакого фирменного коммутатора нет: там сказано лишь, что системы соединяются через встроенный ConnectX-7, а кластер из восьми узлов настраивается вручную. Так что вариантов остается два:

1️⃣ Прототип собственного коммутатора NVIDIA.

2️⃣ Сторонний коммутатор в выставочном кожухе.

Какой бы из вариантов ни оказался верным, Nvidia наконец-то позволила объединять DGX Spark в 8-узловой кластер без костылей, а чем их лучше подключать друг к другу — энтузиасты быстро разберутся.

😅 Канал Serverflow в MAX: Подписаться

Разгон CPU Ryzen будет доступен на Linux — AMD наконец-то внедрила в ядро ОС патчи с драйвером AMD Overclocking Driver. В системах под управлением открытой операционки теперь можно менять лимиты энергопотребления, ток и включать/отключать многопоточность — настройки доступны через sysfs. Скорее всего, вслед за этим AMD выпустит ПО Ryzen Master для Linux-систем, но официальных заявлений пока не было.

😅 Канал Serverflow в MAX: Подписаться

Продолжаем расширять кругозор — теперь мы на конференции TimeWeb Cloud, узнаем о переменах в облачной инфраструктуре, изменении пользовательского опыта, способах защитить ЦОД от внешних воздействий и, конечно же, о железе, которое крутится в современных дата-центрах.

😅 Канал Serverflow в MAX: Подписаться