SanDisk завершила проектирование первого кристалла High Bandwidth Flash и уже показала его образец. Первое поколение HBF рассчитано на стек из 16 NAND-кристаллов с суммарной емкостью 512 ГБ и скоростью чтения до 1,6 ТБ/с — решения будут использоваться в ИИ-инференсе больших LLM, работе с длинным контекстом и крупным KV-кэшем. SanDisk заявляет о 8-16 кратном приросте емкости на один стек по сравнению с HBM при сопоставимых размерах, энергопотреблении и стоимости упаковки. HBF можно использовать вместе с HBM, полностью заменить ей HBM или вынести в нее веса и KV-кеш, оставив небольшой объем HBM в роли быстрого кэша. Выход HBF в продакшен ожидается в 2027 году.

😅 Канал Serverflow в MAX: Подписаться

Вы когда-нибудь мечтали, чтобы Nvidia B300 можно было просто воткнуть в комп? Ну…или хотя бы в самый обыкновенный PCIe сервер? Чтож, ваша мечта сбылась, ведь такая возможность действительно есть, хоть и с некоторыми костылями.

Открываем вашему вниманию удивительный мир SXM-to-PCIe переходников, которые в огромном количестве представлены на Ebay, AliExpress и других популярных маркетплейсах.

Это работает буквально также, как вы подумали — просто вставляете здоровенный SXM-блок с ИИ-ускорителем внутри в это тоненькую плату с PCIe-интерфейсом, после чего можете спокойно использовать получившегося франкенштейна в вашей системе, правда, про NVLink, скорости сверх пропускной способности PCIe 5.0 и максимальную производительность можете забыть — на таких адаптеров часто срезаны контакты, отвечающие за эти характеристики.

На рынке представлены как переходники для стареньких V100, A100, так и для относительно новых H100/H200 или B200/B300, а при выходе R200 можно не сомневаться, что SXM-переходник появится и для него.

Самое интересно, что далеко не всех SXM-to-PCIe переходники являются продуктом самодельного мастерства от подданных товарища Си — на некоторых адаптерах красуется потрясающая наклейка “not for sale, for development only”, означающая, что переходники ранее применялись в инженерных лабораториях Nvidia для тестирования SXM-модулей в стандартных PCIe-системах.

Если хотите узнать о таких переходниках и форм-факторе SXM в целом, ознакомьтесь с нашей новой статьей.

😅 Канал Serverflow в MAX: Подписаться