В сеть слили патентную документацию на ИИ-чипы OpenAI. Альтман решил обмазаться HBM с ног до головы 👀

😅 Канал Serverflow в МАКС: Подписаться

Google официально анонсировала восьмое поколение TPU: TPU 8t для обучения и TPU 8i для инференса агентных моделей.

TPU 8t имеет 216 ГБ памяти HBM3E с пропускной способностью 6,5 ТБ/с и 128 МБ встроенной памяти SRAM, есть векторные, матричные и специализированные SparseCore-ядра для обработки разреженных данных. Производительность достигает 12 PFLOPS в режиме FP4 со структурной разряженностью. Объединяются в кластеры до 9600 чипов и обеспечивая до 121 EFLOPS ИИ-производительности при общем объеме HBM-памяти в 2 ПБ.

TPUi имеет 288 ГБ памяти HBM3 со скоростью в 8,6 ТБ/с, а также 384 МБ SRAM для хранения KV-кэша, обеспечивая эффективность в 10 PFLOPS. TPU 8i масштабируется до 1152 чипов с суммарной производительностью 11,6 EFLOPS и 331,8 ТБ HBM-памяти. Для межчипового соединения вместо 3D torus в кластерах TPU 8t используется топология Boardfly, оптимизированная для обработки трафик MoE-моделей, требующих минимального числа сетевых переходов.

Оба чипа объединяются сетевой инфраструктурой Virgo Network и работают под управлением Arm-CPU Google Axion.

😅 Канал Serverflow в МАКС: Подписаться