🔤Nvidia по итогам AI хайпа станет самой дорогой компанией на планете.

Встречайте новые лопаты для AI старателей:

🔣B200 GPU до 20 петафлопс производительности в FP4 и 208 миллиардов транзисторов.

🔣В одной B200 будет 192GB памяти с пропускной способностью 8 ТБ/с.

На парочке таких можно запустить опенсорснувшийся вчера Grok 😂

🔣Суперчип GB200 c 2 GPU снижает стоимость и энергопотребление в 25 раз по сравнению с H100

🔣Возможность объединять карты в стойки с эффективным охлаждением и передачей данных.

🔣Предлагают свое облако DGX Cloud

Расширяют спектр услуг, продавая не только лопаты, но услуги по копанию.

🔣Ключевая фишка - второе поколение трансформерного движка, который удваивает вычислительную мощность, пропускную способность и размер модели.
 
🔣Теперь будет поддерживаться и новый формат - FP6, золотая середина по скорости и точности между FP4 и FP8. Но бенчмарков не показали.
 
🔣Тренировка GPT-MoE с 1.8 триллиона параметров (читай GPT-4) требовала 90 дней на 8,000 GH100 и 15МВт энергии.
Теперь достаточно 2,000 GB200 и 4МВт.

То есть во время тренировки 1x GB200 примерно в 4 раза быстрее чем 1x H100.

🔣На инференсе GPT-3 с 175 млрд параметров, GB200 "всего" в 7 раз быстрее H100. Ну ладно, не все сразу.

Цены не озвучены, но если H100 стоит около $40k, то GB200 будет минимум в 4-5 раз дороже.

Но цена среди потребителей этого добра мало кого интересует. Очередь из желающих возглавили Amazon, Google, Microsoft и Oracle. Известно, что Амазон планирует кластер на 20,000 GB200.

Потребительские версии Blackwell ожидаются не раньше 2025 г.

🔣 Заявляют что их вычислительная 3D-платформа Omniverse будет доступа на Apple Vision Pro

🔣Хотят запаковывать модели и все зависимости для них в NIMS - Nvidia Inference Microservices, чтобы разработчикам легко можно было свои решения запускать на опенсорсе.

🔣Работают над своими роботами - проект GR00T, работают и над ИИ для них, и над железом.

Похоже, что следующие большие достижения - там.

📱 @neuralmagic_official

🎞  youtube.com/@Neural_Magic