По данным инсайдера Heze, объем видеопамяти в будущих ИИ-ускорителях Intel S-Series может превысить 480 ГБ и достигнет 512 ГБ LPDDR5X — такой внушительный объем можно обеспечить при использовании микросхем LPDDR5X с большим объемом памяти.

😅 Канал Serverflow в MAX: Подписаться

Пока Nvidia молчит о характеристиках Rubin PCIe, мы решили провести аналитику, чтобы выяснить, каким будет долгожданный ИИ-ускоритель Хуанга.

Полноценный Rubin в формате SXM, который стоит в системах HGX Rubin NVL8, — настоящий монстр. Он состоит из двух вычислительных кристаллов, объединенных интерфейсом NV-HBI, и выпускается по 3-нм техпроцессу TSMC N3P. Внутри 336 млрд транзисторов, 224 SM и 896 тензорных ядер. Памяти 288 ГБ HBM4 с пропускной способностью 22 ТБ/с, а производительность достигает 35 PFLOPS в плотном NVFP4 и 17,5 PFLOPS в FP8.

Официальный TDP NVIDIA не публикует, но по данным SemiAnalysis у Rubin есть два профиля мощности: 1800 Вт и 2300 Вт. А стандартная двухслотовая PCIe-карта для серверов обычно ограничена 600 Вт. То есть энергопотребление нужно сократить в три-четыре раза

У AMD уже есть готовый рецепт, как превратить огромный многокристальный ускоритель в PCIe-карту. Флагманский Instinct MI355X состоит из 8 вычислительных кристаллов XCD и 2 кристаллов ввода-вывода, у него 256 вычислительных блоков, 8 стеков HBM на 288 ГБ с пропускной способностью 8 ТБ/с и энергопотребление 1400 Вт.

А в PCIe-версии MI350P AMD просто взяла ровно половину: 4 XCD, 1 кристалл ввода-вывода, 128 вычислительных блоков и 4 стека HBM на 144 ГБ с пропускной способностью 4 ТБ/с. Но вот энергопотребление сократилось не вдвое, а до 600 Вт, то есть до 43% от старшей модели. Значит, помимо урезания чипа AMD дополнительно снизила частоты и оптимизировала питание.

Если NVIDIA пойдет тем же путем, логичнее всего оставить 1 вычислительный кристалл из 2. Тогда получится 112 SM и 448 тензорных ядер. Вместе с кристаллом уйдет и половина стеков памяти, останется 4 микросхемы HBM4. Если стеки останутся прежними, по 36 ГБ, получим 144 ГБ HBM4 и теоретически до 11 ТБ/с пропускной способности.

Есть и более бюджетный вариант: 4 стека попроще, по 24 ГБ. Тогда памяти будет всего 96 ГБ, но для больших языковых моделей 144 ГБ, конечно, гораздо интереснее.

Вот здесь начинается самое сложное. Половина Rubin даже в режиме 1800 Вт будет потреблять около 900 Вт, а при 2300 Вт половина составит 1150 Вт. Чтобы уложиться в 600 Вт, нужно дополнительно срезать еще 33-48% энергопотребления.

Сделать это можно с помощью одновременного снижения напряжения и частоты. Мощность вычислительной логики зависит от квадрата напряжения, поэтому даже небольшое снижение напряжения дает серьезную экономию. Например, если снизить напряжение на 15%, а частоту на 25%, то динамическая мощность упадет примерно до 54% от исходной. Но память HBM4, контроллеры и цепи питания продолжат потреблять свое, так что 600 Вт с четырьмя стеками HBM4 — задача амбициозная, хоть и вполне выполнимая.

По нашей оценке, после такого урезания половина Rubin сохранит примерно 55-80% своей вычислительной производительности.

📊 Что может получиться

С учетом всех допущений гипотетический Rubin PCIe на 600 Вт может выглядеть так:

🔹 Память: 144 ГБ HBM4 с пропускной способностью 8–11 ТБ/с против 288 ГБ и 22 ТБ/с у полноценного Rubin. Нижняя граница на случай, если NVIDIA снизит ради экономии энергии еще и частоту памяти.

🔹 NVFP4: 9,6-14 PFLOPS против 35 PFLOPS у SXM-версии.

🔹 FP8: 4,8-7 PFLOPS против 17,5 PFLOPS.

🔹 FP16/BF16: 1,1-1,6 PFLOPS против 4 PFLOPS.

🔹 FP32 и FP64: 36-52 и 9-13 TFLOPS против 130 и 33 TFLOPS.

🔹 Интерфейс: скорее всего, PCIe 6.0 x16.

⚔️ А теперь сравним с соседями

И вот здесь становится по-настоящему интересно. Среди 600-ваттных PCIe-ускорителей у H200 NVL 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с, у AMD MI350P 144 ГБ HBM3e и 4 ТБ/с, а у RTX PRO 6000 Blackwell Server Edition 96 ГБ GDDR7 и всего 1,6 ТБ/с.

Наш гипотетический Rubin PCIe с 8-11 ТБ/с обгонял бы их всех в 2-7 раз 🚀 Более того, при 600 Вт он мог бы получить даже более быструю память, чем полноценный B300 SXM с его 8 ТБ/с. Для инференса языковых моделей это было бы огромным шагом вперед. А вот в обучении и обработке больших пакетов запросов урезанные тензорные ядра уже дадут о себе знать.

😅 Канал Serverflow в MAX: Подписаться

На конференции OCP 2026 установкой стоек с ИИ-оборудованием занимались роботы. Хуанг, бери на заметку ✏️

😅 Канал Serverflow в MAX: Подписаться

d-Matrix представила Squadron — масштабируемую платформу для ИИ-инференса, объединяющую до 1024 собственных ускорителей Corsair Raptor XPU в кластере из 16 стоек. Система рассчитана на ЦОД, которым нужна высокая скорость генерации токенов при низких задержках

Squadron объединяет серверы Corsair, стойки SquadRack, сетевые адаптеры JetStream и программное обеспечение Aviator. В максимальной конфигурации кластер включает 16 стоек по восемь серверов, то есть до 128 серверов и 1024 XPU. Для установки Squadron не требуется переходить на жидкостное охлаждение или строить отдельный специализированный ЦОД. Система уже развернута в дата-центре d-Matrix в Аризоне, а первые поставки приоритетным клиентам идут для размещения в их собственных инфраструктурах.

Squadron поддерживает два сценария работы. В первом модели полностью выполняются на Corsair XPU. Во втором ускорители d-Matrix работают совместно с GPU, распределяя между собой разные этапы вычислений. Такой подход называется дезагрегацией Attention-FFN (AFD): обработка механизма внимания и вычисления в блоках Feed-Forward Network (FFN) разделяются между разными типами ускорителей.

По данным d-Matrix, в демонстрации AFD перенос вычислений FFN на стойки Corsair позволил гибридной системе генерировать 845 токенов/с на одного пользователя. При 64 одновременных пользователях суммарная пропускная способность достигла 20 415 токенов/с.

😅 Канал Serverflow в MAX: Подписаться

CEO самой дорогой компании в мире...

😅 Канал Serverflow в MAX: Подписаться

Кажется, RTX 5090 реально сняли с производства — сеть магазинов Micro Center теперь отмечает видюху статусом “не продается” вместо “нет в наличии”. Похожая ситуация наблюдается и в других магазинах США, Европы и Азии, а там, где запасы GPU еще остались, продавцы завышают прайсы вплоть до 20%. Nvidia пока никак не прокомментировала.

😅 Канал Serverflow в MAX: Подписаться

Пока Intel потихоньку раскрывает подробности о Xeon 7 Diamond Rapids, мы решили вскрыть всю подноготную этих чипов, разобрав их архитектуру по винтикам.

Начнем с того, что можно разглядеть на фотографиях материнки. Плата ASRock Rack DMRD16-2L+ выполнена в формате EEB (12 x 13 дюймов) и рассчитана на один процессор. Вокруг сокета 16 слотов DDR5, по одному модулю на канал. Плата поддерживает RDIMM до 128 ГБ на частоте до 8000 MT/s, MRDIMM до 128 ГБ на 12 800 MT/s и высокие MRDIMM формата 2U до 256 ГБ, тоже на 12 800 MT/s. То есть на одном процессоре можно собрать до 4 ТБ оперативной памяти 🤯

А еще на плате нет ни одного привычного слота PCIe. Вместо них стоят до 16 разъемов MCIO, каждый из которых дает 8 линий PCIe 6.0 или CXL 3.0. Вместе это 128 линий, ровно столько, сколько выдает процессор. Остальное скромно и по делу: M.2 с PCIe 5.0 x4, два гигабитных порта на Intel i350, BMC ASPEED AST2700 и выделенный порт IPMI.

Теперь давайте разберемся, откуда взялись эти цифры.

Главное изменение касается компоновки. Раньше в Granite Rapids контроллеры памяти жили на одних тайлах с ядрами, а сами ядра занимали центр подложки. Теперь Intel собрала всю память, PCIe и аппаратные ускорители в двух центральных хабах, а ядра вынесла на периферию. Получилась схема, которую Intel называет Fan-out Fabric, и по духу она очень напоминает EPYC с его центральным IOD. Заодно самые горячие элементы оказались по краям корпуса, откуда тепло отводить проще.

Ядра при этом сгруппированы в 4 вычислительных блока, и каждый из них собран как бутерброд. На нижнем слое лежит базовый тайл с общим кэшем, а сверху к нему напрямую, через гибридное соединение медь-медь, прикреплены 4 чиплета по 16 ядер Panther Cove. Именно из таких блоков, как из конструктора, Intel будет собирать всю линейку, от младших моделей до флагмана.

Если собрать все блоки, выходит, что флагманский Xeon 7 получится таким:

😎 256 производительных ядер Panther Cove на техпроцессе Intel 18A-P

😎 1,28 ГБ кэша последнего уровня, или 5 МБ на ядро против 3,9 МБ у Xeon 6980P

😎 16 каналов DDR5 с пропускной способностью до 1 ТБ/с на DDR5-8000 и до 1,64 ТБ/с на MRDIMM-12800

😎 128 линий PCIe 6.0 / CXL 3 / UPI 3 плюс 8 служебных линий PCIe 4.0

😎 22 кристалла в одном корпусе, произведенных по трем разным техпроцессам

Именно эти цифры и объясняют плату ASRock: 16 слотов памяти соответствуют 16 каналам, а 16 разъемов MCIO по 8 линий дают ровно 128 линий PCIe 6.0. Этого хватает, чтобы посадить на один процессор 8 ускорителей по x16 без всяких PCIe-свитчей.

Но у универсальных портов есть и обратная сторона. Межпроцессорная шина UPI раньше шла по отдельным линиям и не отнимала PCIe, что выгодно отличало Xeon от EPYC в двухсокетных серверах. В Diamond Rapids UPI переехал на общие порты x16, поэтому во втором сокете за связь между процессорами придется расплачиваться линиями PCIe, как это давно происходит у AMD.

Компенсировать это Intel пытается новыми инструкциями. Diamond Rapids станет первым Xeon с расширением APX, которое удваивает число регистров общего назначения до 32. Компилятору реже приходится гонять промежуточные данные через память, и, по данным Intel, после перекомпиляции загрузок становится на 10% меньше, а записей на 20%. А блок AMX научился работать с FP8, поэтому в связке с 1,6 ТБ/с памяти процессор выглядит неплохим вариантом для инференса небольших моделей без видеокарты.

Впрочем, сама Intel показала далеко не все. От Hyper-Threading, как оказалось, в этом поколении чипов отказались полностью ❌ и 256 ядер дадут только 256 потоков, тогда как у AMD EPYC Venice на те же 256 ядер приходится 512 потоков. Частот, TDP и бенчмарков тоже пока нет.

Но больше всего Intel мешают сроки. Diamond Rapids появится только в 2027 году, а EPYC Venice 9006 к тому моменту уже успеют обжиться в дата-центрах. Так что по характеристикам синие наконец выходят на паритет с красными, а вот рынок им придется отвоевывать заново.

С подробным разборрм архитектуры intel Xeon 7 можете ознакомиться в нашей новой статье.

😅 Канал Serverflow в MAX: Подписаться

NVIDIA представила Nemotron 3.5 Super VL — открытую мультимодальную модель для ИИ-агентов, способных анализировать документы, изображения и видео, писать код и работать с внешними инструментами. Nemotron 3.5 Super VL построена на архитектуре MoE с 120 млрд параметров, из которых активны 12 млрд на каждый токен.

Super VL рассчитана на сложные многоэтапные задачи: от поиска и проверки информации в интернете до анализа финансовых документов и обнаружения уязвимостей. Модель может извлекать данные из таблиц и графиков, учитывать структуру многостраничных документов и связывать сведения из разных источников.

По данным NVIDIA, на бенчмарке CharXiv для анализа графиков модель набрала 80,8% против 63% у Nemotron 3 Nano Omni. В задачах интерпретации Python-кода результат составил 84%. В оценках Hermes Bench и LangChain Evals она также опередила Nemotron 3 Ultra: 63,44% против 56,33% и 87,05% против 84,3% соответственно.

Отдельный акцент сделан на скорости работы агентов. NVIDIA заявляет о 4-кратном ускорении выполнения задач относительно других открытых моделей своего класса в определенных тестовых сценариях. Для локального запуска на DGX Spark предусмотрена технология спекулятивного декодирования LiLiCorr, которая, по данным компании, повышает скорость генерации токенов в 2,3 раза. Эти показатели зависят от конкретной нагрузки и конфигурации.

Модель можно дообучать на собственных данных с помощью NVIDIA NeMo. Для этого доступны SFT, LoRA и обучение с подкреплением RL. NVIDIA также публикует обучающие наборы данных, включая материалы для финансовых задач, использования инструментов и визуального анализа.

Веса доступны на Hugging Face.

😅 Канал Serverflow в MAX: Подписаться