Компания d-Matrix на Hot Chips 2026 представила Raptor — ИИ-ускоритель для инференса, в котором вычислительный кристалл размещен непосредственно поверх 3D DRAM.
Вычислительный кристалл Raptor производится по техпроцессу TSMC N4 и объединяется с DRAM методом face-to-face стекирования. Благодаря этому ускоритель получит пропускную способность, близкую с феноменальной скорости SRAM-памяти, при этом сохраняя объем и используя сравнительно дешевые микросхемы памяти.
В одном Raptor используется 32 ГБ 3D-DRAM, а пропускная способность достигает колоссальные 100 ТБ/с — это в 5 раз больше, чем у стэка HBM4 с 20 ТБ/с. При этом 3D-DRAM требует всего 0,3-0,4 пДж/бит энергии на передачу данных, тогда как у HBM-памяти с такой же скоростью требовалось бы в 10 раз больше энергии.
Основной сценарий использования Raptor — это выполнение декодирования, где LLM последовательно генерирует токены и упирается именно в пропускную способность памяти. d-Matrix рассчитывает, что 72 карты Raptor с 32 ГБ каждая смогут разместить модель класса 3 трлн параметров с контекстом 1 млн токенов, а заявленная производительность достигает примерно 1 000 токенов/с на пользователя.
😅 Канал Serverflow в MAX: Подписаться
Вычислительный кристалл Raptor производится по техпроцессу TSMC N4 и объединяется с DRAM методом face-to-face стекирования. Благодаря этому ускоритель получит пропускную способность, близкую с феноменальной скорости SRAM-памяти, при этом сохраняя объем и используя сравнительно дешевые микросхемы памяти.
В одном Raptor используется 32 ГБ 3D-DRAM, а пропускная способность достигает колоссальные 100 ТБ/с — это в 5 раз больше, чем у стэка HBM4 с 20 ТБ/с. При этом 3D-DRAM требует всего 0,3-0,4 пДж/бит энергии на передачу данных, тогда как у HBM-памяти с такой же скоростью требовалось бы в 10 раз больше энергии.
Основной сценарий использования Raptor — это выполнение декодирования, где LLM последовательно генерирует токены и упирается именно в пропускную способность памяти. d-Matrix рассчитывает, что 72 карты Raptor с 32 ГБ каждая смогут разместить модель класса 3 трлн параметров с контекстом 1 млн токенов, а заявленная производительность достигает примерно 1 000 токенов/с на пользователя.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6
⚡️Вышел ⚡️Вышел ⚡️Вышел ⚡️
В этом ролике мы протестируем 10 квантизаций топовой модели Qwen 3.8 27b
для видеокарт с 16 ГБ VRAM, посмотрим на скорость вывода и качество исполнения задач.
Это и многое другое вы узнаете в новом видео!
🤖 Напоминаем, это наш второй канал, на котором мы делаем фокус на тесте разных ИИ-моделей, без масштаба, но со смыслом :)
🔔 Смотреть тут
В этом ролике мы протестируем 10 квантизаций топовой модели Qwen 3.8 27b
для видеокарт с 16 ГБ VRAM, посмотрим на скорость вывода и качество исполнения задач.
-Запуск через llama.cpp и скорость до 36 токенов/с
-Код, анимации, интерфейсы и работа с DeepSeek Harness
-Сравнение с FP8 и поиск лучшего кванта по балансу качества и памяти
Это и многое другое вы узнаете в новом видео!
🤖 Напоминаем, это наш второй канал, на котором мы делаем фокус на тесте разных ИИ-моделей, без масштаба, но со смыслом :)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21🤯2🍾1
Xiaomi показала первый прототип ИИ-ПК AI Cube для локального вывода LLM объемом до 200 миллиардов параметров. Самое интересное, что Xiaomi запихнула в столь компактное устройство сразу три процессора: O3, O100 и D100.
🔥Хост-процессор XRing O3 представляет из себя SoC-чип с 10 вычислительными ядрами ARM, 16 графическими ядрами G2 Ultra NX и NPU с производительностью до 200 TOPS.
🔥Первый ИИ-ускоритель XRing O100 имеет встроенную DRAM-память для выполнения вычислений в памяти и обеспечивает пропускную способность до 1,22 ТБ/с.
🔥Второй ИИ-ускоритель XRing D100 является SoC-решением 20 ядрами CPU, 16 ядрами NPU и 160 ГБ унифицированной памяти LPDDR6, что позволяет запускать модели до 200 миллиардов параметров.
Сам AI Cube выполнен в цельнолитом алюминиевом корпусе, а система охлаждения позволяет отводить тепло до 150 Вт. Xiaomi также заявляет о поддержке двух режимов работы: быстрый и медленный.
Подробностей о распределении нагрузки между тремя чипами пока нет, более точных характеристик и результатов тестов тоже не предоставили. Цена и сроки выпуска устройства не объявлены.
😅 Канал Serverflow в MAX: Подписаться
🔥Хост-процессор XRing O3 представляет из себя SoC-чип с 10 вычислительными ядрами ARM, 16 графическими ядрами G2 Ultra NX и NPU с производительностью до 200 TOPS.
🔥Первый ИИ-ускоритель XRing O100 имеет встроенную DRAM-память для выполнения вычислений в памяти и обеспечивает пропускную способность до 1,22 ТБ/с.
🔥Второй ИИ-ускоритель XRing D100 является SoC-решением 20 ядрами CPU, 16 ядрами NPU и 160 ГБ унифицированной памяти LPDDR6, что позволяет запускать модели до 200 миллиардов параметров.
Сам AI Cube выполнен в цельнолитом алюминиевом корпусе, а система охлаждения позволяет отводить тепло до 150 Вт. Xiaomi также заявляет о поддержке двух режимов работы: быстрый и медленный.
Подробностей о распределении нагрузки между тремя чипами пока нет, более точных характеристик и результатов тестов тоже не предоставили. Цена и сроки выпуска устройства не объявлены.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍15🍾3🤯2
По данным Business Insider, команда Hugging Face рассматривает возможность продажи компании за $13 миллиардов. Google, Amazon и Nvidia уже не раз инвестировали в Hugging Face, однако кто именно станет владельцем компании пока неизвестно.
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯23😡4👍2
ServerFlow | Новости и Железо 💾
Друзья, хотим сказать вам большое спасибо за огромную активность на крайнем видеоролике в основном канале ServerFlow.
Вы сделали кучу просмотров, накидали лайков и комментариев, и это лучшая мотивация, которая только может быть 🔥
Мы будем продолжать двигаться дальше, чтобы еще больше радовать вас новым контентом, интересными материалами, конкурсами и другими плюшками 🎁
Огромное вам спасибо от всей команды ServerFlow! ❤️
😅 Канал Serverflow в MAX: Подписаться
Вы сделали кучу просмотров, накидали лайков и комментариев, и это лучшая мотивация, которая только может быть 🔥
Мы будем продолжать двигаться дальше, чтобы еще больше радовать вас новым контентом, интересными материалами, конкурсами и другими плюшками 🎁
Огромное вам спасибо от всей команды ServerFlow! ❤️
Please open Telegram to view this post
VIEW IN TELEGRAM
👍32🌭6
ServerFlow | Новости и Железо 💾
Вам настолько сильно понравился ИИ-ускоритель Instinct MI50, что всего за неделю вас стало аж 3000 человек! 🎉🎉🎉 Да даже самой AMD эта карточка не приглянулась так сильно, как вам! Еще раз хотим сказать большое спасибо всем подписчикам этого канала — нас…
И конечно же, хотим выразить вам отдельную благодарность за прохождение очередного рубежа — 4000 подписчиков в ТГ-канале SeverFlow 🎉
И это всего лишь через месяц после преодоления отметки в 3000 читателей! Огромное вам спасибо, вы самая лучшая, самая активная и самая вовлеченная аудитория ❤️
Дальше — больше интересных постов, больше видео, больше статей, больше розыгрышей и больше, больше, больше!
Оставайтесь с нами, чтобы не пропустить самое интересное из мира IT, ИИ и серверного оборудования 🚀
😅 Канал Serverflow в MAX: Подписаться
И это всего лишь через месяц после преодоления отметки в 3000 читателей! Огромное вам спасибо, вы самая лучшая, самая активная и самая вовлеченная аудитория ❤️
Дальше — больше интересных постов, больше видео, больше статей, больше розыгрышей и больше, больше, больше!
Оставайтесь с нами, чтобы не пропустить самое интересное из мира IT, ИИ и серверного оборудования 🚀
Please open Telegram to view this post
VIEW IN TELEGRAM
3🍾41👍9
Друзья, напоминаем, что мы не только продаем оборудование, делаем видосики и текстики, но и всерьез занимаемся развитием открытого исходного кода — у нас есть собственный CPU-бенчмарк SFBench.
И самое главное — благодаря полностью открытому софту и C++, вы можете самостоятельно скомпилировать SFBench под ваши задачи. Хотите забилдить бенч даже под RISC-V, LoongArch или POWER? Без проблем! Хотите настроить софт для тестов фрик-железа? Полный вперед! Мы даже приложили инструкцию на GitHub, чтобы вам было легче компилировать движок под специфические сценарии. Если у вас есть интересное оборудование, вроде Nvidia Grace, будем очень рады, если вы опробуете наш софт!
В подтверждение универсальности нашего решения, на этой неделе мы выпустим ролик, где мы будем использовать SFBench для тестирования очень необычной синей железки от Intel из 2010 года (кто понял тот понял).
Кстати, совсем недавно SFBench обновился до версии beta 0.48, где мы исправили генерацию scalar FP64 hot loop в GCC/Clang. В общем, работа над движком активно продолжается и будет здорово, если вы сообщите о каких-либо проблемах при их возникновении.
P.S: Если вам понравился SFBench, накидайте звездочек на GitHub!
😅 Канал Serverflow в MAX: Подписаться
И это вам не просто очередной бенч для замера характеристик процов, а кроссплатформенная система, в котором можно тестить как x86, так и Arm решения, причем, поставить SFBench можно и на Windows, и на Linux-дистрибутивы, и даже на MacOS.
И самое главное — благодаря полностью открытому софту и C++, вы можете самостоятельно скомпилировать SFBench под ваши задачи. Хотите забилдить бенч даже под RISC-V, LoongArch или POWER? Без проблем! Хотите настроить софт для тестов фрик-железа? Полный вперед! Мы даже приложили инструкцию на GitHub, чтобы вам было легче компилировать движок под специфические сценарии. Если у вас есть интересное оборудование, вроде Nvidia Grace, будем очень рады, если вы опробуете наш софт!
В подтверждение универсальности нашего решения, на этой неделе мы выпустим ролик, где мы будем использовать SFBench для тестирования очень необычной синей железки от Intel из 2010 года (кто понял тот понял).
Конечно, на супер старом железе бенч не запустить — для подсчета FLOPS системе необходима поддержка матричных инструкций, поэтому железо должно уметь в AVX2 и FMA3 (для x86) или ARMv8‑A с NEON (для Arm), а ОСка должна работать с AVX/XSAVE.
Кстати, совсем недавно SFBench обновился до версии beta 0.48, где мы исправили генерацию scalar FP64 hot loop в GCC/Clang. В общем, работа над движком активно продолжается и будет здорово, если вы сообщите о каких-либо проблемах при их возникновении.
P.S: Если вам понравился SFBench, накидайте звездочек на GitHub!
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34💅1
Nvidia объявила, что ИИ-стойки Groq 3 LPX запущены в серийное производство 🎉
😅 Канал Serverflow в MAX: Подписаться
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10💩3🤯2
Когда-нибудь видели Blade-серверы с процессорами Apple M5? Теперь видели… Кажется, в Китае есть кастомы буквально с любыми процами.
Кстати, для работы системы требуется отдельный ИИ-ПК Mac Studio — он выполняет роль центра программного управления.
😅 Канал Serverflow в MAX: Подписаться
Кстати, для работы системы требуется отдельный ИИ-ПК Mac Studio — он выполняет роль центра программного управления.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯27💩4👍1😡1
Intel раскрыла больше деталей о новом ИИ-ускорителе Crescent Island для инференса и агентных нагрузок.
В основе GPU лежит архитектура Xe3P — 4 вычислительных блока по 8 Xe-ядер, всего 32 ядра, 256 векторных блоков и 256 XMX-движков. Каждый Xe Core получает 8 векторных движков и 8 XMX, а вся карта работает как GPGPU, само собой без блоков для обычной 3D-график.
Векторные движки поддерживают вычисления FP4, FP8 и FP64, а XMX могут работать с FP16. На каждое Xe-ядро также приходится 1 МБ GRF, дополнительно есть 512 КБ L1 на Xe Core, то есть 16 МБ L1 и 32 МБ L2.
Но самое интересное — память. Intel Crescent Island базируется не на HBM, а на LPDDR5X, причем, объем OEM-версии достигает ошеломительные 480 ГБ, тогда как референсная PCIe-карта получит только 160 ГБ. За счет использования энергоэффективной LPDDR5X, PCIe-версия с воздушным охлаждением будет иметь TDP около 350 Вт.
С ПО в этот раз проблем не будет — Intel заявляет о поддержке vLLM, SGLang, llm-d и NVIDIA Dynamo, на карточке можно будет запускать языковые, размышляющие, мультимодальные и диффузионные нейронки.
😅 Канал Serverflow в MAX: Подписаться
В основе GPU лежит архитектура Xe3P — 4 вычислительных блока по 8 Xe-ядер, всего 32 ядра, 256 векторных блоков и 256 XMX-движков. Каждый Xe Core получает 8 векторных движков и 8 XMX, а вся карта работает как GPGPU, само собой без блоков для обычной 3D-график.
Векторные движки поддерживают вычисления FP4, FP8 и FP64, а XMX могут работать с FP16. На каждое Xe-ядро также приходится 1 МБ GRF, дополнительно есть 512 КБ L1 на Xe Core, то есть 16 МБ L1 и 32 МБ L2.
Но самое интересное — память. Intel Crescent Island базируется не на HBM, а на LPDDR5X, причем, объем OEM-версии достигает ошеломительные 480 ГБ, тогда как референсная PCIe-карта получит только 160 ГБ. За счет использования энергоэффективной LPDDR5X, PCIe-версия с воздушным охлаждением будет иметь TDP около 350 Вт.
С ПО в этот раз проблем не будет — Intel заявляет о поддержке vLLM, SGLang, llm-d и NVIDIA Dynamo, на карточке можно будет запускать языковые, размышляющие, мультимодальные и диффузионные нейронки.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8