Раз уж видео посвящено инференсу нейронки на AMD EPYC 9684X, мы решили рассказать, как вообще появился CPU-инференс и как развивалась эта передовая технология.

🤩 В марте 2023 года появился llama.cpp — передовой движок, который впервые дал юзерам возможность инференсить нейронки на центральных процессорах. Это стало возможным благодаря специальному формату весов GGUF, который сжимает веса нейросети с 16-битных (FP16) или 32-битных чисел до 4 бит. SIMD-инструкции CPU без проблем справляются с инференсом такой квантизацией, но по-началу скорости никого не впечатляли. Ситуация изменилась, когда в llama.cpp появились K-кванты, которые позволили сжимать веса нейонок от 2 до 6 бит со смешанной точностью. Благодаря этому большие модели помещались в обычную оперативку почти без потери качества.

🤩 В июле 2024 года инженеры Arm добавили оптимизированные вычислительные ядра под типы данных INT4 и INT8, и на процессорах AWS Graviton3 обработка промпта ускорилась в 2,5 раза, а генерация вдвое. В ноябре движок научился перестраивать расположение весов прямо при загрузке модели, и на том же Graviton3 это дало еще 2,9-кратное ускорение промпта и 2,3-кратное ускорение генерации. Процессор и память остались прежними, просто софт стал гораздо эффективнее их использовать.

🤩 В марте 2025 года пришла очередь x86. Разработчики переупорядочили блоки популярного формата Q4_K так, чтобы инструкции AVX2 обрабатывали их эффективнее. На Ryzen 5 7600X с моделью LLaMA 2 7B обработка промпта в формате Q4_K_M выросла с 45,8 до 70,6 токена в секунду, а в Q4_K_S с 46,6 до 77,25. Это прирост на 54-66%. А вот генерация при этом не только не ускорилась, но даже немного просела: с 14,09 до 13,85 токена в секунду в Q4_K_M и с 14,91 до 14,62 в Q4_K_S. Вычисления стали быстрее, но генерация уперлась в память, и дальше одними оптимизациями матриц ее уже не разогнать.

🤩 Казалось бы, за три года все уже оптимизировали. Но в июле 2026 года разработчик предложил новое вычислительное ядро для 2-битного формата Q2_0 с инструкциями AVX-VNNI и AVX-512 VNNI. На восьми ядрах AMD EPYC 9645 модель Bonsai 8B ускорилась с 2,82 до 10,26 токена в секунду на промпте и с 2,39 до 8,2 токена на генерации. Это ускорение в 3,4–3,6 раза, причем на моделях от 1,7 до 27 млрд параметров результаты были похожими. Правда, причина такого скачка в том, что старый код для Q2_0 был откровенно неэффективным, и новое ядро просто устранило этот недостаток.

То есть, несмотря на низкую скорость генерации токенов в сравнении с GPU, и несмотря на бушующий на рынке кризис память, CPU-инференс продолжает мало-помалу развиваться. AMX, VNNI и новые вычислительные ядра дают много новых возможностей для локального ИИ-инференса, но только в фазе обработки промптов.

Но общая скорость инференса все равно в основном зависит от пропускной способности памяти. Конечно, софтверные методы ускорения ИИ, вроде спекулятивного декодирования, пакетной обработки запросов и оптимизации KV-кэша могут слегка исправить ситуацию, но CPU-инференс всегда будет проигрывать GPU-инференсу.

😅 Канал Serverflow в MAX: Подписаться

Z.ai представила GLM-Legal — специализированную ИИ-модель для юридической работы, ориентированную на выполнение задач от анализа документов до подготовки готовых юридических материалов. Она построена на базе GLM-5.3-Flash и дообучена на десятках тысяч юридических практик с использованием обучения с подкреплением.

Модель умеет находить противоречия, связывать факты с правовыми нормами, обосновывать выводы и соблюдать требования к документу. На Harvey LAB, оценивающем выполнение реальных задач юридических фирм в 24 областях права, модель показала 19,2% успешных прохождений по критерию All-Pass. Это на 12,5 процентного пункта выше результата базовой GLM-5.3-Flash. По заявлениям Z.ai, на LegalBench модель сопоставима с ведущими закрытыми системами в юридических рассуждениях.

В ближайшее время Z.ai планирует интегрировать GLM-Legal в AutoClaw. Среди заявленных возможностей — внесение изменений в договоры в формате Word с отслеживанием правок и комментариями. А пока GLM-Legal доступна в API в качестве бета-теста для заинтересованных юридических фирм.

😅 Канал Serverflow в MAX: Подписаться

HPE в презентации новых серверов ProLiant DL585a Gen13 случайно раскрыла готовящиеся ИИ-ускорители NVIDIA Rubin с интерфейсом PCIe.

Нынешние ИИ-ускорители Rubin используют форм-фактор SMX и потребляют до 2300 Вт. Такой форм-фактор рассчитан на проприетарные серверные системы, поэтому перенести Rubin в стандартную PCIe-карту без существенных изменений было бы сложно, поэтому новая версия, если она вообще появится, получит другой дизайн с уменьшенным энергопотреблением и иными рабочими частотами.

По предварительным данным, ускоритель может использовать графический процессор GR202, который также связывают со следующим поколением игровых видеокарт GeForce. Не исключено, что речь идет о профессиональной карте семейства RTX Pro, но пока это лишь предположение.

Сам HPE ProLiant DL585a Gen13 представляет собой сервер высотой 10U на двух процессорах AMD EPYC 9006 с поддержкой до 8 двухслотовых или 16 однослотовых PCIe-карт, а для хранения данных предусмотрено 16 отсеков под накопители EDSFF E3.S.

NVIDIA пока не раскрыла характеристики и не подтвердила существование PCIe-ускорителей нового поколения.

😅 Канал Serverflow в MAX: Подписаться

Характеристики ИИ-стоек на базе ИИ-ускорителей Crescent Island D270, CPU Xeon и RDU SambaNova. Обратите внимание на вторую стойку Intel GPU Rack — пропускная способность памяти…120 ГБ/с на стойку???

😅 Канал Serverflow в MAX: Подписаться

AMD начала продажи мини-ПК Ryzen AI Max+ PRO 495 за $7299,99 — это почти вдвое дороже предыдущей версии на базе чипа Ryzen AI Max Pro 395 и на $300 дороже Nvidia DGX Spark со 128 ГБ памяти. Эталонная настольная система для ИИ оснащена 192 ГБ унифицированной памяти LPDDR5X-8533 и SSD на 2 ТБ, а также сетевым интерфейсом 10 Гбит/с, Wi-Fi 7, Bluetooth 5.4 и видеовыход HDMI 2.1b. Вся начинка помещается в корпусе объемом чуть больше литра.

😅 Канал Serverflow в MAX: Подписаться