Llama.cpp — это, очевидно, основной движок для инференса локальных нейронок на CPU. Но благодаря открытости этой платформы, она получила множество форков, некоторые из которых могут дать маху даже основному движку.

Один из таких форков — ik_llama.cpp от Ивана Кавракова, который 2023 году создал технологию K-quants и форматы Q4_K_M, Q5_K_S и т.д., известные всем, кто скачивает модели в GGUF.

В 2024 году он решил развивать свои идеи отдельно. Проект начался как форк llama.cpp в июне 2024 года, а последняя синхронизация с основной веткой была в августе того же года. С тех пор ik_llama.cpp живёт своей жизнью: в нём уже почти 5000 коммитов, 3,3 тысячи звёзд на GitHub и лицензия MIT.

Главная фишка форка заложена прямо в его описании: это llama.cpp с лучшей производительностью на CPU. И это не пустые слова. В декабре 2024 года автор сравнил свой форк с основной веткой на Ryzen 9 7950X и модели LLaMA 3.1 8B. Обработка промпта в BF16 выросла с 78,58 до 256,9 токена в секунду, в Q4_K_S с 108,4 до 269,6, а в формате IQ3_S и вовсе с 30,2 до 156,47, то есть в 5,18 раза 🔥

Многие функции для инференса появились сначала в ik_llama.cpp и только потом стали доступны в llama.cpp, а некоторые фишки вовсе остались уникальными, Среди функций форка:

⚒️ Семейство IQK-квантов (IQ2_K, IQ3_K, IQ4_K, IQ4_KS, IQ5_K, IQ6_K и другие) даёт лучшее соотношение размера и качества. Есть варианты с чередованием строк вроде IQ4_K_R4 и IQ4_KS_R16, где веса заранее упакованы так, чтобы процессор обрабатывал их максимально эффективно.

⚒️Trellis-кванты от IQ1_KT до IQ4_KT. Они основаны на новом целочисленном методе trellis-квантизации, который позволяет добиться приемлемой производительности даже на CPU. Плюс поддержка тернарных моделей BitNet, 1-битных Bonsai и MXFP4 из моделей gpt-oss.

⚒️ MLA и FlashMLA, фирменные механизмы внимания DeepSeek. В марте 2025 года вышла FlashMLA-3, которую автор описывает как самый быстрый инференс DeepSeek исключительно на CPU.

⚒️ Smart Expert Reduction, благодаря которому модель может задействовать меньше экспертов на каждый токен, жертвуя небольшой долей качества ради заметного прироста скорости.

⚒️ Tensor overrides, с помощью которых можно вручную указать, какие веса держать в видеопамяти, а какие в оперативной: например, оставить слои внимания на видеокарте, а экспертов на процессоре.

Есть и подводные камни:

⚠️ Первый момент: полноценно и быстро работают только два бэкенда: CPU с AVX2 или новее (или ARM NEON и новее) и CUDA на видеокартах начиная с Turing. Так что если у вас видеокарта AMD, Intel или вы работаете на Mac, лучше оставаться на оригинальном llama.cpp.

⚠️ Второй важный момент касается процессоров с AVX-512. Для них при сборке нужно добавить отдельные флаги, которые включают оптимизированные IQK-ядра. Без этих флагов обычная Release-сборка на таком железе молча откатывается на путь AVX2. То есть можно собрать форк на новеньком EPYC и даже не узнать, что половина его возможностей не используется.

⚠️ Третий нюанс для тех, кто запускает MoE-модели в связке с видеокартой. Если часть экспертов оставлена на CPU, опцию -rtr лучше не использовать. Она перепаковывает все тензоры в оперативной памяти в формат с чередованием строк, а поскольку не у всех типов квантизации есть CUDA-реализация, умножение этих матриц всегда будет выполняться на CPU, даже когда выгоднее было бы отдать его видеокарте. Обычно это снижает скорость обработки промпта.

😅 Канал Serverflow в MAX: Подписаться

Claude Fable 5.5 появилась в модельном API Azure 👀

😅 Канал Serverflow в MAX: Подписаться

Nvidia официально открыла исходный код платформы NVIDIA Run:ai 🎉

😅 Канал Serverflow в MAX: Подписаться

Китайская Decenta представила одну из первых материнских плат для будущих процессоров Intel Nova Lake-S под сокет LGA 1954. Модель M26-NVLS-ATX09 выполнена в формате ATX и рассчитана на промышленные системы автоматизацию, встраиваемые системы, коммуникационное оборудование и периферийные серверы. Плата выпускается в двух вариантах на чипсетах Intel Q970 и B960, хотя производитель пока не уточнил, какой чипсет установлен в каждой конфигурации.

M26-NVLS-ATX09 оснащена 10-фазной подсистемой питания VRM по схеме 8+1+1 и четырьмя слотами DDR5-6400 UDIMM. Память работает в двухканальном режиме, максимальный поддерживаемый объем составляет 256 ГБ. Также есть 7 слотов для карт расширений PCIe 5.0.

Для накопителей предусмотрены 2 разъема M.2 Key M под SSD форматов 2242 и 2280. Отдельный M.2 Key E предназначен для беспроводных модулей формата 2230 с поддержкой Wi-Fi 7 и Bluetooth 6. На задней панели есть видеовыходы VGA, HDMI и DisplayPort для одновременного подключения трёх мониторов, а также поддержка TPM 2.0.

Цена M26-NVLS-ATX09 и сроки начала продаж пока не объявлены.

😅 Канал Serverflow в MAX: Подписаться

Хуанг встретился с Макроном в рамках своего визита в Париж. Обсудили развитие ИИ во Франции и меры по обеспечению безопасности передовых ИИ-моделей 👀

😅 Канал Serverflow в MAX: Подписаться

Бывший глава Intel Пэт Гелсингер назвал HBM “ужасной памятью”, несмотря на то что сегодня это один из ключевых компонентов ИИ-ускорителей. По его мнению, технология страдает от низкой плотности хранения данных на отдельных кристаллах, ограничений по пропускной способности интерфейса и проблем с отводом тепла. При этом Гелсингер признает: на данный момент HBM остается лучшим из доступных решений для ИИ-задач.

😅 Канал Serverflow в MAX: Подписаться

А вот и вычислительная нода на базе x4 XPU Microsoft Maia 300.

😅 Канал Serverflow в MAX: Подписаться

По данным инсайдера Heze, объем видеопамяти в будущих ИИ-ускорителях Intel S-Series может превысить 480 ГБ и достигнет 512 ГБ LPDDR5X — такой внушительный объем можно обеспечить при использовании микросхем LPDDR5X с большим объемом памяти.

😅 Канал Serverflow в MAX: Подписаться

Пока Nvidia молчит о характеристиках Rubin PCIe, мы решили провести аналитику, чтобы выяснить, каким будет долгожданный ИИ-ускоритель Хуанга.

Полноценный Rubin в формате SXM, который стоит в системах HGX Rubin NVL8, — настоящий монстр. Он состоит из двух вычислительных кристаллов, объединенных интерфейсом NV-HBI, и выпускается по 3-нм техпроцессу TSMC N3P. Внутри 336 млрд транзисторов, 224 SM и 896 тензорных ядер. Памяти 288 ГБ HBM4 с пропускной способностью 22 ТБ/с, а производительность достигает 35 PFLOPS в плотном NVFP4 и 17,5 PFLOPS в FP8.

Официальный TDP NVIDIA не публикует, но по данным SemiAnalysis у Rubin есть два профиля мощности: 1800 Вт и 2300 Вт. А стандартная двухслотовая PCIe-карта для серверов обычно ограничена 600 Вт. То есть энергопотребление нужно сократить в три-четыре раза

У AMD уже есть готовый рецепт, как превратить огромный многокристальный ускоритель в PCIe-карту. Флагманский Instinct MI355X состоит из 8 вычислительных кристаллов XCD и 2 кристаллов ввода-вывода, у него 256 вычислительных блоков, 8 стеков HBM на 288 ГБ с пропускной способностью 8 ТБ/с и энергопотребление 1400 Вт.

А в PCIe-версии MI350P AMD просто взяла ровно половину: 4 XCD, 1 кристалл ввода-вывода, 128 вычислительных блоков и 4 стека HBM на 144 ГБ с пропускной способностью 4 ТБ/с. Но вот энергопотребление сократилось не вдвое, а до 600 Вт, то есть до 43% от старшей модели. Значит, помимо урезания чипа AMD дополнительно снизила частоты и оптимизировала питание.

Если NVIDIA пойдет тем же путем, логичнее всего оставить 1 вычислительный кристалл из 2. Тогда получится 112 SM и 448 тензорных ядер. Вместе с кристаллом уйдет и половина стеков памяти, останется 4 микросхемы HBM4. Если стеки останутся прежними, по 36 ГБ, получим 144 ГБ HBM4 и теоретически до 11 ТБ/с пропускной способности.

Есть и более бюджетный вариант: 4 стека попроще, по 24 ГБ. Тогда памяти будет всего 96 ГБ, но для больших языковых моделей 144 ГБ, конечно, гораздо интереснее.

Вот здесь начинается самое сложное. Половина Rubin даже в режиме 1800 Вт будет потреблять около 900 Вт, а при 2300 Вт половина составит 1150 Вт. Чтобы уложиться в 600 Вт, нужно дополнительно срезать еще 33-48% энергопотребления.

Сделать это можно с помощью одновременного снижения напряжения и частоты. Мощность вычислительной логики зависит от квадрата напряжения, поэтому даже небольшое снижение напряжения дает серьезную экономию. Например, если снизить напряжение на 15%, а частоту на 25%, то динамическая мощность упадет примерно до 54% от исходной. Но память HBM4, контроллеры и цепи питания продолжат потреблять свое, так что 600 Вт с четырьмя стеками HBM4 — задача амбициозная, хоть и вполне выполнимая.

По нашей оценке, после такого урезания половина Rubin сохранит примерно 55-80% своей вычислительной производительности.

📊 Что может получиться

С учетом всех допущений гипотетический Rubin PCIe на 600 Вт может выглядеть так:

🔹 Память: 144 ГБ HBM4 с пропускной способностью 8–11 ТБ/с против 288 ГБ и 22 ТБ/с у полноценного Rubin. Нижняя граница на случай, если NVIDIA снизит ради экономии энергии еще и частоту памяти.

🔹 NVFP4: 9,6-14 PFLOPS против 35 PFLOPS у SXM-версии.

🔹 FP8: 4,8-7 PFLOPS против 17,5 PFLOPS.

🔹 FP16/BF16: 1,1-1,6 PFLOPS против 4 PFLOPS.

🔹 FP32 и FP64: 36-52 и 9-13 TFLOPS против 130 и 33 TFLOPS.

🔹 Интерфейс: скорее всего, PCIe 6.0 x16.

⚔️ А теперь сравним с соседями

И вот здесь становится по-настоящему интересно. Среди 600-ваттных PCIe-ускорителей у H200 NVL 141 ГБ HBM3e с пропускной способностью 4,8 ТБ/с, у AMD MI350P 144 ГБ HBM3e и 4 ТБ/с, а у RTX PRO 6000 Blackwell Server Edition 96 ГБ GDDR7 и всего 1,6 ТБ/с.

Наш гипотетический Rubin PCIe с 8-11 ТБ/с обгонял бы их всех в 2-7 раз 🚀 Более того, при 600 Вт он мог бы получить даже более быструю память, чем полноценный B300 SXM с его 8 ТБ/с. Для инференса языковых моделей это было бы огромным шагом вперед. А вот в обучении и обработке больших пакетов запросов урезанные тензорные ядра уже дадут о себе знать.

😅 Канал Serverflow в MAX: Подписаться

На конференции OCP 2026 установкой стоек с ИИ-оборудованием занимались роботы. Хуанг, бери на заметку ✏️

😅 Канал Serverflow в MAX: Подписаться