Чего хотеть от фреймворка инференса?

Первое что приходит в голову - производительности 😎
Но сосредоточиться только на ней будет ошибкой

Вот несколько других параметров:

1. Язык реализации. Если у вас малые нейронки или размеры входов, то издержки взаимодействия с питоном будут существенны под нагрузкой и стоит смотреть c++ фреймворки. Если матрицы большие, то, на самом деле, можно вполне пользоваться питоном пока нагрузки не велики (те же llm могут тратить десятки секунд на обработку контекста). Да и сами операции в питон фреймворках реализованы через биндинги С/С++

2. Среда использования. Если вы экспериментируете с составом кластера, и у вас наряду с nvidia картами есть еще и amd/intel/huawei - хорошей идеей будет подумать об одном общем фреймворке с реализацией нужных бекендов

3. Сборка. Просто ли собрать код, загрузить его на сервер и запустить? Контейнер может весить 10-20Гб и загрузка его с диска на рестартах может занимать десятки минут. Если уходить еще ниже на уровень бинарей, то возить с собой все .so библиотеки может быть проблематично. И, кстати, никто не обещал что залинкованная динамически библиотека на сборке не крашнет вам бинарь в неподходящий момент

4. Память. Если ваша нагрузка memory-bound (GPU VRAM переполнена), то имеет смысл смотреть реальную занимаемую память на нагрузке для одного запроса

5. Наличие хаков для нишевых сценариев. Инференсить llm без спекулятивного декодинга, kv cache, квантизаций, батчевания prefill/decode - равно тратить в разы больше ресурсов. В некоторых движках этих фичей может не быть

6. Качество кода. Разные фреймворки написаны с разным отношением. Кто-то пишет интуитивно понятный код, который легко раздебажить, а кто-то пишет все в одном файле на 3к строк и потом с пеной у рта говорит про эффективность (удачи дебажить ошибки в коде nvidia 🚬, но их не поймут, если они напишут не самый оптимальный код). В любом коде будут ошибки, любой будет падать - это просто факт, посмотрите в Release notes на исправленные в патчах ошибки, и вам покажется, что фреймворк вообще своей жизнью живет, иногда новые релизы просто не собираются
Так вот вы либо имеете контроль над кодом и можете на своей стороне сделать патч, либо с синими глазами даунгрейдите версию фреймворка в надежде поймать фикс и ждете исправлений в апстриме

📝 В общем, тут все не так однозначно. И кстати интересная тенденция - чем сложнее система и больше продакшен, тем большей простоты от кода и сборки стараются достичь. Потому что, когда все упадет, спросят с тебя, а не с разработчиков TensorRT

AMD Instinct™ MI325X Accelerators

Новая игрушка от AMD 🧸
256Gb видеопамяти на плате - это мощно 🌠 И компьют хороший
У nvidia есть свой аналог H200 - там 141Gb (у A100/H100 - 80Gb)

Для кого это и почему это круто?
99% - для ML инженеров на время разработки. Дело в том, что релизы новых моделей, если их не тюнить, часто не влезают в 80Gb (да-да дожились). Либо работают долго
Из моих последних использований:
1. Open-Sora для генерации видео лезет только в 4GPU, если генерить в 720p. У меня получилось уместить с приседаниями, но все же
2. Flux для генерации изображений - генерит одну картинку 30 сек на А100, что не быстро для model-surgery

🏆 Так вот если у тебя есть такая плата - ты на коне. Просто берешь почти любую модель и разворачиваешь за пару минут. Да и компьют быстрый. А не мучаешься с model/sequence/tensor параллелизмом

Для инференса эта штука может быть полезна в контексте LLM с очень большими последовательностями - размеры KV-Cache могут быть оч большими при нагрузке. Но, думаю, врятли кто-то будет особо использовать

Ps:
Мне кажется, что amd уже очень даже конкурентноспособны для AI. У меня чешутся руки прикупить такую карточку и поделать на ней замеры
Ps2:
Мы такие платы пока не получим, H100 и так с скрипом завозят, а эти лимитированы и продаются избранным, не слышал, чтобы у кого-то были

ggml - с++ библиотека тензорных операций

🤩 Написана на базовых и интуитивно понятных абстракциях. Все под чистым cmake (попробуйте пособирать executorch с их buck системой над cmake, например. Мне надоело). И при этом есть широкий выбор бэкендов: cuda, amd hip, huawei ascend, x86, arm

Мне рекомендовали фреймворк в контексте мобильных девайсов. Но, знаете, эта штука просто супер как базовый compute слой для серверного инференса 🙂
🚀 Берете любой нативный для вас сетевой фреймворк (хоть внутренний кастом) и в путь - гибкости вы не потеряете
✨ И да, оно очень эффективно работает с памятью, на десятки процентов лучше, чем у условного executorch. Соседняя конкурентная нагрузка скажет спасибо (думаю, в торче память излишне кешируется, либо я что-то не оптимизировал. Но круто, что такая разница из коробки)

Тот самый фреймворк инференса, из-за которого написан пост
Появился как библиотека движка для llama.cpp и whisper.cpp
Если интересно, почитайте пост с hf, скрин с фичами прикрепил

ggml - это некий баланс между "возьмем triton от Nvidia для производительности" (но про кастомизацию забудем) и "нам надо кастом, поэтому пишем сами ядра на cublas и Intrinsics/asm"
И вот на мой взгляд для производительной разработки это сейчас одно из лучших решений

😐 Из минусов - часть операций может быть не реализована эффективно, в любом случае нужны сравнительные замеры, на сколько это критично для ваших моделей. Ну и формат хранения GGUF. Но на hf под популярные модели есть уже сконверченные веса

🎄 Дорогие друзья,
Поздравляю вас с наступающим Новым годом!
Надеюсь, что 2024 был для вас продуктивным. Пусть 2025 будет еще лучше и принесет больше новых возможностей!

Спасибо, за то, что читаете и комментируете. За год посты стали глубже и качественней благодаря вам ❤
Скоро появится новый контент с замерами, будет круче и полезнее (и, может, даже веселее). Начнем с жизненных мемов, пока не собран сетап 🎄

Добро пожаловать в матрицу?

Сейчас набирает обороты рисерч моделей мира, где вместо отрисовки графики картинку полностью генерирует модель по промптам (архитектуры те же, что у моделей генерации видео)

Рисерчеры постили на старых игрушках
Doom - https://gamengen.github.io/
Minecraft - https://oasis-model.github.io/
Что скорее для забавы

Но Nvidia сегодня выкатила свой фреймворк физичных world моделей. Качество генерации ооч крутое
Code - https://github.com/NVIDIA/Cosmos
Article - https://research.nvidia.com/publication/2025-01_cosmos-world-foundation-model-platform-physical-ai

Кажется, будет появляться больше хороших синтетических датасетов, хоть и за счет тонны компьюта.
Ну и удачи тому чудаку, который будет делать инфренс этих моделей at scale 🚬

@deploy_ml

Новые игровые пользовательские GPU, какие они?

Прошел этап анонсов видеокарт - Nvidia, amd и intel зарелизили свои карты нового поколения.
Мы не геймеры, но игровые карты стали best-value-to-money решениями, по крайней мере для инференса. Но сейчас не об этом - сейчас хочу поделиться своим мнением по каждому релизу.

🏆 intel
Классные бюджетные карты за 250$. Они так зашли на старте, что ниже 350-400$ их теперь не купить, а стоки раскупаются быстрее поставок. Думаю, это дело времени, через пару месяцев должно отпрыгнуть к изначальным ценам.

16gb GDDR6 - это круто за свою цену. По слухам, будет еще версия 24Gb. Для компьютерного зрения, даунстрим тасок и прочего, что должно держать нагрузку, кажется, будет хорошим решением.

Для компании intel, находящейся в не очень хорошем состоянии (процессоры серьезно проигрывают борьбу AMD на всех рынках), GPU - непрофильный эксперимент с большим бюджетом. Если бы battlemage не зашли, подразделение могли закрыть полностью в рамках снижения затрат.

🤐 Amd
Тут полный байт, посмотрите комменты под видео с презентации на CES.
Спойлер - гпу там не показали, но есть пару слайдов без бенчмарков.

Кажется, это не капитуляция, и у этого есть объяснение - идет процесс унификации серверных и игровых карт. Будет новая архитектура UDNA в 2026, анонсированная еще в сентябре.
И потому текущее поколение "пропущено" - будут какие-то проходные варианты и amd просто пытается понять, какой выставить цену, чтобы не словить хейта. И если бы они сейчас показали бенчмарки, мог быть антипиар.

И, кстати, тезис "мы за бюджетный сегмент, не будем соревноваться с Nvidia 5090" видимо был пылью в глаза.
Судя по всему еще как будут, просто не успели сделать нормально)

🤑 Nvidia
Из крутого - 32Gb памяти у 5090. Не то чтобы это сделает супер разницу с 24, но сможете втиснуть чуть больше батч на вход.

Дальше классический маркетинг. Видишь слайд "5070 is better than 4090, but cost 549$" и такой ваааааау. Смотришь спеки, а там куда ядер сильно меньше. И вообще у 5090 куда ядер всего на 33% больше чем у 4090. Тут ты напрягаешься, откуда заявленная почти x3 AI производительность? Может из-за почти в 2 раза возросшей пропускной способности GDDR7? Нееее.

Следите за руками. Производительность указана в AITops. Не fp, не bf, не int операций, а вот этого маркетингово чуда. Теперь смотрим в описание и понимаем "fp8 == 4090 AITops == 5090 AITops == fp4". А, как вам финт ушами?
На деле скорость возрастет примерно на 30% в среднем, судя по первым бенчам на играх. Так что расходимся, нас заскамили.

Итог
Intel - молодцы, будем смотреть бенчи на моделях
AMD - терпят до объединения игровых и серверных карт
Nvidia - скамеры, но за 32Gb респект

@deploy_ml

Пришло время обновить интро 👋

Меня зовут Данил, я автор этого канала. Работаю в rnd, занимаюсь исследованиями в ML инфре. Пишу на с++ и python, еще умею в go/rust. Работал в rnd командах облака и нейросетевой инфраструктуре контекстной рекламы

Чем занимаюсь:
1. Архитектурю ml продукты и системы
2. Поднимаю инференс
3. Продираюсь через библиотеки с эффективными джунглями реализациями
4. Подбираю фреймворки, библиотеки и базы под конкретные задачи

Что почитать на канале:
🚀 Инференс
- ggml - лучшая библиотека для реализации серверного инференса
- inference, train, mlops - выбери два, сломай лицо об третье
- Как выбирать движок инференса

🖥 Алгоритмы
- Ускорение LLM через PagedAttention и батчинг
- Спекулятивный декодинг - как маленькой llm ускорить громадную

⚙️ Железки
- AMD Instinct™ MI325X - мега gpu на 256Gb памяти
- Будущее серверных железяк
- Какие карты использовать для инференса

Если есть идеи по темам постов, вопросы или обратная связь, пишите в комменты или в личку @svt_danny

Спасибо что подписываетесь и читаете ❤️

Подборка статей MLSys 2024 (part 1)

Давний подписчик предложил добавить подборки по статьям и фреймворкам.
У меня большая кубышка такого контента 😏. Давайте начнем с более практичных вариантов
MLSys - хорошая конференция, с очень качественными принятыми статьями. Если что, в 2024 приняли только 37 статей

Полный список

Что запомнилось мне:
1. AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration [poster][paper] - best paper award
Одна из самых хайповых квантизаций. Поддержана во всех крутых фреймворках

2. Q-Hitter: A Better Token Oracle for Efficient LLM Inference via Sparse-Quantized KV Cache [poster][paper]
На больших контекстах decode становится memory-bound. В статье - как эффективно совместить разрежение и квантизацию KVCache

3. Punica: Multi-Tenant LoRA Serving [poster][paper]
Развили идею батчевания lora адаптеров на планирование по всему кластеру

4. DiffusionPipe: Training Large Diffusion Models with Efficient Pipelines [poster][paper]
Минимизируют простои ресурсов через аккуратное планирование обучаемых и замороженных частей пайплайна

5. SiDA: Sparsity-Inspired Data-Aware Serving for Efficient and Scalable Large Mixture-of-Experts Models [poster][paper]
MoE модели активируют небольшую часть весов для инференса каждого запроса. Это же преимущество приводит к проблемам с эффективным инференсом в проде, которые решают в статье - нужно уметь эффективно управлять доступной RAM и GPU памятью

6. Disaggregated Multi-Tower: Topology-aware Modeling Technique for Efficient Large Scale Recommendation [poster][paper]
Кластера обучения не однородны по топологии транспорта. В статье адаптируют большую и плоскую нейросетевую рекомендательную модель к обучению на масштабах датацентра

@deploy_ml

Релизы ускорений llm от DeepSeek

Когда был хайп вокруг v3/r1, все удивлялись малой стоимости обучения модели (даже при учете того, что это была стоимость финальных запусков).
Тогда в техническом репорте были заявлены две крутые вещи:
1. MLA слой внимания (kv головы в пониженной размерности. Снижается размер kv-cache).
2. Эффективная реализация MoE с эксперт параллелизмом.

И вот они вышли в мир:
1. FlashMLA [github]
2. DeepEP для MoE [github]

Уже присматриваюсь ✏️.
Думал, что пересылку в DeepEP реализуют через openucx. Но нет, на nvshmem

@deploy_ml