⚙️ Из общей картины выбивается обзор фреймворков. Для большинства направлений DL их выбор достаточно прямолинеен, особенно в контексте инфраструктуры инференса и обучения. Но в LLM, видимо, из-за больших размеров и вычислительных сложностей моделей, а также взрывного роста популярности - было создано очень много специфичных фреймворков. Думаю, часть из них забудется в рамках консолидации (все таки глобальные фреймворки типа torch и tensorrt имеют ряд серьезных преимуществ), а часть останется плагинами под системы - такие как Ray-LLM .

🏆 Вообще RAY большие молодцы - сейчас они де факто заняли нишу инфраструктуры инференса на кубернетесе (примерно все для не очень интенсивных моделей его используют), хотя изначально система была задумана для мультиагентных систем и обучения с подкреплением
Добавляет похвалы факт того, что такой большой проект вышел с лаборатории университета UC Berkeley (ну и помощи основателя Databricks 😉)

🔍 Почему стоит читать лицензии в opensource?

Наткнулся на исследователя, который разрабатывает базовые алгоритмы и продает на них лицензии
Тут можно посмотреть, какие алгоритмы он уже разработал

⚠️ Если посмотреть в лицензию, увидите там очень интересный пункт (100к USD per project basis)
Справедливости ради, он не скрывает, что занимается этим
Но вот незадача - не обратите внимания, скопируете себе, зальете в опенсорс - и вот Вы и Ваша компания попали

🧐 С одной стороны - базовые алгоритмы настолько фундаментальны, что не понятно, почему к чему-то подобному не могут придти другие люди и где грань уникальности. С другой - авторское право естественная и нужная штука

🟰 Справедливости ради, исследователь уровня разработчика подобных алгоритмов стоит от 300-400к USD в год в Америке. И, получается, как будто вы его наняли на несколько месяцев (кастомная оптимизация и бенчмаркинг кода в рамках процессов компании - дело не быстрое). И если его алгоритм/структура данных делает вам большую дельту в качестве системы - это не дорого

🚫 Но любая серьезная ИТ компания конечно на входе заблокирует подобный код. Часто есть апроксимации или аналоги с схожими характеристиками. Контролировать, что никакой инженер из добрых побуждений не утащит себе в проект код и не спишет с вас еще 100к $ - бессмысленно (когда лазишь по репозиторию компании - априори не будешь читать файлы с лицензиями)

Чего хотеть от фреймворка инференса?

Первое что приходит в голову - производительности 😎
Но сосредоточиться только на ней будет ошибкой

Вот несколько других параметров:

1. Язык реализации. Если у вас малые нейронки или размеры входов, то издержки взаимодействия с питоном будут существенны под нагрузкой и стоит смотреть c++ фреймворки. Если матрицы большие, то, на самом деле, можно вполне пользоваться питоном пока нагрузки не велики (те же llm могут тратить десятки секунд на обработку контекста). Да и сами операции в питон фреймворках реализованы через биндинги С/С++

2. Среда использования. Если вы экспериментируете с составом кластера, и у вас наряду с nvidia картами есть еще и amd/intel/huawei - хорошей идеей будет подумать об одном общем фреймворке с реализацией нужных бекендов

3. Сборка. Просто ли собрать код, загрузить его на сервер и запустить? Контейнер может весить 10-20Гб и загрузка его с диска на рестартах может занимать десятки минут. Если уходить еще ниже на уровень бинарей, то возить с собой все .so библиотеки может быть проблематично. И, кстати, никто не обещал что залинкованная динамически библиотека на сборке не крашнет вам бинарь в неподходящий момент

4. Память. Если ваша нагрузка memory-bound (GPU VRAM переполнена), то имеет смысл смотреть реальную занимаемую память на нагрузке для одного запроса

5. Наличие хаков для нишевых сценариев. Инференсить llm без спекулятивного декодинга, kv cache, квантизаций, батчевания prefill/decode - равно тратить в разы больше ресурсов. В некоторых движках этих фичей может не быть

6. Качество кода. Разные фреймворки написаны с разным отношением. Кто-то пишет интуитивно понятный код, который легко раздебажить, а кто-то пишет все в одном файле на 3к строк и потом с пеной у рта говорит про эффективность (удачи дебажить ошибки в коде nvidia 🚬, но их не поймут, если они напишут не самый оптимальный код). В любом коде будут ошибки, любой будет падать - это просто факт, посмотрите в Release notes на исправленные в патчах ошибки, и вам покажется, что фреймворк вообще своей жизнью живет, иногда новые релизы просто не собираются
Так вот вы либо имеете контроль над кодом и можете на своей стороне сделать патч, либо с синими глазами даунгрейдите версию фреймворка в надежде поймать фикс и ждете исправлений в апстриме

📝 В общем, тут все не так однозначно. И кстати интересная тенденция - чем сложнее система и больше продакшен, тем большей простоты от кода и сборки стараются достичь. Потому что, когда все упадет, спросят с тебя, а не с разработчиков TensorRT

AMD Instinct™ MI325X Accelerators

Новая игрушка от AMD 🧸
256Gb видеопамяти на плате - это мощно 🌠 И компьют хороший
У nvidia есть свой аналог H200 - там 141Gb (у A100/H100 - 80Gb)

Для кого это и почему это круто?
99% - для ML инженеров на время разработки. Дело в том, что релизы новых моделей, если их не тюнить, часто не влезают в 80Gb (да-да дожились). Либо работают долго
Из моих последних использований:
1. Open-Sora для генерации видео лезет только в 4GPU, если генерить в 720p. У меня получилось уместить с приседаниями, но все же
2. Flux для генерации изображений - генерит одну картинку 30 сек на А100, что не быстро для model-surgery

🏆 Так вот если у тебя есть такая плата - ты на коне. Просто берешь почти любую модель и разворачиваешь за пару минут. Да и компьют быстрый. А не мучаешься с model/sequence/tensor параллелизмом

Для инференса эта штука может быть полезна в контексте LLM с очень большими последовательностями - размеры KV-Cache могут быть оч большими при нагрузке. Но, думаю, врятли кто-то будет особо использовать

Ps:
Мне кажется, что amd уже очень даже конкурентноспособны для AI. У меня чешутся руки прикупить такую карточку и поделать на ней замеры
Ps2:
Мы такие платы пока не получим, H100 и так с скрипом завозят, а эти лимитированы и продаются избранным, не слышал, чтобы у кого-то были