Новые игровые пользовательские GPU, какие они?

Прошел этап анонсов видеокарт - Nvidia, amd и intel зарелизили свои карты нового поколения.
Мы не геймеры, но игровые карты стали best-value-to-money решениями, по крайней мере для инференса. Но сейчас не об этом - сейчас хочу поделиться своим мнением по каждому релизу.

🏆 intel
Классные бюджетные карты за 250$. Они так зашли на старте, что ниже 350-400$ их теперь не купить, а стоки раскупаются быстрее поставок. Думаю, это дело времени, через пару месяцев должно отпрыгнуть к изначальным ценам.

16gb GDDR6 - это круто за свою цену. По слухам, будет еще версия 24Gb. Для компьютерного зрения, даунстрим тасок и прочего, что должно держать нагрузку, кажется, будет хорошим решением.

Для компании intel, находящейся в не очень хорошем состоянии (процессоры серьезно проигрывают борьбу AMD на всех рынках), GPU - непрофильный эксперимент с большим бюджетом. Если бы battlemage не зашли, подразделение могли закрыть полностью в рамках снижения затрат.

🤐 Amd
Тут полный байт, посмотрите комменты под видео с презентации на CES.
Спойлер - гпу там не показали, но есть пару слайдов без бенчмарков.

Кажется, это не капитуляция, и у этого есть объяснение - идет процесс унификации серверных и игровых карт. Будет новая архитектура UDNA в 2026, анонсированная еще в сентябре.
И потому текущее поколение "пропущено" - будут какие-то проходные варианты и amd просто пытается понять, какой выставить цену, чтобы не словить хейта. И если бы они сейчас показали бенчмарки, мог быть антипиар.

И, кстати, тезис "мы за бюджетный сегмент, не будем соревноваться с Nvidia 5090" видимо был пылью в глаза.
Судя по всему еще как будут, просто не успели сделать нормально)

🤑 Nvidia
Из крутого - 32Gb памяти у 5090. Не то чтобы это сделает супер разницу с 24, но сможете втиснуть чуть больше батч на вход.

Дальше классический маркетинг. Видишь слайд "5070 is better than 4090, but cost 549$" и такой ваааааау. Смотришь спеки, а там куда ядер сильно меньше. И вообще у 5090 куда ядер всего на 33% больше чем у 4090. Тут ты напрягаешься, откуда заявленная почти x3 AI производительность? Может из-за почти в 2 раза возросшей пропускной способности GDDR7? Нееее.

Следите за руками. Производительность указана в AITops. Не fp, не bf, не int операций, а вот этого маркетингово чуда. Теперь смотрим в описание и понимаем "fp8 == 4090 AITops == 5090 AITops == fp4". А, как вам финт ушами?
На деле скорость возрастет примерно на 30% в среднем, судя по первым бенчам на играх. Так что расходимся, нас заскамили.

Итог
Intel - молодцы, будем смотреть бенчи на моделях
AMD - терпят до объединения игровых и серверных карт
Nvidia - скамеры, но за 32Gb респект

@deploy_ml

Пришло время обновить интро 👋

Меня зовут Данил, я автор этого канала. Работаю в rnd, занимаюсь исследованиями в ML инфре. Пишу на с++ и python, еще умею в go/rust. Работал в rnd командах облака и нейросетевой инфраструктуре контекстной рекламы

Чем занимаюсь:
1. Архитектурю ml продукты и системы
2. Поднимаю инференс
3. Продираюсь через библиотеки с эффективными джунглями реализациями
4. Подбираю фреймворки, библиотеки и базы под конкретные задачи

Что почитать на канале:
🚀 Инференс
- ggml - лучшая библиотека для реализации серверного инференса
- inference, train, mlops - выбери два, сломай лицо об третье
- Как выбирать движок инференса

🖥 Алгоритмы
- Ускорение LLM через PagedAttention и батчинг
- Спекулятивный декодинг - как маленькой llm ускорить громадную

⚙️ Железки
- AMD Instinct™ MI325X - мега gpu на 256Gb памяти
- Будущее серверных железяк
- Какие карты использовать для инференса

Если есть идеи по темам постов, вопросы или обратная связь, пишите в комменты или в личку @svt_danny

Спасибо что подписываетесь и читаете ❤️

Подборка статей MLSys 2024 (part 1)

Давний подписчик предложил добавить подборки по статьям и фреймворкам.
У меня большая кубышка такого контента 😏. Давайте начнем с более практичных вариантов
MLSys - хорошая конференция, с очень качественными принятыми статьями. Если что, в 2024 приняли только 37 статей

Полный список

Что запомнилось мне:
1. AWQ: Activation-aware Weight Quantization for On-Device LLM Compression and Acceleration [poster][paper] - best paper award
Одна из самых хайповых квантизаций. Поддержана во всех крутых фреймворках

2. Q-Hitter: A Better Token Oracle for Efficient LLM Inference via Sparse-Quantized KV Cache [poster][paper]
На больших контекстах decode становится memory-bound. В статье - как эффективно совместить разрежение и квантизацию KVCache

3. Punica: Multi-Tenant LoRA Serving [poster][paper]
Развили идею батчевания lora адаптеров на планирование по всему кластеру

4. DiffusionPipe: Training Large Diffusion Models with Efficient Pipelines [poster][paper]
Минимизируют простои ресурсов через аккуратное планирование обучаемых и замороженных частей пайплайна

5. SiDA: Sparsity-Inspired Data-Aware Serving for Efficient and Scalable Large Mixture-of-Experts Models [poster][paper]
MoE модели активируют небольшую часть весов для инференса каждого запроса. Это же преимущество приводит к проблемам с эффективным инференсом в проде, которые решают в статье - нужно уметь эффективно управлять доступной RAM и GPU памятью

6. Disaggregated Multi-Tower: Topology-aware Modeling Technique for Efficient Large Scale Recommendation [poster][paper]
Кластера обучения не однородны по топологии транспорта. В статье адаптируют большую и плоскую нейросетевую рекомендательную модель к обучению на масштабах датацентра

@deploy_ml

Релизы ускорений llm от DeepSeek

Когда был хайп вокруг v3/r1, все удивлялись малой стоимости обучения модели (даже при учете того, что это была стоимость финальных запусков).
Тогда в техническом репорте были заявлены две крутые вещи:
1. MLA слой внимания (kv головы в пониженной размерности. Снижается размер kv-cache).
2. Эффективная реализация MoE с эксперт параллелизмом.

И вот они вышли в мир:
1. FlashMLA [github]
2. DeepEP для MoE [github]

Уже присматриваюсь ✏️.
Думал, что пересылку в DeepEP реализуют через openucx. Но нет, на nvshmem

@deploy_ml

MLOps opensource карта

Уже несколько раз спрашивали
"Чего бы нам такого из mlops внедрить?"
Вопрос сложный, потому что все зависит от:

1. Стека компании и профиля ее лидирующих команд.

2. Зрелости и реальной текущей нагрузки прода.

3. Индивидуальной идейности: кто-то считает, что "код должен быть идеально чистым, mlops - end2end", кто-то - что "уместен только хаос и bash скрипты". При этом большинство радикальных идей приводят к страданиям и прокрастинации.

4. Индивидуальных тестов нужного функционала под целевой нагрузкой и в целевом контуре.

Несмотря на субъективность любой подборки, составил карту крутых фреймворков для MLops. Убрал то, что уже явно умерло или теряет позиции (иначе карта была бы в разы больше).
В легенде чуть подробнее⬇

Интерактивная ссылка, а pdf в хорошем качестве в комментах

Если хотели бы что-то добавить или есть какой-либо позитивный / негативный опыт использования - пишите в комменты)

@deploy_ml