Разворачиваем Llama 3 с Docker и vLLM

Запуск LLM – это не просто поднять контейнер.

Здесь важны производительность, память и эффективное использование GPU.

В этом гайде разберём:
- Настройку GPU-окружения: Docker + NVIDIA Runtime
- Деплой модели с Llama и vLLM
- Оптимизацию памяти с помощью флага --gpu-memory-utilization, чтобы сбалансировать VRAM между весами модели и KV Cache
- Техники квантизации, которые позволяют увеличить throughput более чем в 2 раза — с 1,62 до 3,64 req/s — и вдвое сократить потребление VRAM
- Как работает Continuous Batching

Подробный гайд:
https://devopscube.com/deploying-llama-with-docker-and-vllm/

Следуя экспериментам по оптимизации из гайда, можно получить:
- рост общего throughput в 2,2 раза
- Time to First Token (TTFT) в 3 раза быстрее
- от 5 до 20+ одновременных пользователей на том же железе — NVIDIA RTX 4000

Примечание: этот гайд предназначен для обучения и экспериментов. Используйте его, чтобы разобраться в основных концепциях.

👉 DevOps Portal

keda-gpu-scaler — это внешний scaler для KEDA, который считывает GPU-метрики через NVML на каждом узле. Благодаря этому deployments с vLLM и Triton масштабируются по реальной нагрузке на GPU, а не по CPU, включая scale-to-zero

➜ https://github.com/pmady/keda-gpu-scaler

👉 DevOps Portal

Что такое Distroless-образ контейнера? 🧐

Go известен своими статически слинкованными бинарниками. Можно взять исполняемый файл Go, положить его в контейнер с FROM scratch - и на этом закончить.

Но у такого подхода есть несколько проблем...

1. В контейнерах FROM scratch нет нормального управления пользователями

Базовый образ scratch — это буквально пустой образ. Поэтому файлов /etc/passwd и /etc/group там просто нет.

Из-за этого контейнеризированный процесс в большинстве случаев запускается от root.

2. В FROM scratch отсутствуют некоторые важные директории

/tmp, /root, /home, /var, /etc — ничего из этого в scratch-контейнере нет, если, конечно, вы не примонтируете нужные директории самостоятельно.

Из-за этого приложение может работать некорректно — попробуйте, например, создать временный файл и посмотрите, что произойдёт 😉

3. В FROM scratch нет CA-сертификатов и данных о часовых поясах

Нужно обратиться к HTTPS-эндпоинту? Не получится.

Нужно выполнить преобразование времени между часовыми поясами? Тоже не получится.

4. В FROM scratch нет runtime вашего языка

Если поддержка статической линковки в вашем языке не настолько хороша, как в Go, либо приложению нужен интерпретатор или runtime-окружение, использовать scratch-контейнеры становится практически невозможно.

Distroless-образы как раз решают эти проблемы, при этом оставаясь максимально близкими к подходу FROM scratch.

Хороший пример — проект GoogleContainerTools/distroless. В нём есть следующие базовые образы:
- distroless/static = scratch + структура директорий, похожая на обычный дистрибутив, /etc/{passwd,group}, CA-сертификаты и данные о часовых поясах
- distroless/base = distroless/static + glibc
- distroless/cc = distroless/base + libgcc

Также есть несколько специализированных под конкретные языки, но всё ещё distroless-образов:
- distroless/java — для Java 17, 21 и 25
- distroless/nodejs — для Node.js 22, 24 и 26
- distroless/python3 — соответственно, для Python 3

Но существуют и другие проекты и продукты.

Подробнее о distroless-образах - в туториале iximiuz Labs:
https://labs.iximiuz.com/tutorials/gcr-distroless-container-images

👉 DevOps Portal

Новый челлендж по Kubernetes на iximiuz Labs:

Получите доступ к приватному Kubernetes-кластеру через SSH SOCKS-прокси 🧙‍♂️

Попрактикуйтесь в удобном способе подключения к Kubernetes API Server без проброса конкретного порта и без необходимости менять адрес сервера в kubeconfig:
https://labs.iximiuz.com/challenges/access-kubernetes-api-through-ssh-socks-proxy

👉 DevOps Portal

Самый красивый сайт, который я сегодня видел:
https://kubernetes3d.com/rack

Он визуализирует кластер Kubernetes в виде серверной стойки, причём всё выполнено в полноценном 3D - выглядит действительно впечатляюще. Есть отдельные виды спереди, сзади и сбоку, и каждый показывает один и тот же кластер с разных ракурсов. Настоящее произведение искусства.

Обратите внимание: все кнопки и сцены здесь интерактивны, поэтому сайт отлично подходит ещё и для изучения концепций. Я уже довольно долго с ним играюсь

👉 DevOps Portal

GitLab Architecture: A Complete Guide

В этом вводном гайде вы узнаете:

- Основные компоненты GitLab
- Хранилище GitLab
- Высокая доступность и масштабируемость
- Аутентификация и авторизация
- Мониторинг GitLab с помощью Prometheus и Grafana

Подробное руководство: https://devopscube.com/gitlab-architecture/

👉 DevOps Portal

🤖 DevOps в эпоху AI трансформации: что работает уже сейчас!

17 сентября Сбер собирает DevOps-инженеров, SRE и платформенные команды на встречу о том, как AI меняет работу с инфраструктурой, релизами и безопасностью.

Обсудим:
🔘Platform Engineering и IDP: как строить внутренние платформы без лишней сложности
🔘Agentic engineering: каких агентов уже можно доверить пайплайнам
🔘Security на скорости: как закрывать уязвимости, когда счет идет на часы

Своим опытом поделятся практики из Авито, Сбера, Cloud․ru и Т-Банка.

Встречаемся 17 сентября в 17:00 в Сбер.Среде (Москва, Земляной Вал 9А) или онлайн. Мест всего 150 — успей занять своё по ссылке!

Hermes Agent Operator запускает AI-агентов Hermes в Kubernetes как кастомные ресурсы, поэтому конфигурация, навыки и рабочее пространство каждого агента хранятся в одном манифесте, а не разбросаны по чьему-то ноутбуку.

➜ https://github.com/hermeum/hermes-agent-operator

👉 DevOps Portal

Разберите этот сценарий troubleshooting в Kubernetes

При развёртывании Kubernetes-кластера на базе kubeadm в AWS с Calico CNI можно столкнуться с таймаутами соединения между Pod'ами и CoreDNS.

Авторы столкнулись с этой проблемой и подготовили подробную статью, в которой разобрали:
- почему возникает эта проблема;
- как пошагово её диагностировать;
- реальную первопричину;
- как сетевая инфраструктура AWS взаимодействует с Calico;
- как правильно исправить проблему.

Читать статью:
https://blog.techiescamp.com/docs/fix-dns-timeout-kubeadm-calico-aws/

👉 DevOps Portal

В iximiuz Labs появился новый сложный челлендж по контейнеризации:

Отладить Go-контейнер, который перестал запускаться после недавнего изменения.

Сможете найти первопричину и исправить сборку?
https://labs.iximiuz.com/challenges/fix-go-container-image-broken-by-recent-change

👉 DevOps Portal