🚀 Как выжать максимум из LLM на RTX 3090

Появился набор конфигураций и патчей для запуска современных языковых моделей на RTX 3090. Решение рассчитано на разные сценарии: можно сделать упор либо на максимальную скорость, либо на более стабильную и предсказуемую работу.

Что внутри:
— два режима запуска: производительность или надёжность;
— готовые Docker-конфиги для локального API;
— модель-агностичный подход без жёсткой привязки к одному стеку;
— настройки как для одной, так и для двух RTX 3090.

Полезная находка для тех, кто поднимает LLM локально и хочет меньше времени тратить на ручной тюнинг.

#LLM #RTX3090 #Docker

Когда техдир на утреннем созвоне спокойно предложил девопсу «просто взять и перенести всю инфраструктуру в кубер» 😅

Звучит как одно предложение, а на деле — месяцы работы: переписать деплой, разложить сервисы по подам, настроить сеть, ingress, секреты, мониторинг и не забыть про хранилища состояния.

Kubernetes реально даёт масштабирование и отказоустойчивость, но за это платишь сложностью. Для пары контейнеров он часто избыточен — тут спокойно хватит docker-compose.

Главное правило: переезжай в k8s под задачу, а не под хайп. Иначе рискуешь собрать себе оверинжиниринг там, где хватило бы пары строк.

Подписывайся, чтобы не пропустить новые разборы по DevOps и инфраструктуре — здесь выходит регулярно

#Kubernetes #DevOps #Docker