🚀 Как выжать максимум из LLM на RTX 3090

Появился набор конфигураций и патчей для запуска современных языковых моделей на RTX 3090. Решение рассчитано на разные сценарии: можно сделать упор либо на максимальную скорость, либо на более стабильную и предсказуемую работу.

Что внутри:
— два режима запуска: производительность или надёжность;
— готовые Docker-конфиги для локального API;
— модель-агностичный подход без жёсткой привязки к одному стеку;
— настройки как для одной, так и для двух RTX 3090.

Полезная находка для тех, кто поднимает LLM локально и хочет меньше времени тратить на ручной тюнинг.

#LLM #RTX3090 #Docker