GPT-OSS-20B, H100: выжимаем 156 миллиардов токенов в месяц

После релиза GPT-OSS-20B от OpenAI было много новостей, но конкретных бенчмарков с реальными цифрами я так и не нашел.

Решил выжать из модели максимум на H100 PCIe 80GB. Что получилось: до 60K токенов/сек c 91% загрузка GPU. Внутри пишу, как я это сделал по шагам! Читать далее

#gpt_oss_20b #vllm #gpt_oss_20b_benchmark #локальная_llm #vram_использование #llm #h100 #h100_pcie #tps_токены_в_секунду #docker_gpt_oss | @habr_ai