Сравнительный анализ инференса модели openai/gpt-oss-20 на RTX 4090 и H100 NVL

Что важно:
🟠 RTX 4090 достигает предела масштабирования пропускной способности на уровне ~15 RPS. Объема VRAM хватает для одновременного размещения не более двух контекстов максимальной длины (131k токенов) и при одновременной обработке более 200 запросов начинается вытеснение (preemption) данных из KV-кэша (фактически удаление).
Это приводит к необходимости повторного вычисления значений KV для вытесненного запроса с первого токена, что увеличивает показатели TTFT, ITL и E2E latency.

🟠 KV_OFFLOAD снижает негативный эффект вытеснения путем сохранения уже рассчитанных значений для вытесняемых запросов на хосте, но вносит дополнительные задержки из-за передачи данных между GPU и CPU.

🟠 H100 NVL не допускает вытеснения и обеспечивает линейное масштабирование пропускной способности (запросов / сек) с увеличением RPS благодаря четырехкратному преимуществу в объеме доступной памяти под KV-кэш и при этом обладает гораздо более мощными вычислительными возможностями.

▶️ Арендовать сервер с Н100 NVL

📬 Подписывайтесь на нас в МАХ

📢 Глава Anthropic призвал замедлить развитие ИИ

📰 Дарио Амодеи опубликовал эссе «We Must Pace the Frontier», в котором предложил снизить темп наращивания возможностей передовых моделей, чтобы исследования безопасности успевали за их развитием.

По его словам, ИИ все активнее участвует в создании следующего поколения систем. Такое ускорение может опередить способность людей понимать и контролировать их поведение.

📲 В карточках — инцидент, который усилил его опасения.

Что это значит для команд, внедряющих ИИ?

📌 Практический вывод из этой дискуссии — уделять больше внимания проверке моделей перед внедрением: оценивать качество ответов на собственных задачах, устойчивость к ошибкам и допустимые полномочия агентов. Производительность и стоимость запуска также стоит измерять на реальной нагрузке.

🚀 Для такой оценки в immers.cloud можно познакомиться с открытыми моделями через доступные публичные эндпоинты, а для собственного развертывания подобрать GPU-сервер. Это позволяет начать с тестирования и выбрать конфигурацию под требования проекта.

➡️ Выбрать модель и GPU-конфигурацию

🎉 С Днем работника ЦОД!

👨‍🔧 Работать в дата-центре — это как быть за кулисами спектакля, который никогда не заканчивается. На сцене запускают приложения, обучают нейросети и выпускают новые сервисы. За кулисами проверяют, выдержит ли инфраструктура следующий выход.
Здесь важно услышать необычный шум, заметить изменение на графике и вовремя разобраться в причине. А день, за который не произошло ничего примечательного, вполне может быть результатом большой работы.

📲 В карточках заглядываем за кулисы immers.cloud и рассказываем, как устроен наш дата-центр.

🍹 Спасибо всем, кто заботится об этой инфраструктуре. Пусть после смены хватает сил на собственные планы, а телефон молчит до утра.

➡️ Узнайте подробнее, как устроен наш дата-центр