Кеш промптов на 1 час на самом деле устроен сложнее. Запись в кеш стоит дороже, чтение из кеша — дешевле. Выигрыш от дешёвых чтений зависит от паттерна использования: размер контекстного окна, основной агент или сабагент и т.д.

Мы тестируем разные эвристики, чтобы повысить долю попаданий в кеш у подписчиков. Это снижает расход токенов и задержки, если работает, но эффект нестабильный из-за описанных нюансов. Например, если включён кеш на 1 час, но агент сделал один запрос, кеш бесполезен и фактически приводит к лишним затратам.

Сейчас кеш на 1 час включён по умолчанию в ряде сценариев, где это даёт оптимизацию под реальные паттерны использования. При этом для многих запросов остаётся 5 минут (например, сабагенты, которые редко переиспользуются, и платить за час кеша там невыгодно). Для клиентов через API режим на 1 час пока не включён по умолчанию — нужно больше тестирования, чтобы убедиться, что это даёт выигрыш в среднем.

Отдельно: для таких экспериментов используются флаги, которые кешируются на стороне клиента. При отключённой телеметрии эти флаги тоже отключаются — клиент не обращается к серверу и используется значение по умолчанию, сейчас это 5 минут. В ближайшее время дефолт на клиенте поменяют на 1 час для части запросов, где уже видно небольшой выигрыш по токенам. Также появятся переменные окружения, чтобы принудительно задать 1 час или 5 минут.

В любом случае экономия токенов далека от 12×. Это небольшой, но постепенный прирост эффективности, который раскатывается на всех.

Дают 500 кредов ранним юзерам, промокод QC14