вход:   119 208 токенов

выход:    1 018 токенов

Итак, где были те 120 тысяч токенов.

Замерил всё, что уходит в промпт, по частям:

схемы инструментов (36 шт)  18 919 симв.  45%

профиль пользователя        12 000 симв.  29%

долговременная память        8 000 симв.  19%

системная инструкция         2 862 симв.   7%

──────────────────────────────────────────────

итого                       41 781 симв. ≈ 13 900 токенов

Теперь главное. Ход агента — это НЕ один запрос к модели. Это цикл: подумал → вызвал инструмент → получил результат → подумал снова. Каждая итерация — отдельный вызов LLM. И на каждом заново уходит весь контекст.

120 226 / 13 900 ≈ 8,6 шагов.

Вот и ответ. Дело было не в размере контекста, а в том, сколько раз он повторяется.

И вывод, который мне не нравится, но он верный: чем автономнее агент, тем дороже он обходится. Просто потому, что делает больше шагов. То самое свойство, за которое агентов и берут, работает против кошелька.

Как мы это починили — и почему не «просто обрезали контекст».

Главный принцип: нельзя молча прятать контекст от модели.

Если выкинуть половину истории, агент об этом не узнает. Он будет уверен, что видит всё, и начнёт уверенно делать выводы на неполных данных. Сэкономленные токены заплатишь дважды — неверными действиями и повторными запросами.

Что сделали:

Убрали из предзагрузки то, что агент может взять сам. Профиль пользователя — 12 тысяч символов на каждом шаге. При этом у агента УЖЕ был инструмент, который эти данные читает. Мы платили за предзагрузку того, что доступно по требованию. Теперь, если задача явно не про эти данные, вместо дампа уходит строка «данные есть, вот инструмент». Возможности не потеряли — изменился момент оплаты.

Перешли на бюджет в символах, а не в сообщениях. Потому что «ок» на 40 символов и транскрипт на 60 000 — это не одно и то же, а 

 считал их равными.

Каждую обрезку помечаем явно. «обрезано N символов». Это и есть разница между экономией и деградацией: видимый маркер даёт агенту повод уточнить, а молчаливое сокращение — повод для уверенной ошибки.

Плюс последние сообщения всегда идут дословно (там текущая задача), а первое сообщение остаётся якорем цели — чтобы на длинной задаче агент не забыл, о чём его вообще просили.

Uma Computer → https://umaai.site/r/habr?to=/computer Платите за расход, а не за подписку. После этой правки — ощутимо меньше.

HTTP 402: You requested up to 8192 tokens,

but can only afford 875.