Что брать на подписке за $20 ? 😃

Сравним Sol / Terra / Luna

1) Sol high против Terra max - чистая доминация.

Это единственная пара в таблице, где сравнение не требует оговорок: 69.4% против 69.6% — статистическая ничья по качеству, но Sol high дешевле ($3.47 против $4.95), быстрее в 1.7 раза (9.9 против 16.9 минуты) и надёжнее как процесс.

Почему так выходит: Terra добирается до качества Sol только на своём максимальном уровне размышления, и делает это через объём — 76 шагов агента и 72k выходных токенов против 37 шагов и 28k у Sol high.

Более слабая модель компенсирует слабость каждого шага количеством шагов, а каждый шаг — это время, токены и лишний вход в контекст.

Sol на high просто чаще прав с первого движения: короче траектория, меньше пикового контекста (98k против 177k), меньше точек отказа.

Terra max — это «качество Sol, купленное вдвое большей работой».


2) Sol high против Luna max — доминация по всем осям, кроме одной.

Качество: 69.4 против 67.2 (в пределах CI, но с перевесом Sol во всех четырёх прогонах).

Время: 9.9 против 18.7 минуты — вдвое.

Механика та же, но острее: Luna max делает 102 шага на задачу против 37 — она в буквальном смысле бредёт к решению короткими шажками, и её медианный пиковый контекст (202k) заходит в её же собственную зону деградации long-context (провал MRCR документирован с 256K, то есть она работает впритык к своему потолку).

Sol с его 91.5% MRCR и 98k рабочего контекста живёт с трёхкратным запасом.

Единственная ось, где Luna выигрывает — деньги: $3.03 против $3.47... и это выигрыш в 44 цента, 13%.

Luna экономит деньги, а не время? но против Sol high она уже почти не экономит и деньги. Её реальный ценовой аргумент — не max, а high за $0.78, но там качество проваливается до 44%.

ВЫВОДЫ:
если openai считает токены "по-честному" для подписки, то для подписки за $20 стратегия использования следующая:

Sol high часто решает задачи с одного прохода, но если он не решил задачу с первого раза, то гонять его дальше нет смысла.
Отсюда следствие: если Sol high не справляется, то переключиться для решения задачи на xhigh/max - это выйдет дешевле.

Другое направление экономии квоты: идти вниз по тирам, но не вниз по эффорту!

Т.е. если нужно сэкономить подписку на тривиальных задачх, то лучше использовать Terra high (34 шага, 21k токенов, это самая лёгкая рабочая конфигурация), а не на Sol low/medium: у Terra high лучше pass@4 и она легче. А вот Luna на подписке теряет свой единственный аргумент, цену, полностью: её 102 шага и 73k токенов на max жгут квоту наравне с Terra при худшем качестве.

—-

TL.DR.КГ.АМ

! Sol high как дефолт.

Sol xhigh/max - для задач где Sol high не справился за 2 прохода, дальше его нет смысла гонять, и дешевле перейти на xhigh/max

Для простых задач: Terra high

На подписке Luna не нужна вообще.