Как по мне DeepSwe 1.1 на сегодня ключевой бенч, наиболее близкий к реальности.

Прыгнуть выше головы не вышло, хотя в целом для Маска это значительный шаг вперёд.

Рекомендовать сейчас использозовать Grok вместо каких-то моделей в вашх flow, особенно если у вас комбо claude code / codex не вижу смысла.

Получилась модель, которая не дотягивает до планировщика/ревьюера, а на поляне кодинговых рабочих лошадок для него пока места нет, слишком много конкурентов в этой нише. Выглядит как сильная альтернатива Sonnet. А там правят бал киты, тот же DeepSeek v4 Flash. При этом у Grok пока плохо с репутацией и имиджем, так что впереди у spaceX ещё много месяцев много работы.

А нам стоит подождать и проследить за их дальнейшим прогрессом.

В целом для нас - для ужаленных ИИ - это большой плюс: Маск возвращает Grok в игру всего лишь за какие-то жалкие $60 ярдов.

https://openai.com/index/separating-signal-from-noise-coding-evaluations/

Рубрика: "Вода мокрая"

Клозеды официально отозвали свою рекомендацию использовать бенчмарк SWE-Bench Pro для оценки ИИ-кодеров после обнаружения критических дефектов в 27–34% задач. Проведенный аудит выявил, что тесты содержат слишком строгие требования, неполные условия и противоречия, искажающие реальные способности моделей.

Голосом Якубовича: "Да ладно!"

Суть бенча (он, к слову, от Scale AI, а не от OpenAI): берутся реальные фичи из репозиториев, а модель должна закрыть новые тесты и не сломать старый функционал.

Отсюда у разрабочиков соблазн — не учить модель кодить, а дрессировать проходить конкретные задачи, чтобы потом померяться писькой на камеру процентами результатов перед инвесторами и клиентами.

Что именно ломается:
— тесты слишком строгие: требуют конкретную реализацию, которой в задании нет, и заваливают функционально верное решение;
— условие недоописано: скрытые тесты проверяют то, о чём промпт молчит;
— тесты дырявые: неполный фикс всё равно проходит;
— формулировка уводит модель в неправильное поведение.

Короче, около 30% задач в наборе просто сломаны.

И что с того? А то, что те, кто натаскивает модели на прохождение бенчей, учат модели хуже кодить и больше ошибаться.

OpenAI грешила этим меньше всех. Китайские лабы — наоборот, ради цифр на бенче регулярно проседали на боевых задачах. Похоже, что OpenAI надоело, что в реальной работе их модели выглядят лучше, чем на табло относительно конкурентов.

Правда ещё в мае Datacurve в своём бенчмарке DeepSWE писала ровно то же: верификаторы SWE-Bench Pro неверно оценивают примерно треть прогонов, а отдельные модели достают эталонный патч прямо из git-истории репозитория.

OpenAI подтянулась месяца через полтора. Видимо новые модели, которые должны выйти завтра, не показали себя на SWE-Bench.
Оно и понятно, так как бенч сломан.
Отсюда вилка - либо делать модель хуже, но чтобы она проходила бенчмарки лучше конкуретнов, или отказаться от части бенчмарков, но зато получить реально годную модель.

Что же получилось у клозедов скоро узнаем.

А на какой бенчмарк смотреть?

Мое мнение - на сегодня это DeepSWE
Полностью совпадает с моим внутренним ощущением от работы с моделями.

Отлично, у нас новый лидер

Штош

Fable в очередной раз продлили по подписке.
Теперь до 19 июля.

Вынужден признать, что Амодей ещё и талантливый маркетолог (чистый крокодилер).

Все уже успели повтыкать в эту картинку, но только никто не догадался нарисавать линии для наглядности.

Ладно, сделаю это сам.

Что видим?

А то, что нет ничего лучше по соотношению цены/качества, чем luna ultra - это внезапный фаворит для нище-кодинга.

Можно пользоваться так:
1) "Беседы" о проекте - luna high/xhigh

2) Планирование задач - Luna xhigh/max, получаем модель уровня Opus 4.8

3) Проверка планов и ревью реализации - luna ultra (Opus держит пиво и нервно крякает)

4) Реализация.

А вот тут дискуссионный вопрос
Если ваша спека соответствует тем критериям, которые я задаю в своём flow. То можно использовать luna high и значительно экономить время и токены.
У меня issues сосавляются специально под реализации слабой моделью.

Если же качество ваших issues оставляюет желать лучшего, тогда хотя бы дробите их на несколько мелких задач и делайте ревью чаще, но в таком случае непонятно, будет ли выигрыш в токенах.

Возможно при не самой хорошей спеке стоит посмотреть на реализацию с помощью luna xhigh

P.S.Итого. По графикам - luna невероятно дешевая и качественная модель на высоких уровнях effort. Но нужно проверять на практике.

P.P.S. Сейчас перевожу в своём оркестраторе работу ядра с claude code на codex и реализацию буду отдавать luna, хочу проверить скорость/качество/расход. Claude останется как второе мнение на review.

Нагенерят картинок, а мы их серьёзно обсуждаем.

Нет ultra у luna.

По Grok 4.5 нет стоимости и уровней effort'a
Как имплементатора точно можно брать

У Datacurve есть точные замеры wall-clock времени на задачу.

Это честнее любых "токенов в секунду", потому что учитывает всё сразу:
- скорость инференса,
- количество шагов агента,
- объём генерируемых токенов.

При этом нужно понимать, что быстрый провал не лучше медленного успеха.

Sonnet 4.6 формально быстрее Opus, но проваливает 70% задач.

Поэтому привожу таблицу с колонкой "ожидаемое время до решённой задачи".

А вот расширенная таблица, есть интересные открытия

Самый интересный по-моему мнению график из моего сегодняшнего анализа - соотношение уровня ризонинга ко времени выполнения задачи.

У всех моделей, кроме Luna, кривая монотонно растёт.
Каждый следующий уровень effort увеличивает ожидаемое время на решённую задачу.

Прирост качества покупается сверхлинейным временем - думать дольше никогда не окупается по чистой скорости решения, только по надёжности первой попытки.

Выводы.

1) Атомарные задачи, где не требуется большого контекстного окна и чтения большого числа файлов - Luna

Главная проблема Luna - обрыв на long-context:
~128к уверенно работает,
~150–200к она ещё функциональна,
~256к и выше начинается провал.

В остальном это отличная, быстрая, и недорогая модель, которую есть смысл использовать с уровня effort - high

2) Дефолтный имплементатор - Terra

Добро пожаловать в качество Fable.
Если нужно оставить только одну модель, то лучший вариант: Terra xhigh. Подойдёт для любых сценариев.

3) Архитектура, спеки, ревью, декомпозиция, сложные задачи, либо когда требуется one-shot'нуть задачу - Sol high → xhigh

А есть ли смысл в каких-то сценария использовать gpt-5.5 ?

Ответ: нет

Вся линейка GPT-5.5 провалилась в нижнюю треть рейтинга скорости.

Ни одна её конфигурация не поднялась выше 22-го места из 30.

Прошлый флагман по качеству оказался одной из самых медленных моделей - вдвое-втрое медленнее собственных преемников.

5.6 этот тот редкий случай, когда заявленное маркетингом ускорение поколения подтверждается независимыми бенчами.

Произошло полное поколенческое вытеснение за один релиз.
Лучшая конфигурация 5.5 (xhigh: 67.0%, $7.23, 30 минут) почти точь-в-точь равна по качеству Luna max (67.2%) - самому дешёвому тиру нового поколения.
При цене в 2.4 раза выше и времени в 1.6 раза дольше.

А Sol high даёт +2.4 п.п. качества за половину её цены и треть её времени.

У GPT-5.5 сегодня не осталось ни одной недоминируемой конфигурации - ровно тот же приговор, что у Opus 4.8.

Темп обесценивания: «флагман → полностью доминируемая модель» за ~2.5 месяца.

Последний штрих: pass@4 у 5.5 high - 90.3%, делит первое место по покрытию с Luna max. Старый флагман умеет решать почти все эти задачи - он просто делает это слишком медленно и слишком ненадёжно с первой попытки, чтобы это имело практическую ценность.

В рейтинге на сегодня GPT-5.5 - чисто историческая строка: use-case'ов, где она была бы рациональным выбором, в таблице не осталось.

В связи с последними релизами начал переделывать свой workflow.
Решил сменить пул моделей, на которых работаю.

Последние 2 дня решал для себя ключевую задачу: подобрать базовую кодинг модель.

Решил, что первичными критериями отбора будут:
- pass@1 выше 59% (pass@1 — доля попыток, в которых модель решила задачу с первого раза)
- pass@4 выше 79% (pass@4 — доля задач, решённых хотя бы в одной попытке из четырёх)

Прогнал результаты всех моделей, включая китайцев

В итоге ни одна китайская модель в рейтинг не вошла, как и gemini

У нас сейчас два неоспоримых лидера по качеству кодинга, это OpenAI и Anthropic, но есть одно но - у Антропиков только Fable вошёл в рейтинг. Opus 4.8 уже вне фронтира.

Мой выбор: Sol high
Оптимальность по всем осям.
По качеству - 69.4%, статистически неотличимо от Fable xhigh и Terra max, в трёх пунктах от абсолютного потолка рынка.

По цене - $3.47, дешевле Terra max при равном качестве, то есть прямая доминация ближайшего конкурента.

По времени - 9.9 минут на pass1 и 14.3 минуты на pass2: лучшая скорость во всём "клубе 59/79", лучшая на рынке.

Четвёртая ось, которую обычно не замечают, это "гигиена" исполнения.
37 шагов и медианный пиковый контекст 98k токенов на задачу.
Это глубоко внутри зоны его сильного long-context (91.5% MRCR) и без раздувания шагов, которым компенсируются слабости у Luna (102 шага) или Sonnet 5 (268).

Sol high решает задачи коротким путём, а не берёт их "измором" через длительные цепочки рассуждений "ах вот оно что" и "ух ты, оказывается..."

Экономика тоже сходится:
- шаг вниз до medium экономит $1.61, но роняет качество на 8.3 п.п. (плохой размен),
- шаг вверх до xhigh стоит +$1.23 за +1.3 п.п. (платим за шум).

Итого, на medium мы теряем много качества за малые деньги, выше - переплачиваем без улучшения качества.

P.S. Уже включил Sol high как наиболее экономичный, быстрый и надёжный исполнитель для написания кода в свой flow. Рекомендую.