Сегодня наконец закончил эвалюейшн code review тулов.🌡 Главный инсайт что я вынес - есть огромная разница в точности ревью когда ты делаешь agentic code review (когда агент гоняет все изменения в твоем проекте связанный с MR, включая каждый файл из MR отдельно и полностью, логику между компонентами, тесты, документацию итд) и обычный per-diff ревью по строго заданной схеме. И соотвественно такая же огромная разница в цене.

Самым дорогим оказался agentic-review, baseline (без всяких тулов), с помощью GPT-5.6 Sol. Только на нашем проекте он бы стоил $3800 в месяц 🙈если запускать на каждый новый пуш в MR. Но вы офигеете сколько бы стоил DeepSeek 4.1 на таком же сценарии, жаль нам нельзя завезти DS на наш проект 🥲

Вобщем подробную статью и выводы сделаю на этой неделе🧠 Напомню, что в результатах будут Coderabbit, OCR, Codex Review, PR-Agent и бейслайн.

Вчера очень интересный батл тест получился. Есть у меня задача, подготовить наш продукт для AWS Marketplace distribution. Часть этого процесса - конечно же секьюрность контейнеров, в рамках которой минимально надо сделать наши и оркестраторы и спавнящиеся контейнеры rootless.

Ну и конечно там дофига нюансов. Девелоперы говонокодят когда прилага пишет логи прям в /app/, неявные вопросы с правами используемых файлов в разных местах итд. Раньше как было? Ты просто собирал контейнер с нужным USER, чуть менял chown на воркдир, запускал - все падало 🤣И дальше потихоньку искал что сломано и где проблемы. Сейчас же все можно подготовить сразу с АИ, и учесть все нюансы (ну почти).

Фича большая, решил пойти с SDD, сделал простые рекварйменты, сгенерил базовый сис дизайн, и тут фаза review requirements и review design, на котором чаще всего все переделывается почти под чистую. Модель проверяет всякие эдж кейсы, задает вопросы, и спеки доводятся до вменяемого состояния. И вот решил, а дай ка я сделаю ревью и найду все блокеры разными моделями. Итого у нас GLM-5.3 Max, DeepSeek V4.1 Flash и GPT-5.6 Sol High.

Результат на картинке. Всего корпус из 40 блокеров
🥇Sol - 24
🥈DeepSeek - 21
🥉GLM - 12

Но при этом у каждой модели есть уникальные попадания из корпуса, то есть даже ГЛМ нашел 2 проблемы которые не нашли другие обе модели. Прикольно, интересно, захотелось узнать детали, и почему так.
Разобрал блокеры по контекстным группам, и выяснилось что GLM например вообще воспринял ревью довольно буквально и проверял только чарт, рантайм и конфиги, и вообще не пошел вглубь репозитория проверять per-agent dockerfiles, где были 9 блокеров (8 из них нашел Сол, и 6 Дипсик). Если детально, как каждая модель делала ревью:

Review depth follows verification habit. ZCode anchored on “verify the doc’s claims against code” and went where the cited files were (chart, config, runtime plumbing) — it caught everything wrong in what the docs pointed at and nothing wrong in what the docs glossed over. The image layer was described in two self-confident sentences, and those sentences were never cross-checked against a single Dockerfile.
DeepSeek inverted that: it audited the artifact graph the docs depend on (base → per-agent Dockerfiles, entrypoint, adapter modules), which is why it owns the image-layer blockers — but it accepted the docs’ rollout/pinning story at face value (missed the SHA-coupling and the ENV-into-builds side effect of the approved CA design).
Sol reviewed the design as a system contract — who renders what, when do env vars exist, what does a release mean, what happens on rollback — which catches lifecycle and composition gaps neither file-level audit style reaches. Its laconic items occasionally name symptoms without mechanisms (e.g. “derived images fail to build” without the USER-inheritance mechanism DeepSeek stated), which is why its image-layer rows are partials.

В целом могу сделать такие выводы. Все нынешние топ модели, и китайские и закрытые US сейчас достаточно умны, чтобы находить проблемы и анализировать результат. Сделают ли они это с первого раза - чаще зависит от прокладки между компом и стулом, как грамотно составлен промпт, какие у вас рулы и agents md итд. В плане ревью - у Sol наверное самый грамотный методологический подход, но эта штука фиксится промптом для любой модели. Самый важный tldr из этой истории:
"run at least one file-verification pass (cited claims vs code), one dependency-graph pass (Dockerfiles, entrypoints, adapters the docs assume), and one contract pass (rollout, rollback, env-var lifetimes). One model doing one pass is demonstrably not enough — 18 of 40 clusters were single-model finds."

Я это правило уже добавил в свои спек ревью промпты, чего и вам желаю 👍🌡

А вот это тестить и использовать точно буду 👍

PS и я тут только сейчас увидел прайс. $2/$10, что в два раза дешевле прошлого Sol. Это просто победа, реально крутые 👍🔥🔥