👀 ИИ оставил двадцать замечаний к коду. А сколько из них реально полезны?

Число комментариев почти ничего не говорит о качестве ревью. Куда важнее другое: какие настоящие ошибки инструмент поймал, что пропустил и сколько раз поднял ложную тревогу.

GitHub выкатил ReviewBench — бенчмарк на 219 публичных PR и 19 языках. Эталонные находки собирали сразу из нескольких источников: ручного ревью, статического анализа и LLM. Итоги можно фильтровать по серьёзности и типу проблем.

Так проще подобрать инструмент под свою задачу — ловить критичные баги или собирать больше замечаний, мирясь с лишним шумом. Но перед внедрением в команду всё равно прогоните кандидатов на своих PR: высокий общий балл не гарантирует такую же пользу именно в вашем проекте.

Понять по жизни больше помогают тёплые мысли и мудрые слова — заходи, если хочется тишины и смысла.

#GitHub #ReviewBench #LLM