# Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity

METR выложил рандомизированное исследование влияния AI на скорость работы опытных разработчиков в реалистичных условиях с неожиданным результатом.

Выполнение задач с использованием AI инструментов в среднем занимает на 20% дольше.

Причем если спрашивать разработчиков, то сами они уверены, что AI ускоряет их работу на 20%, а внешние эксперты вообще ожидают ускорения порядка 40%.

Я думаю, что на текущий момент это самое реалистичое исследование влияния AI инструментов на продуктивность разработчиков:
🔹Настоящие задачи из больших open source репозиториев с высокими стандартами качества.
🔸Опытные разработчики (5 лет в среднем) знакомые с кодовой базой над которой работают.
🔹Фронтир AI инструменты на момент исследования: Claude 3.5/3.7 Sonnet и Cursor Pro.
🔸Все разработчики были обучены правильно использовать Cursor Pro.
🔹Хороший дизайн эксперимента: фиксированная метрика (время исполнения), рандомизация, статзначимость, факторный анализ.
🔸Всё проверено вдоль и поперек, чтобы убедиться, что результаты не объясняются каким-то конфаундером.
🔹Исследование не сделано компанией продающей AI тулы.

Подробнее про эксперимент. В исследовании участвовали 16 опытных open-source разработчиков (если выборка кажется маленькой, то читайте дальше, станет понятнее) работающих над большими (1м+ строк кода) и популярными (20к+ коммитов) репозиториями. Разработчики были знакомы со своими проектами, в среднем сделали в них по 1500 коммитов. Всем разработчикам выдали Cursor Pro и научили им пользоваться.

Разработчики выбирали задачу. Далее они делали прогноз сколько у них займет исполнение с AI и без. Затем монетка определяла можно ли использовать для этой задачи AI инструменты. Если задача оказывалась в AI группе, то разработчик мог использовать любые AI инструменты. Мог и не использовать, если не считал нужным. На практике большинство использовали Cursor. Разработчик делал задачу записывая свой экран. Затем создавал Pull Request и дорабатаывал его после код-ревью. Задача считалась завершенной в момент принятия PR, то есть после всех доработок, и в этот момент фиксировалась метрика: время исполнения. Всего за время эксперимента было сделано 246 задач разной сложности, из них 136 с AI.

То есть важно понимать, что рандомизация происходила по задачам, а не по разработчикам. Поэтому выборка здесь не 16 разработчиков, а 246 задач. Это всё ещё не гигантская выборка, но:
1. P-value в порядке.
2. Авторы проанализировали и разметили записи экранов, провели интервью. Словом, сделали качественное исследование. Когда результаты качественного и количественного исследования консистентны это сильный сигнал.

Результаты показывают, что AI инструменты тормозят опытных разработчиков на реальных больших проектах. Здесь каждое слово важно. Например, AI может одновременно с этим ускорять начинающих на маленьких проектах.

Моё мнение 👀: я думаю это правда. Во-первых, надо иметь серьезные основания, чтобы спорить с рандомизированным исследованием. Я искал до чего докопаться и не нашел. Во-вторых, это совпадает с моими личным опытом: я и сам записывал экран где Cursor пытается решить несложную реальную задачу, не заметил никакого ускорения. В-третьих, ускорение даже на 20% не стыкуется с реальностью. Если у нас уже два года вся разработка быстрее и дешевле на 20%, то где эффект? Я бы ожидал колоссальных изменений на рынке труда из-за сложного процента, но по факту пока ничего не произошло (недавние сокращения в бигтехах были из-за налогов на ФОТ в США).

В статье очень много интересных деталей. Например, что эффект сохраняется вне зависимости от используемого инструмента: пользуешься ты agentic mode, только TAB или вообще руками копипастишь в ChatGPT. Или что даже после 50+ часов использования Cursor не наступает никаких изменений, так что это не зависит от опыта работы с AI инструментами.

Я разберу интересные моменты в отдельных постах.

@boris_again

👮 Махинации с анализами

Кто меня давно читает уже прекрасно знает, что изменения анализов в лучшую или худшую сторону не всегда отражает реальное состояние органа

Самый яркий пример с этим креатином из поста выше. Попьете его, креатинин крови повысится. Функция почек не ухудшится

🔣Примерами махинаций являются прокапывания для снижения креатинина.

Госпитализировать бабульку, влить в нее несколько литров физраствора, разбавив кровушку, перебрать анализы и увидеть показатели получше - это просто махинация с анализами. Ритуал лечения. Иллюзия.

«Мы КТ не делаем при креатинине выше 150, а у вас 160, снизьте и возвращайтесь». От вас требуют махинацию с анализами. Очевидно, что даже если бы была «таблетка от креатинина», то на функцию почек она бы не влияла, так как просто снижала бы цифру в бланке анализов.

🔣Кетостерил может снижать мочевину - факт. Улучшает ли он этим функцию почек и почечный прогноз? Нет. Это еще один пример лечения цифры в анализах.

Терапия должна влиять на механизм заболевания и на прогноз, а не только на цифру в бумажке. Тогда она достойна в внимания.

Привожу еще один яркий и понятный пример. Гептрал реально может снижать АЛТ и АСТ. Но на печеночный прогноз не влияет.

❗️Нефропротекция может не влиять на анализы в моменте никак, а даже немножко их ухудшить. Но на горизонте 5-10 лет это может спасти вас от диализа

И я очень рад, что за годы ведения моего канала это поняли уже тысячи людей и сделали правильный выбор в своей тактике лечения, уйдя от трав, сорбентов, прокапываний, БАДов и прочих жертвоприношений своей тревожности