[2/2] How tech companies measure the impact of AI on software development (Рубрика #AI)

Продолжая пост про измерение влияние AI на разработку хочется поделиться примером из Dropbox, где ~90% инженеров регулярно пользуются AI-помощниками (по индустрии ~50%). Там измеряют активных пользователей, CSAT, экономию времени и расходы на ИИ, а затем накладывают эти данные на core-метрики: change fail percentage (CFR), throughput и др. (заметим, что CFR и throughput - это контр-балансирующие метрики). В итоге AI-пользователи доставляют на ~20% больше кода в неделю, при этом качество не падает (сбоев даже меньше). Это признак того, что массовое внедрение ИИ реально повышает эффективность, а не просто активность.

Компании также сравнивают показатели у тех, кто пользуется ИИ, и тех, кто нет, и наблюдают изменения со временем. Такой анализ возможен только при наличии базовых данных до внедрения ИИ, но он ценен: так можно проверять гипотезы о влиянии ИИ на реальных цифрах. Важно не упирать только на скорость, забивая на качество - важно, чтобы рост частоты релизов/PR не сопровождался увеличением багов или откатов. Для выявления скрытого негативного эффекта (ухудшение maintainability, недовольство команды) проводите регулярные опросы Developer Experience.

Из размышлений авторов вытекают практические рекомендации:
1.Сформулируйте ключевые метрики продуктивности (качество и скорость) и зафиксируйте базовый уровень до внедрения ИИ. Без этого непонятно, улучшает ли ИИ то, что нужно.
2. Отслеживайте использование ИИ, но не путайте активность с результатом. Важно не количество сгенерированного кода, а влияние на качество, скорость и комфорт работы
3. Балансируйте скорость и надёжность. Ускорение работы не должно приводить к росту брака - следите сразу за метриками скорости и качества
4. Учитывайте опыт команды. Наряду с логами и другими системными метриками регулярно собирайте обратную связь разработчиков (опросы DevEx, CSAT) - так вы не пропустите проблемы, незаметные в одних только цифрах.
5. Не карайте метриками. Донесите, что показатели ИИ нужны для улучшения процессов, а не для оценки персонала. Иначе подорвёте доверие и получите искажённые данные.
6. Культивируйте эксперименты. Пробуйте разные инструменты на небольших проектах, сравнивайте, где эффект максимален. Поощряйте обмен знаниями – обсуждайте удачные и провальные кейсы, делитесь находками и предупреждайте об ограничениях инструментов
7. Держите в фокусе ROI и риски. Отслеживайте, где ИИ даёт наибольший эффект и оправдывает вложения. Ограничьте применение ИИ в критичных зонах (данные пользователей, безопасность) до появления уверенности и нужных контролей

#AI #ML #PlatformEngineering #Software #Architecture #Processes #DevEx #Devops

[1/3] Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce (Рубрика #AI)

Прочитал свежее и интересное исследование про будущее работы с учетом появления AI агентов (июнь 2025 года). Данное исследование проведено группой ученых Стэнфордского университета - в частности, исследователями из Института человеко-ориентированного ИИ (HAI) и Лаборатории цифровой экономики Стэнфорда. В состав авторов входят молодые исследователи (Йидзя Шао, Хумишка Зоуп, Ючэн Цзян, Цзясин Пэй, Дэвид Нгуен) под руководством признанных экспертов: профессор компьютерных наук Дии Йэн (Diyi Yang) и экономист Эрик Бриньолфссон (Erik Brynjolfsson). У Эрика есть научно-популярная книга “Machine, Platform, Crowd” 2017 года, о которой я уже рассказывал. Также я недавно разбирал похожую статью от Erik Brynjolfsson, Bharat Chandar и Ruyu Chen про трудоустройство "Canaries in the Coal Mine? Six Facts about the Recent Employment Effects of Artificial Intelligence".

И теперь, когда ясно, что исследование от уважаемых людей, стоит рассказать в чем основная мысль авторов. Они хотели понять, а чего именно хотят сами работники от внедрения ИИ на рабочих местах, и насколько современные возможности AI-агентов соответствуют этим желаниям. Это желание напомнило мне whitepaper "What Do Developers Want From AI?" от ребят из Google, который я разбирал раньше. Но в этом исследовании вопрос поставлен примерно так: какие задачи своей работы люди хотели бы автоматизировать с помощью AI-агентов или, наоборот, предпочли бы оставить под человеческим контролем, и совпадает ли это с тем, что текущие технологии вообще способны автоматизировать. Плюс исследователей интересовало то, как интеграция AI-агентов может повлиять на структуру навыков и ролей в будущем.

Для ответа на этот вопрос авторы разработали отдельную методологию, завязанную на опросы работников и экспертов. Они опросили 1 500 сотрудников из 104 различных профессий по всей США. Вопросы касались конкретных рабочих задач (взятых из официальной базы задач O*NET Министерства труда США), которые каждый респондент реально выполняет на своей работе. Работников просили указать, хотят ли они, чтобы AI-агент полностью автоматизировал выполнение каждой такой задачи, лишь помогал (дополнял человека) или же предпочли бы не использовать ИИ для данной задачи вовсе. Для более глубоких ответов использовались аудио-интервью (голосовые комментарии) и 5-балльная шкала Human Agency Scale (HAS), отражающая уровень участия человека - от H1 (полностью автономный ИИ, без участия человека) до H5 (полностью ручное выполнение, ИИ только как инструмент). Этот новый показатель HAS позволил количественно оценить предпочтительную степень участия человека в разных заданиях, а не только бинарно "автоматизировать или нет".

Отдельно авторы опросили 52 экспертов по ИИ (разработчиков AI-агентов) для оценки текущей технической реализуемости автоматизации тех же задач. Эксперты оценивали, насколько современные системы ИИ (на начало 2025 г.) способны выполнять каждую из 844 рассмотренных рабочих задач. Такой двойной сбор данных - от работников и от экспертов - лег в основу базы WORKBank (AI Agent Worker Outlook & Readiness Knowledge Bank). WORKBank объединил предпочтения работников и оценки возможностей ИИ по широкому спектру задач (844 задачи, 104 профессий).

Используя собранные данные, исследователи построили "ландшафт желаний vs. возможностей", распределив задачи по четырем зонам в зависимости от того, хотят ли люди их автоматизации и может ли ИИ их выполнить (вспоминается тост "Так выпьем же за то, чтобы наши желания совпадали с нашими возможностями"). Также была проанализирована текстовая расшифровка аудиоответов работников (тематика опасений и надежд) с помощью тематического моделирования, и выполнено сопоставление задач с требуемыми навыками и уровнем заработной платы, чтобы выявить смещение значимости навыков в связи с ИИ.

Продолжение с разбором результатов исследования в следующем посте.

#AI #Economics #ML #Work

[2/3] Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce (Рубрика #AI)

Продолжая рассказ про исследование, поделюсь найденными результатами.

Положительное отношение к автоматизации рутины
Вопреки распространенным страхам, значительная доля работников хочет передать ИИ рутинные и низкоценные задачи. По опросу, для 46,1% всех рассматриваемых задач респонденты дали позитивную оценку возможности автоматизации (выше нейтральной на 5-балльной шкале). Причем перед ответом людей просили задуматься о риске потери работы и о том, нравится ли им выполняемая задача - но даже с учетом этого почти половина задач желанна для автоматизации по следующим причинам
- Освободить время для более важной работы" (отметили ~69% сторонников автоматизации)
- Избавиться от рутины (~47%)
- Улучшить качества результата с помощью ИИ (~46%)
- Избежать стресса (~25%)

Опасения и зоны неприятия
Вместе с тем, опрос подтвердил наличие серьезных опасений работников относительно ИИ. Наиболее распространены
- Недоверие к качеству решений AI (упомянули ~45% – сомнения в точности, надежности алгоритмов)
- Страх потери работы (23%)
- Отсутствие человеческого подхода (16%)
Эти страхи особенно сильны в творческих и гуманитарных сферах: например, в секторе «Искусство, дизайн, медиа» лишь 17% задач получили позитивную оценку автоматизации

Четыре зоны соответствия желаний и возможностей
Сопоставив желание работников с оценками экспертов, авторы разделили все задачи на 4 категории
1. "Зеленый свет" - задачи, которые люди готовы отдать ИИ и для которых уже есть технические возможности. Такие задачи - первые кандидаты на внедрение AI, обещающие наибольший выигрыш в продуктивности.
2. "Красный свет" - задачи, которые ИИ умеет выполнять, но люди не хотят автоматизировать. Здесь потенциальное внедрение ИИ может встретить сопротивление или иметь негативные соц. последствия, поэтому требуется осторожность
3. Зона R&D - задачи, которые работники очень хотели бы автоматизировать, но нынешние AI-модели с ними не справляются. Эти направления – перспективные цели для дальнейших разработок ИИ, чтобы удовлетворить явный запрос пользователей
4. "Низкий приоритет" - задачи с низким желанием автоматизации и низкой реализуемостью ИИ; ими можно пренебречь в ближайшей перспективе.

Анализ показал значительные несоответствия: порядка 41% задач попали либо в «красную» зону, либо в «низкий приоритет», то есть значительная часть текущих усилий по внедрению AI либо направлена не туда, где этого хотят люди, либо пытается автоматизировать то, что пока не по силам технологиям. Например, оказалось, что стартапы из акселератора Y Combinator часто нацелены на задачи из «красной» или малоприоритетной зон, тогда как многие желанные для людей области (зелёная зона и R&D) остаются недоинвестированными. Этот вывод подчеркивает разрыв между интересами разработчиков/инвесторов и потребностями работников, а также указывает, куда стоит перенаправить усилия - на задачи зоны “Green Light” и R&D, где запрос высок, а технологий пока не хватает.

Предпочтение сотрудничества, а не полной замены
Большинство работников предпочитают не полную автоматизацию, а партнерство с ИИ. По введенной шкале участия человека (HAS) наиболее распространенный идеал - уровень H3 (равноправное партнерство): в среднем 45,2% опрошенных хотели бы работать в тандеме с AI-агентом как с равным “напарником”. Еще ~35,6% предпочитают модель H4 – то есть ИИ как ассистент под контролем человека (человек принимает ключевые решения). Таким образом, совокупно ~80% респондентов выступают за сохранение существенной роли человека при внедрении ИИ. Лишь малая доля работников (около 19%) готовы к почти полной автономии AI (уровни H1–H2) либо, наоборот, к совсем минимальному его использованию (H5). Это свидетельствует о ясном нежелании полностью передавать работу машинам: люди хотят, чтобы контроль и критические решения оставались за ними.

Окончание в следующем посте.

#AI #Economics #ML #Work

[3/3] Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce (Рубрика #AI)

Заканчивая рассказ (1 и 2) про исследование, поделюсь финальными мыслями.

Исследование также выявило важную тенденцию: по мере внедрения AI-агентов меняется набор ключевых навыков, востребованных у человека. Человеку будущего потребуется меньше узкоаналитических умений, но больше социальных и управленческих компетенций. Ведь аналитическую работу заберет на себя ИИ.

Отдельно авторы обсудили ограничения своего исследования:
- Авторы подчеркивают, что их результаты - это “срез” начала 2025 года, и прямолинейно проецировать их на далекое будущее нельзя без учета развития технологий. В частности, база WORKBank охватывает существующие задачи из O*NET; но в будущем появятся новые виды задач и профессий по мере интеграции AI, которые сейчас просто не учтены
- Респонденты могли не до конца представлять возможности новейших AI-систем (авторы отмечают, что многие люди пока мало знают о границах и потенциале ИИ), что могло повлиять на их ответы
- Опрос охватил 104 компьютеризированные профессии - это широкий спектр, но не все профессии экономики; исключены, например, рабочие специальности, где ИИ-агенты пока не применяются.
Авторы прогнозируют, что ландшафт предпочтений и возможностей будет смещаться: по их словам, «AI Agent WORKBank отражает текущее состояние генеративного ИИ в начале 2025 года, и по мере эволюции технологий картина выполнимых и желанных для агентов задач будет меняться. Будущие итерации этого аудита необходимы для отслеживания долгосрочных трендов».

Также исследователи дают несколько предсказаний и рекомендаций
1. Они ожидают снижения спроса на чисто аналитические, монотонно-информационные навыки (там, где ИИ уже доказал эффективность) и увеличения роли навыков, требующих взаимодействия между людьми. Этот прогноз подкрепляется их находкой о смещении высокооплачиваемых навыков и фактически рисует образ рынка труда, где в цене будут социальный интеллект, умение управлять и обучать, а не только умение работать с информацией
2. Авторы призывают к активным мерам по переподготовке работников. Поскольку AI-агенты способны изменить структуру спроса на навыки, важно уже сейчас разрабатывать программы рескиллинга и апскиллинга - переобучения сотрудников под новые компетенции
3. Исследование указывает на необходимость более человеко-ориентированной стратегии внедрения ИИ. Организациям и разработчикам рекомендуется учитывать желания работников при решении, что автоматизировать - то есть AI-системы будущего должны разрабатываться в тандеме с пользователями, чтобы они вызывали доверие, принимались сотрудниками и повышали эффективность без негативных социальных последствий
4. Бриньолфссон подчеркивает, что особое внимание следует уделить зонам “R&D Opportunity” - тем задачам, которые люди хотят автоматизировать, но техника пока не умеет. Повышение интенсивности исследований именно в этих областях позволит создать AI-инструменты, приносящие максимальную пользу и востребованные на рабочих местах, тем самым лучше подготовив экономику к будущему

В целом, авторы видят будущее труда не как полную роботизацию, а как эволюцию ролей, где человек и умные агенты работают совместно, и призывают управлять этой эволюцией ответственно, исходя из потребностей людей.

P.S.
Выводы авторов про совместную работу напоминают идеи из whitepaper "Rethinking Software Engineering in the Foundation Model Era: From Task-Driven AI Copilots to Goal-Driven AI Pair Programmers", про который я рассказывал раньше.

#AI #Economics #ML #Work

[2/2] The Technological Republic: Hard Power, Soft Belief, and the Future of the West (Технологическая республика. Жесткая сила, мягкая вера и будущее Запада) (Рубрика #Economics)

Продолжая рассказ про книгу, расскажу про основные идеи подробнее

1. Кремниевая долина потеряла ориентир общественного блага. Авторы начинают с резкой критики современной Силиконовой долины, утверждая, что за последние десятилетия технократическая элита изменила своим бывшим идеалам. Вместо решения больших задач человечества или укрепления национального процветания, лучшие инженерные умы занялись обслуживанием тривиальных потребностей рынка. Авторы говорят, что IT-гиганты ныне тратят колоссальные ресурсы не на прорывные инновации ради общего блага, а на приложения для комфорта избалованных потребителей. Забавно, что не требуется даже думать, чтобы можно было назвать конкретные компании, которые критикуют авторы.

2. Урок истории: союз технологий и государства творил великие дела. В противопоставление нынешней ситуации авторы приводят золотой век техно-прорывов XX века, когда наука, бизнес и государство в США действовали заодно (Манхэттенский проект, проект Apollo с высадкой человека на Луну). Эти программы объединили тысячи лучших учёных и инженеров, были щедро профинансированы государством и привели к колоссальным достижениям, изменившим ход истории. Авторы подчёркивают, что ранние инновации Кремниевой долины рождались похожим образом. Контраст с сегодняшним днем разителен: вместо “больших замыслов” - культура стартапов, устремленных к быстрому IPO; вместо сотрудничества с государством - гордое противопоставление ему или бегство от регулирования. Кстати, современный проект "Stargate" в этом плане выделяется (см. документалку, о которой я уже рассказывал)

3. “Мягкая вера” Запада: утрата общих убеждений и целей. Важнейшее понятие, которое вводят Карп и Замиска, - это кризис веры и идейной воли на Западе, то, что они называют "soft belief". С их точки зрения, у западных элит (политиков, академиков, гендиректоров) притупилась способность формулировать настоящие убеждения и отстаивать их публично. В публичной сфере царит дух самосохранения и страха кого-либо обидеть, из-за чего лидеры предпочитают говорить ни о чем, прятаться за корпоративными лозунгами, лишь бы избежать шквала критики в соцсетях. Этот интеллектуальный релятивизм ведет к тому, что компании, реально определяющие будущее (бигтехи), хранят многозначительное молчание о том, куда движется мир. Авторы доходят до идеи о “распаде национальной идентичности”, которая когда-то сплачивала изобретателей и инженеров вокруг общей цели, а теперь растворилась в космополитичном мире потребительства

4. Необходим пересмотр либерального консенсуса. Вследствие вышеописанного авторы считают, что сложившийся после Холодной войны либеральный консенсус – вера в автоматическое торжество свободного рынка, глобализации и толерантности - нуждается в переосмыслении. Карп и Замиска вовсе не призывают отказаться от демократических свобод, но считают, что Западу пора избавиться от наивности и вернуть стратегическое мышление времен противостояния с тоталитаризмом. Видно, что авторы противопоставляют себя Китаю и другим автократиям.

5. Технологическая республика: как технологии могут спасти, а не убить демократию. Центральный образ книги - “технологическая республика” и аллюзия на платоновскую «Республику» (не случайна). Речь о политическом порядке, крайне необходимом сегодня Америке и всему Западу, понимаемому как сообщество технологически и морально развитых демократий под лидерством США. По замыслу авторов, такая республика смогла бы противостоять вызовам XXI века, опираясь одновременно на “жесткую силу” (военную и технологическую мощь) и “мягкую веру” (убежденность, ценности и интеллектуальную смелость). По сути, “технологическая республика” - это призыв к возрождению просвещенного патриотизма среди технарей, ученых, предпринимателей. Их книга - это манифест уверенности в том, что Запад еще способен обновиться и победить, если обретет волю и смысл.

#History #Economics #Future