Rethinking Software Engineering in the Foundation Model Era: From Task-Driven AI Copilots to Goal-Driven AI Pair Programmers (Рубрика #AI)

Прочитал интересный и короткий whitepaper про изменения в разработке софта, готовясь к выступлению "AI в SDLC: от ассистентов к агентам". Если кратко, то это статья далекого 2024 года (а для AI прошлогодняя статья - это реально далеко), в которой авторы A. E. Hassan, G.A. Oliva, D. Lin, B. Chen, Z. M. Jiang предлагают уйти от task‑driven copilot‑инструментов к goal‑driven AI‑напарнику, который понимает цели разработки, помогает с архитектурой, кодом и проверкой результата.

Если присмотреться, то ключевые моменты такие
- Goal‑driven AI pair programmer, где ИИ не автодополнение, а партнёр по достижению цели (фичи, баг-фикса, миграции)
- Инженерный процесс EDD (evaluation‑driven delivery), который аналогичен TDD (test-driven development), но фокус на постоянной проверке прогресса к цели на основе evals
- В основе мультиагентная схема из четырех агентов:
-- Агент целей - помогает выяснить цели инженера, общаясь с ним и собирая информацию (работает как аналитик)
-- Агент архитектуры - умеет дизайнить под выясненные требования, знает архитектурные паттерны и может использовать ATAM (architecture tradeoff analysis method) или его аналоги
-- Агент кода - рабочая лошадка, что умеет писать хороший код (и не только добавлять, но и рефакторить и удалять мертвый код)
-- Goal delivery агент - агент, что отвечает за интеграцию работы всех остальных агентов для доведения проекта до успешного завершения. Он отслеживает выполнение конечных требований: превращение требований в тесты, актуальность тестов при изменении требований, и финальное прохождение всех тестов. Этот агент, помимо прочего, накопливает историю выполненных целей и прогресса, что затем может использоваться для наставничества: по мере работы он отмечает, какие навыки приобретает человек, где делает ошибки (связано с задачей обучения разработчика, см. Challenge 4). (Проще говоря, агент контролирует, чтобы всё задуманное действительно реализовано и проверено тестами, и фиксирует уроки для будущего).

Для успешной работы такой системы есть следующие вызовы
-Выравнивание целей человека и ИИ (минимум уточняющих вопросов, максимум понимания контекста) - тут мы видим пресловутый вопрос alignment
- Общение на естественном языке вместо “промпт‑инжиниринга” (лучшие промпты машины пишут сами себе)
- Доступные и умные code‑LLM (качество понимания проекта при умеренных ресурсах)
- Роль ИИ‑наставника: адаптивное обучение разработчика “в паре” (AI не только исполнитель, но и ментор для инженера)

В своем исследовании авторы опираются на следующие факты
- Накопленный опыт использования GitHub Copilot и аналогов в индустрии, включая выявленные проблемы взаимодействия человека с AI
- Предыдущие попытки автоматизировать разработку с помощью мультиагентных систем (ChatDev, MetaGPT, Devin и др.)
- Проверенные временем методологии разработки (TDD, парное программирование)
- Фундаментальные теории из образования (эффект наставничества по Блуму) и психологии (Theory of Mind) для обоснования социально-обучающего аспекта ИИ

Статья была опубликована как препринт на arXiv в апреле 2024 года и сразу привлекла внимание в сообществе. Google Scholar индексирует эту работу; уже в 2024–2025 годах появились ссылки на нее в ряде новых исследований. Стоит отметить, что сами авторы продолжили развивать эту тему: в октябре 2024 они выпустили расширенный препринт “Towards AI-Native Software Engineering (SE 3.0): A Vision and a Challenge Roadmap”, фактически развивающий идеи этой статьи. В нем они ввели терминологию “Software Engineering 3.0” и более подробно описали план исследований на ближайшие годы.

Если вам нравится эта тема и интересно общее состояние дел о том, как AI влияет на инженерную культуру, то предлагаю пройти опрос от Т-Банка на эту тему. О чем этот опрос и почему его результаты будут интересными я уже рассказывал раньше.

#AI #Software #Architecture #Agents #Leadership #ML #SystemDesign

AI agents in 2025: Expectations vs. reality (Рубрика #AI)

Когда изучал информацию про успехи AI Agents наткнулся на статью полугодовой давности от IBM. В марте 2025 года IBM собрали четверых экспертов, чтобы обсудить с ними насколько реальна революция AI агентов. Среди экспертов были
- Maryam Ashoori, PhD: Director of Product Management, IBM® watsonx.ai™ 
- Marina Danilevsky: Senior Research Scientist, Language Technologies 
- Vyoma Gajjar: AI Technical Solutions Architect 
- Chris Hay: Distinguished Engineer 

Их позиции в этой статье выглядели примерно так
1. Ашоори: Сегодняшние «агенты» - это LLM с базовым планированием и function calling. Настоящий агент должен автономно рассуждать и планировать.
2. Данилевски (самая скептичная): «Я до сих пор не понимаю, чем это отличается от обычной оркестрации. Вы просто переименовали оркестрацию в агенты, потому что это модное слово». Данилевски опирается на опыт программирования - оркестрация существует давно. Ашоори разделяет текущие возможности и теоретический потенциал.
3. Хэй (самый оптимистичный): Технологический фундамент уже готов:
-- Лучшие, быстрые, компактные модели
-- Chain-of-thought training
-- Расширенные контекстные окна
-- Function calling
На чем основано: Хэй анализирует техническое развитие моделей за 12-18 месяцев и видит качественный скачок в возможностях.
4. Гаджар: «Мы видим ранние проблески, но для сложных решений нужны прорывы в контекстном мышлении и edge cases».

Среди экспертов разгорелись споры по следующим темам
1. Оркестрация vs единый агент
Хэй: Будет маятниковое движение - сначала multi-agent системы с оркестратором, потом переход к «богоподобным» единым агентам, затем снова к коллаборации.
- Ашоори: Это архитектурное решение, зависит от use case. Не всегда нужен мета-оркестратор.
2. Enterprise readiness
- Хэй: «Большинство организаций не готовы к агентам. Интересная работа будет в экспозиции API ваших enterprise-систем». На чем основано: Понимание текущего состояния enterprise-архитектур и требований интеграции.
3. Проблемы безопасности
- Ашоори: «Что, если агент подключится к датасету и удалит кучу чувствительных записей?»
- Данилевски: «Технология не думает. Она не может быть ответственной. Масштаб риска выше - технология может сделать больше за меньшее время незаметно».
- Гаджар предлагает в качестве решений: строгое тестирование в sandbox, механизмы rollback, audit logs.
4. Human-in-the-loop vs замещение
- Данилевски: Агенты будут аугментировать людей - «человек должен постоянно присутствовать и принимать финальные решения».
- Хэй: «Есть реальный риск, что при неправильной реализации люди будут дополнять AI, а не наоборот».

На чем основаны прогнозы экспертов
- Технический анализ: Хэй смотрит на прогресс в модельных capabilities
- Практический опыт: Данилевски основывается на опыте с текущими системами
- Enterprise research: Ашоори опирается на исследования поведения разработчиков
- Архитектурное понимание: Гаджар анализирует требования к production-системам

Выводы для инженеров
- Текущие «агенты» - это upgraded LLM с function calling. До настоящей автономии еще далеко, но базовые кейсы уже работают.
- Ценность будет у тех, кто организует свои данные для агентных workflow. Проблема не в моделях, а в enterprise-readiness.
- Transparency, traceability, rollback mechanisms - это не опция, а must-have. Один неконтролируемый агент может удалить критические данные.
- «Не становитесь молотком в поисках гвоздей» - сначала определите ROI, потом внедряйте агенты.

Главное предсказание авторов в том, что 2025 действительно станет годом экспериментов с агентами, но революцию стоит ожидать позже. Готовьте почву сейчас, но держите ожидания реалистичными. Пока кажется, что он сбывается:)

#AI #Software #Architecture #Agents #Leadership #ML #SystemDesign

[2/2] How tech companies measure the impact of AI on software development (Рубрика #AI)

Продолжая пост про измерение влияние AI на разработку хочется поделиться примером из Dropbox, где ~90% инженеров регулярно пользуются AI-помощниками (по индустрии ~50%). Там измеряют активных пользователей, CSAT, экономию времени и расходы на ИИ, а затем накладывают эти данные на core-метрики: change fail percentage (CFR), throughput и др. (заметим, что CFR и throughput - это контр-балансирующие метрики). В итоге AI-пользователи доставляют на ~20% больше кода в неделю, при этом качество не падает (сбоев даже меньше). Это признак того, что массовое внедрение ИИ реально повышает эффективность, а не просто активность.

Компании также сравнивают показатели у тех, кто пользуется ИИ, и тех, кто нет, и наблюдают изменения со временем. Такой анализ возможен только при наличии базовых данных до внедрения ИИ, но он ценен: так можно проверять гипотезы о влиянии ИИ на реальных цифрах. Важно не упирать только на скорость, забивая на качество - важно, чтобы рост частоты релизов/PR не сопровождался увеличением багов или откатов. Для выявления скрытого негативного эффекта (ухудшение maintainability, недовольство команды) проводите регулярные опросы Developer Experience.

Из размышлений авторов вытекают практические рекомендации:
1.Сформулируйте ключевые метрики продуктивности (качество и скорость) и зафиксируйте базовый уровень до внедрения ИИ. Без этого непонятно, улучшает ли ИИ то, что нужно.
2. Отслеживайте использование ИИ, но не путайте активность с результатом. Важно не количество сгенерированного кода, а влияние на качество, скорость и комфорт работы
3. Балансируйте скорость и надёжность. Ускорение работы не должно приводить к росту брака - следите сразу за метриками скорости и качества
4. Учитывайте опыт команды. Наряду с логами и другими системными метриками регулярно собирайте обратную связь разработчиков (опросы DevEx, CSAT) - так вы не пропустите проблемы, незаметные в одних только цифрах.
5. Не карайте метриками. Донесите, что показатели ИИ нужны для улучшения процессов, а не для оценки персонала. Иначе подорвёте доверие и получите искажённые данные.
6. Культивируйте эксперименты. Пробуйте разные инструменты на небольших проектах, сравнивайте, где эффект максимален. Поощряйте обмен знаниями – обсуждайте удачные и провальные кейсы, делитесь находками и предупреждайте об ограничениях инструментов
7. Держите в фокусе ROI и риски. Отслеживайте, где ИИ даёт наибольший эффект и оправдывает вложения. Ограничьте применение ИИ в критичных зонах (данные пользователей, безопасность) до появления уверенности и нужных контролей

#AI #ML #PlatformEngineering #Software #Architecture #Processes #DevEx #Devops

[1/3] Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce (Рубрика #AI)

Прочитал свежее и интересное исследование про будущее работы с учетом появления AI агентов (июнь 2025 года). Данное исследование проведено группой ученых Стэнфордского университета - в частности, исследователями из Института человеко-ориентированного ИИ (HAI) и Лаборатории цифровой экономики Стэнфорда. В состав авторов входят молодые исследователи (Йидзя Шао, Хумишка Зоуп, Ючэн Цзян, Цзясин Пэй, Дэвид Нгуен) под руководством признанных экспертов: профессор компьютерных наук Дии Йэн (Diyi Yang) и экономист Эрик Бриньолфссон (Erik Brynjolfsson). У Эрика есть научно-популярная книга “Machine, Platform, Crowd” 2017 года, о которой я уже рассказывал. Также я недавно разбирал похожую статью от Erik Brynjolfsson, Bharat Chandar и Ruyu Chen про трудоустройство "Canaries in the Coal Mine? Six Facts about the Recent Employment Effects of Artificial Intelligence".

И теперь, когда ясно, что исследование от уважаемых людей, стоит рассказать в чем основная мысль авторов. Они хотели понять, а чего именно хотят сами работники от внедрения ИИ на рабочих местах, и насколько современные возможности AI-агентов соответствуют этим желаниям. Это желание напомнило мне whitepaper "What Do Developers Want From AI?" от ребят из Google, который я разбирал раньше. Но в этом исследовании вопрос поставлен примерно так: какие задачи своей работы люди хотели бы автоматизировать с помощью AI-агентов или, наоборот, предпочли бы оставить под человеческим контролем, и совпадает ли это с тем, что текущие технологии вообще способны автоматизировать. Плюс исследователей интересовало то, как интеграция AI-агентов может повлиять на структуру навыков и ролей в будущем.

Для ответа на этот вопрос авторы разработали отдельную методологию, завязанную на опросы работников и экспертов. Они опросили 1 500 сотрудников из 104 различных профессий по всей США. Вопросы касались конкретных рабочих задач (взятых из официальной базы задач O*NET Министерства труда США), которые каждый респондент реально выполняет на своей работе. Работников просили указать, хотят ли они, чтобы AI-агент полностью автоматизировал выполнение каждой такой задачи, лишь помогал (дополнял человека) или же предпочли бы не использовать ИИ для данной задачи вовсе. Для более глубоких ответов использовались аудио-интервью (голосовые комментарии) и 5-балльная шкала Human Agency Scale (HAS), отражающая уровень участия человека - от H1 (полностью автономный ИИ, без участия человека) до H5 (полностью ручное выполнение, ИИ только как инструмент). Этот новый показатель HAS позволил количественно оценить предпочтительную степень участия человека в разных заданиях, а не только бинарно "автоматизировать или нет".

Отдельно авторы опросили 52 экспертов по ИИ (разработчиков AI-агентов) для оценки текущей технической реализуемости автоматизации тех же задач. Эксперты оценивали, насколько современные системы ИИ (на начало 2025 г.) способны выполнять каждую из 844 рассмотренных рабочих задач. Такой двойной сбор данных - от работников и от экспертов - лег в основу базы WORKBank (AI Agent Worker Outlook & Readiness Knowledge Bank). WORKBank объединил предпочтения работников и оценки возможностей ИИ по широкому спектру задач (844 задачи, 104 профессий).

Используя собранные данные, исследователи построили "ландшафт желаний vs. возможностей", распределив задачи по четырем зонам в зависимости от того, хотят ли люди их автоматизации и может ли ИИ их выполнить (вспоминается тост "Так выпьем же за то, чтобы наши желания совпадали с нашими возможностями"). Также была проанализирована текстовая расшифровка аудиоответов работников (тематика опасений и надежд) с помощью тематического моделирования, и выполнено сопоставление задач с требуемыми навыками и уровнем заработной платы, чтобы выявить смещение значимости навыков в связи с ИИ.

Продолжение с разбором результатов исследования в следующем посте.

#AI #Economics #ML #Work

[2/3] Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce (Рубрика #AI)

Продолжая рассказ про исследование, поделюсь найденными результатами.

Положительное отношение к автоматизации рутины
Вопреки распространенным страхам, значительная доля работников хочет передать ИИ рутинные и низкоценные задачи. По опросу, для 46,1% всех рассматриваемых задач респонденты дали позитивную оценку возможности автоматизации (выше нейтральной на 5-балльной шкале). Причем перед ответом людей просили задуматься о риске потери работы и о том, нравится ли им выполняемая задача - но даже с учетом этого почти половина задач желанна для автоматизации по следующим причинам
- Освободить время для более важной работы" (отметили ~69% сторонников автоматизации)
- Избавиться от рутины (~47%)
- Улучшить качества результата с помощью ИИ (~46%)
- Избежать стресса (~25%)

Опасения и зоны неприятия
Вместе с тем, опрос подтвердил наличие серьезных опасений работников относительно ИИ. Наиболее распространены
- Недоверие к качеству решений AI (упомянули ~45% – сомнения в точности, надежности алгоритмов)
- Страх потери работы (23%)
- Отсутствие человеческого подхода (16%)
Эти страхи особенно сильны в творческих и гуманитарных сферах: например, в секторе «Искусство, дизайн, медиа» лишь 17% задач получили позитивную оценку автоматизации

Четыре зоны соответствия желаний и возможностей
Сопоставив желание работников с оценками экспертов, авторы разделили все задачи на 4 категории
1. "Зеленый свет" - задачи, которые люди готовы отдать ИИ и для которых уже есть технические возможности. Такие задачи - первые кандидаты на внедрение AI, обещающие наибольший выигрыш в продуктивности.
2. "Красный свет" - задачи, которые ИИ умеет выполнять, но люди не хотят автоматизировать. Здесь потенциальное внедрение ИИ может встретить сопротивление или иметь негативные соц. последствия, поэтому требуется осторожность
3. Зона R&D - задачи, которые работники очень хотели бы автоматизировать, но нынешние AI-модели с ними не справляются. Эти направления – перспективные цели для дальнейших разработок ИИ, чтобы удовлетворить явный запрос пользователей
4. "Низкий приоритет" - задачи с низким желанием автоматизации и низкой реализуемостью ИИ; ими можно пренебречь в ближайшей перспективе.

Анализ показал значительные несоответствия: порядка 41% задач попали либо в «красную» зону, либо в «низкий приоритет», то есть значительная часть текущих усилий по внедрению AI либо направлена не туда, где этого хотят люди, либо пытается автоматизировать то, что пока не по силам технологиям. Например, оказалось, что стартапы из акселератора Y Combinator часто нацелены на задачи из «красной» или малоприоритетной зон, тогда как многие желанные для людей области (зелёная зона и R&D) остаются недоинвестированными. Этот вывод подчеркивает разрыв между интересами разработчиков/инвесторов и потребностями работников, а также указывает, куда стоит перенаправить усилия - на задачи зоны “Green Light” и R&D, где запрос высок, а технологий пока не хватает.

Предпочтение сотрудничества, а не полной замены
Большинство работников предпочитают не полную автоматизацию, а партнерство с ИИ. По введенной шкале участия человека (HAS) наиболее распространенный идеал - уровень H3 (равноправное партнерство): в среднем 45,2% опрошенных хотели бы работать в тандеме с AI-агентом как с равным “напарником”. Еще ~35,6% предпочитают модель H4 – то есть ИИ как ассистент под контролем человека (человек принимает ключевые решения). Таким образом, совокупно ~80% респондентов выступают за сохранение существенной роли человека при внедрении ИИ. Лишь малая доля работников (около 19%) готовы к почти полной автономии AI (уровни H1–H2) либо, наоборот, к совсем минимальному его использованию (H5). Это свидетельствует о ясном нежелании полностью передавать работу машинам: люди хотят, чтобы контроль и критические решения оставались за ними.

Окончание в следующем посте.

#AI #Economics #ML #Work

[3/3] Future of Work with AI Agents: Auditing Automation and Augmentation Potential across the U.S. Workforce (Рубрика #AI)

Заканчивая рассказ (1 и 2) про исследование, поделюсь финальными мыслями.

Исследование также выявило важную тенденцию: по мере внедрения AI-агентов меняется набор ключевых навыков, востребованных у человека. Человеку будущего потребуется меньше узкоаналитических умений, но больше социальных и управленческих компетенций. Ведь аналитическую работу заберет на себя ИИ.

Отдельно авторы обсудили ограничения своего исследования:
- Авторы подчеркивают, что их результаты - это “срез” начала 2025 года, и прямолинейно проецировать их на далекое будущее нельзя без учета развития технологий. В частности, база WORKBank охватывает существующие задачи из O*NET; но в будущем появятся новые виды задач и профессий по мере интеграции AI, которые сейчас просто не учтены
- Респонденты могли не до конца представлять возможности новейших AI-систем (авторы отмечают, что многие люди пока мало знают о границах и потенциале ИИ), что могло повлиять на их ответы
- Опрос охватил 104 компьютеризированные профессии - это широкий спектр, но не все профессии экономики; исключены, например, рабочие специальности, где ИИ-агенты пока не применяются.
Авторы прогнозируют, что ландшафт предпочтений и возможностей будет смещаться: по их словам, «AI Agent WORKBank отражает текущее состояние генеративного ИИ в начале 2025 года, и по мере эволюции технологий картина выполнимых и желанных для агентов задач будет меняться. Будущие итерации этого аудита необходимы для отслеживания долгосрочных трендов».

Также исследователи дают несколько предсказаний и рекомендаций
1. Они ожидают снижения спроса на чисто аналитические, монотонно-информационные навыки (там, где ИИ уже доказал эффективность) и увеличения роли навыков, требующих взаимодействия между людьми. Этот прогноз подкрепляется их находкой о смещении высокооплачиваемых навыков и фактически рисует образ рынка труда, где в цене будут социальный интеллект, умение управлять и обучать, а не только умение работать с информацией
2. Авторы призывают к активным мерам по переподготовке работников. Поскольку AI-агенты способны изменить структуру спроса на навыки, важно уже сейчас разрабатывать программы рескиллинга и апскиллинга - переобучения сотрудников под новые компетенции
3. Исследование указывает на необходимость более человеко-ориентированной стратегии внедрения ИИ. Организациям и разработчикам рекомендуется учитывать желания работников при решении, что автоматизировать - то есть AI-системы будущего должны разрабатываться в тандеме с пользователями, чтобы они вызывали доверие, принимались сотрудниками и повышали эффективность без негативных социальных последствий
4. Бриньолфссон подчеркивает, что особое внимание следует уделить зонам “R&D Opportunity” - тем задачам, которые люди хотят автоматизировать, но техника пока не умеет. Повышение интенсивности исследований именно в этих областях позволит создать AI-инструменты, приносящие максимальную пользу и востребованные на рабочих местах, тем самым лучше подготовив экономику к будущему

В целом, авторы видят будущее труда не как полную роботизацию, а как эволюцию ролей, где человек и умные агенты работают совместно, и призывают управлять этой эволюцией ответственно, исходя из потребностей людей.

P.S.
Выводы авторов про совместную работу напоминают идеи из whitepaper "Rethinking Software Engineering in the Foundation Model Era: From Task-Driven AI Copilots to Goal-Driven AI Pair Programmers", про который я рассказывал раньше.

#AI #Economics #ML #Work