Measuring the impact of AI on software engineering (Рубрика #AI)

Посмотрел очередную серию подкаста "The Pragmatic Engineer", который ведет Гергели Орош (Gergely Orosz). К нему в гости пришла Лаура Тако (Laura Tacho), технический директор платформы для измерения продуктивности инженеров DX. Интересно, что мы только недавно с Женей Сергеевым, engineering director из Flo Health, разбирали в подкасте Research Insights Made Simple DX Core 4 фреймворк для измерения продуктивности, и новенький whitepaper "Measuring AI Code Assistants and Agents" тоже от платформы DX. Но если возвращаться к этому подкасту и его ключевым идеям, то вот они

1. Критика медийной шумихи вокруг ИИ
Лаура подчеркивает, что большинство медийных заголовков об ИИ крайне преувеличены и вводят в заблуждение. Они не подтверждаются реальными данными из сотен компаний, с которыми работает DX. Основные проблемы с такими новостями такие
- Упрощение сложных инженерных процессов до неузнаваемости (работа инженеров не только в написании кода)
- Смешивание показателя "принятия AI suggests" с "кодом, написанным AI"

2. Фреймворк DX AI для измерения влияния ИИ
Лаура представила фреймворк для измерения влияния AI (я его уже разбирал). В нем есть три вида параметров, которые перечислены в порядке простоты измерений
- Утилизация (Utilization) - как активно используются инструменты
- Влияние (Impact) - какое реальное воздействие на производительность
- Стоимость (Cost) - экономическая эффективность внедрения

3. Реальные данные об использовании ИИ-инструментов
Исследование DX на основе 180+ компаний выявило наиболее эффективные сценарии использования ИИ разработчиками (в порядке убывания)
- Анализ трассировок стека
- Рефакторинг существующего кода
- Генерация кода в процессе разработки
- Генерация тестов
Этот результат противоречит общепринятому мнению о том, что ИИ прежде всего полезен для генерации нового кода.

4. Кейс-стади: Booking.com
Booking.com провел масштабное внедрение ИИ-инструментов с следующими результатами:
- 65% разработчиков используют инструменты еженедельно (выше среднего по отрасли в 50%)
- 16% повышение частоты слияния пул-реквестов у активных пользователей
- 31% рост производительности инженерных команд
Инвестиции в обучение и поддержку оказались критически важными для успеха

5. Парадокс удовлетворенности разработчиков
Одно из самых неожиданных открытий исследования DORA: многие разработчики сообщают о снижении времени на meaningful задачи
Причина: ИИ ускоряет те части работы, которые разработчикам нравятся (написание кода), оставляя больше времени на рутину, встречи и административные задачи.
Кстати, дальше у меня будет целая серия постов про DORA, где я подробнее расскажу про исследования и инсайты из них

6. Влияние на архитектуру и документацию
Команды, успешно внедряющие ИИ, вносят архитектурные изменения:
- Возврат к чистым интерфейсам между сервисами
- Создание документации, ориентированной на ИИ (с примерами кода, без визуальных зависимостей)
Компании вроде Vercel и Clerk создают "AI-first" документацию, которая работает как для людей, так и для ИИ-ассистентов

7. Структурированные подходы к внедрению
Высокорегулируемые отрасли (финансы, страхование) показывают лучшие результаты благодаря структурированному подходу к внедрению ИИ.

8. Рекомендации для технических лидеров
Лаура дает следующие советы руководителям:
- Данные важнее ажиотажа - основывайтесь на фактах, а не на медийных заголовках
- Рассматривайте использование ИИ как эксперимент - оценивайте эффективность систематически
- Инвестируйте в обучение и поддержку - это критично для успешного внедрения
- Измеряйте опыт разработчиков до внедрения ИИ - это создает baseline для сравнения

9. Будущее разработки с ИИ
Лаура предсказывает, что дорожные карты (roadmaps) уходят в прошлое и команды переходят к более гибким, экспериментальным подходам для адаптации AI

Итого, Лаура вместе с Гергели очень интересно пообщались на тему влияния AI, фокусирясь на практике, а не маркетинговых заголовках:)

#AI #Software #Engineering #Management #Metrics #ML #Leadership

The Software Engineer's Guidebook (Разработчик ПО: Путеводитель по карьерной лестнице для будущих сеньоров, техлидов и стаффов)

Сегодня мне пришла книга Gergely Orosz, известного инженера и автора "The Pragmatic Engineer", самого популярного технического новостного бюллетеня на Substack, посвящённого вопросам инженерных команд, управления, технологий и карьерного развития в IT. Вообще, от книги я ожидаю много, так как мне нравится материалы Гергели - я смотрел большое количество интервью и выступлений Gergely, о которых рассказывал в канале раньше
- Интервью с James Stanier, автором книги "Become an Effective Software Engineering Manager" в рамках книжного клуба goto
- Выступление на LeadDev с докладом "Software engineering with LLMs in 2025: reality check"
- Интервью с Farhan Thawar, head of engineering в Shopify "How AI is changing software engineering at Shopify"
- Интервью со Steve Huynh, бывший principal инженер Amazon "What is a Principal Engineer at Amazon"
- Интервью с Лаурой Тако, CTO платформы DX "Measuring the impact of AI on software engineering"

Как прочту книгу, поделюсь своими впечатлениями.

#Engineering #Management #Leadership #Processes #Software #Career #Staff

Code of Leadership #46 Interview with Vladimir Kalugin about Platform Engineering (Рубрика #Management)

В очередном выпуске подкаста ко мне пришел интересный гость, Владимир Калугин, технический продакт менеджер в Т-Банке, что отвечает за развитие IDP (внутренней платформы разработки) и точнее за developer experience. До Т-Банка Владимир успел поработать в Туту.ру, Тинькофф, МТС Тревел. За два часа мы обсудили много вопросов, среди которых основные указаны ниже

- Знакомство с гостем, обсуждение образования и выбора IT
- Важность фундаментальных знаний для IT
- Карьерный рост: разработчик → тимлид → менеджер
- Принципы компании и корпоративная культура
- Работа над мультимодальными перевозками и технические решения в Tutu
- Смена работы, поиски и мотивация
- Платформа «Спирит» и платформ инжиниринг
- Интеграции, архитектурные решения и развитие платформ
- Переход в МТС, запуск нового travel-продукта
- Контент, агрегация и масштабирование продукта
- Бюрократия и взаимодействие с архитекторами в крупных компаниях (на примере МТС)
- Метрики, данные и улучшение платформ
- Физический и ментальный баланс, лайфхаки для продуктивности
- Советы по развитию и заключение

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Software #Engineering #Management #Architecture #Processes

[2/2] Как собираются отчеты DORA (DevOps Research and Assessment)?

Продолжая рассказ про методологию DORA, хотелось сказать, что в 2024 году авторы нашли пятую метрику rework rate, для которой прокси метирикой является change failure rate. Для проверки они добавили вопрос про количество незапланированных deployment, которые были нужны для фикса багов. В итоге, гипотеза подтвердилась и исследователи сгуппировали четыре предыдущих фактора и новый пятый по двум группам software delivery: throughput и stability
- Throughput: change lead time, deployment frequency, failed deployment recovery time
- Stability: change failure rate, rework rate
Но дальше авторы решили сохранять свою прошлю структуру с кластеризацией и группировкой уровней по четырем категориям:)

Если говорить про методологию 2024 года, то ребята выделили 3 отдельных пути для прохождения опроса (куда рандомно определяли участников)
- AI (для определения влияния gen AI)
- Platform engineering Влияние платформенной инженерии
- Workplace (для опрпеделения влияния трансформационного лидерства

Дальше провели опрос и проверили внутреннюю и внешнюю валидность измерений:
- Внутренняя валидность показывала, что ответы на разные вопросы про один концепт дают консистентные результаты. Для этого авторы использовали confirmatory factor analysis (CFA) с применением lavaan R package.
- Внешняя валидность показывала, что конструкт, собранный исследователями, связан с реальным миром через взаимосвязи. Например, у авторов были ожидания по связи конструктов между собой и некоторой корелляции, которую можно было проверить на практике (и если находились противоречия, то они требовали новых гипотез для объяснений).

Для causal inference авторы использовали Directed acyclic graphs (DAGs) и инструмент DAGitty, который позволяет построить модель взаимосвязей разных факторов, а также попробовать устранить влияние третьих переменных и смимикрировать a/b эксперименты. А дальнейший анализ эффектов авторы делали с использованием баейсовских подходов

We use Bayesian statistics to calculate a posterior, which tries to capture “the expected frequency that different parameter values will appear.” The “simulation” part is drawing from this posterior more than 1,000 times to explore the values that are most credible for a parameter (mean, beta weight, sigma, intercept, etc.) given our data.

Отдельно надо отметить, что авторы отказались от одной большой модели и сдеелали много маленьких моделей, где связывали capabilities (условно инжнерные практики) с результатами (outcomes). Дальше они при помощи ответов на вопросы проверяли связь между capabilities и outcomes, пытаясь отделить влияние третьих переменных. Проделав это, они делали не просто выводы о корелляциях, а постулировали наличие причинно-следственных связей.

В общем, методология получилась определенно интересная, а следующий выпуск подкаста Code of Leadership будет посвящен ее детальному разбору.

#AI #DevOps #DevEx #Metrics #Processes #Management

Trends Across the AI Frontier (Рубрика #AI)

Посмотрел недавно короткое выступление George Cameron, соучредителя и CPO компании Artificial Analysis, независимой компании по бенчмаркингу ИИ, основанной в октябре 2023 года. Ребята специализируются на независимом тестировании более 150 различных моделей ИИ по широкому спектру метрик, включая интеллект, производительность, стоимость и скорость, публикуя результаты на сайте artificialanalysis.ai. Сам доклад был коротким, но насыщенным аналитикой и прогнозами, а ключевые идеи представлены ниже

1. Множественность границ в ИИ
Георг подчеркивает центральную идею своего выступления: в ИИ существует не одна, а несколько границ (frontiers), и разработчики не всегда должны использовать самую интеллектуальную модель. Доклад исследует четыре ключевые границы:
- Модели рассуждения (Reasoning Models)
- Открытые веса (Open Weights)
- Стоимость (Cost)
- Скорость (Speed)

2. Граница моделей рассуждения: компромиссы производительности
Георг показывает аналитику с резличиями на порядок между обычными и reasoning-моделями:
- Вербальность моделей
-- GPT-4.1: 7 миллионов токенов для запуска индекса интеллекта
-- O4 Mini High: 72 миллиона токенов (в 10 раз больше)
-- Gemini 2.5 Pro: 130 миллионов токенов
- Задержка ответа
-- GPT-4.1: 4,7 секунды для полного ответа
-- O4 Mini High: более 40 секунд
Это критично для агентных систем, где 30 последовательных запросов могут занять 5 минут вместо 30 секунд.

3. Граница открытых весов: сокращение разрыва
Георг демонстрирует драматическое сокращение разрыва между открытыми и проприетарными моделями. Особую роль играют китайские лаборатории ИИ:
- DeepSeek лидирует как в reasoning, так и в non-reasoning моделях
- Alibaba с серией Qwen 3 занимает второе место в reasoning
- Meta и Nvidia также конкурируют с моделями на базе Llama
DeepSeek R1, выпущенная в январе 2025 года, показывает производительность, сравнимую с лидирующими проприетарными моделями, достигая 79.8% на AIME 2024 против 79.2% у O1.

4. Граница стоимости: драматическое снижение
Порядковые изменения в стоимости:
- O3: $2,000 для запуска их бенча индекса интеллекта
- 4.1: в ~30 раз дешевле O1
Стоимость доступа к новому уровню интеллекта снижается вдвое за несколько месяцев (так стоимость доступа к уровню интеллекта GPT-4 упала более чем в 100 раз с середины 2023 года). По данным исследований, стоимость обучения frontier-моделей растет в 2,4 раза в год с 2016 года.

5. Граница скорости: значительный рост производительности
Рост скорости вывода токенов: GPT-4 в 2023 году: ~40 токенов в секунду. Тот же уровень интеллекта сейчас: более 300 токенов в секунду. Такие изменения скорости завязаны на технологические улучшения
- Mixture of Experts (MoE) модели - активируют только часть параметров при инференсе
- Дистилляция - создание более интеллектуальных моделей меньшего размера
- Оптимизация софта - flash attention, speculative decoding
- Улучшения аппаратуры - B200 достигает более 1000 токенов в секунду

Главные выводы
1. Несмотря на повышение эффективности и снижение стоимости, Камерон прогнозирует продолжение роста спроса на вычисления:
- Более крупные модели - DeepSeek имеет более 600 миллиардов параметров
- Ненасытный спрос на интеллект
- "Болтливые" reasoning-модели требуют больше вычислений при инференсе
- Агенты с 20-30-100+ последовательными запросами
2. Стратегические рекомендации
- Измеряйте tradeoffs в своих приложениях, а не полагайтесь только на цену за токен
- Стройте с учетом будущего снижения стоимости - что невозможно сегодня, может стать доступным через 6 месяцев
- Учитывайте структуру затрат приложения при выборе моделей

В общем, Георг показывает интересные результаты бенчмарков, по которым видны интересные тренды. А я лично после выступления еще с интересом потыкал другие исследования с сайта Artificial Analysis.

#AI #Software #Engineering #Management #Metrics #ML #Leadership

Code of Leadership #47-Interview with Daniil Kuleshovabout Engineering, Architecture & Ad Tech (Рубрика #Management)

В очередном выпуске подкаста ко мне пришел интересный гость, Даниил Кулешов, staff engineer, который развивает вместе со мной в Т-Банке архитектурную функцию на уровне всей компании. За полтора часа мы успели поговорить про разработку, менеджмент, архитектуру и рекламные технологии, а детальнее темы представлены ниже 
- Знакомство с гостем
 - Образование и начало пути в IT
 - Предпринимательский опыт и создание проектов
 - Цифровизация справочников и специфика рекламы
- Переход на сложные технологические задачи, мотивация
- Работа в стартапе: Real Time Bidding и рекламные технологии (инженерка, опыт управления командой)
- Переход в крупную компанию: культура, рекрутинг, уроки 
- Архитектура высоконагруженных систем, проблемы масштабирования 
- Проект авторизации физлиц и причем здесь Google Zanzibar 
- Самообразование, work-life balance и советы зрителям

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

P.S.
Краткая расшифровка доступна в моем блоге на Medium.

#Software #Engineering #Management #Architecture #Processes

Когда мы перестали понимать мир (Un Verdor Terrible) (Рубрика #PopularScience)

Эта книга Бенхамина Лабатута, чилийского писателя, показалась мне крайне интересной. Сегодня утром я снял ее с полки и оторвался только дочитав:) Этот роман из уникального жанра, что автор определил как "художественное произведение, основанное на реальных событиях". Она переведена на 22 языка и стала финалистом Международной Букеровской премии в 2021 году. Речь в книге про реальные события из жизни великих математиков и физиков, среди которых
- Фриц Габер - химик, создатель химического оружия и азотных удобрений
- Карл Шварцшильд - астроном, теоретически предсказавший существование черных дыр
- Нильс Бор - один из основателей квантовой механики
- Вернер Гейзенберг - физик-теоретик, автор принципа неопределенности
- Эрвин Шрёдингер - создатель волновой механики
- Александр Гротендик - выдающийся математик XX века с широкомасштабным влиянием на всю математику
- Синъити Мотидзуки - японский математик, доказавший abc-гипотезу

Бенхамин так закручивает свое повествование, что оно читается как динамичнейший триллер о науке и гранях безумия. Его стиль описывают как многослойный и сложный, создающий ощущение, что он сам по себе - отдельный жанр. Ученые, вышедшие из под его пера, кажутся живыми и эмоциональным. Автор показывает не только их открытия, но и сны, галлюцинации, внутренние переживания. В итоге мы видим разные грани, включающие
- Тревога и страх, сопутствующие великим открытиям
- Психические страдания ученых, сталкивающихся с непознаваемым
- Трагические судьбы: самоубийство жены Фрица Габера, безумие Александра Гротендика
- Экзистенциальный ужас от понимания последствий своих открытий

В итоге, титаны науки предстают перед нами глубоко несчастными людьми, которые сталкиваются с темной стороной великих научных открытий, например,
- Гейзенберг "словно выколол себе оба глаза, чтобы видеть дальше"
- Александр Гротендик, "возможно, самый важный математик XX века", закончил жизнь отшельником, считая математику "величайшей угрозой человеческому существованию"

В книге есть философская глубина и она как бы задает вопрос о том, а есть ли вещи, которые нам не стоит знать.
Итого, это дейтсвительно стоящее произведение, которое демонстрирует не просто великих ученых, а страдающих людей, которым открытия даются дорогой ценой - ценой психического здоровья, человеческих отношений, а иногда и жизни самих ученых.

#PopularScience #Physics #Math #Science

The Finance Startup Bringing Agentic AI to Wall Street (Рубрика #AI)

Посмотрел на выходных интересное интервью Чеза и Арни Энглендеров, братьев серийных предпринимателей. Сейчас они развивают стартап Model ML, что предоставляет AI-worklpace для финансовых услуг, которое:
- Автоматизирует исследования и анализ due diligence
- Интегрируется с существующими системами (SharePoint, FactSet, Capital IQ, Crunchbase)
- Позволяет создавать отчеты, презентации и аналитику через естественно-языковые запросы
- Обрабатывает терабайты сложных финансовых данных
До этого они создали и продали через Y Combinator две компании (Model ML уже третья)
- Fat Llama (YC S17) — первая полностью застрахованная P2P-площадка для аренды вещей, приобретена компанией Hygglo
- Fancy (YC S20) — сервис экспресс-доставки продуктов, приобретен Gopuff
Интервью проводил Густав Альстрёмер (Gustaf Alstromer) — партнер Y Combinator, ранее руководивший отделом роста в Airbnb.

Если суммировать ключевые идеи, то братья рассказали следующее

1. Феноменальный рост компании
Model ML переживает период взрывного роста - за последние 7 дней компания подписала столько же контрактов, сколько за весь четвертый квартал прошлого года. Это свидетельствует о том, что рынок готов к AI-решениям в финансовом секторе. А также я думаю, что этому помог пиар от OpenAI и не только.
2. Революция в финансовых услугах
По словам братьев компания создает "когнитивную архитектуру", создавая AI-рабочее пространство, которое имитирует цифровый доступ сотрудника финансовой фирмы ко всем системам: файлам, CRM, данным поставщиков, публичным документам. Это принципиально отличается от традиционных офисных пакетов.
3. Переход от тестирования к использованию
2024 год стал переломным - если в 2023 году финансовые институты только тестировали AI-решения, то в 2024 году они начали их активно использовать. Это изменило всю динамику рынка.
4. Философия упорства
Основатели подчеркивают важность логичного упорства - если что-то логически обосновано, нужно продолжать это делать, несмотря на трудности. Именно это качество, по их мнению, отличает успешных основателей.

Если говорить про Model ML, то компания уже работает с 10% крупнейших инвестиционных банков и частных инвестиционных фондов мира, включая:
- Инвестиционные банки
- Фонды прямых инвестиций
- Управляющие активами
- Суверенные фонды благосостояния
- Венчурные фирмы
Сильная сторона компания в создании вертикально-ориентированного решения, которое закрывает сценарии работников таких финансовых фирм. В феврале 2025 года Model ML привлекла $12 млн инвестиций под руководством Y Combinator и LocalGlobe. Компия имеет офисы в Нью-Йорке, Сан-Франциско, Лондоне и Гонконге.

По классике Model ML использует передовые AI возможности
- Мультимодальные модели для работы с различными типами данных
- Агентские системы для автономного выполнения задач
- Интеграцию с vision-моделями для анализа документов и графиков

Интервью не слишком интересное, так как авторы много времени уделяют рассказу про свои прошлые стартапы, но вот сама компания Model ML выглядит интереснее. Она как референсная вертикально ориентированная AI-компания, которая должна бежать быстрее, чем сами провайдеры моделей типа OpenAI, Google DeepMind или Anthropic, чьи модели становятся все мощнее и мощнее и потенциально сами могут закрывать многие сценарии из коробки.

#AI #Engineering #Management #Fintech #Software #ML

Хватит гадать! Девять стратегий для решения любых проблем (Stop Guessing: The 9 Behaviors of Great Problem Solvers) (Рубрика #Management)

Вчера прочитал эту интересную книгу Нэта Грина про решение проблем. По мере чтения книги я зацепился за несоответствие содержимого и названия, а дальше сравнил названия русского перевода и первоисточника. В оригинале акцент делается на поведенческих паттернах решателей проблем - это подчеркивает, что речь идет не о методологии, а о систематических поведенческих навыках. Русский перевод же говорит о стратегиях для решения любых проблем, что несколько упрощает концепцию, теряя важный акцент на том, что это именно поведенческие модели, а не просто алгоритмы.

Если же говорить про подход Нэта, то эффективные решатели проблем демонстрируют девять ключевых поведенческих паттернов:
1. Системный подход к проблеме
Глава 1. Прекращают угадывать и переходят к структурированному анализу
Глава 2. Изучают проблему в деталях, используя все доступные чувства и инструменты для понимания паттерна сбоя
Глава 3. Принимают свое неведение вместо попыток защитить репутацию эксперта, задавая вопросы, которые другие могут считать "глупыми"
2. Точное определение проблемы:
Глава 4. Определяют, какую именно проблему решают, избегая работы над неправильной задачей из-за ложных предположений
Глава 5. Углубляются в основы, изучая как процесс работает, включая базовую науку за ним
3. Независимость от экспертного мнения:
Глава 6. Не полагаются на экспертов как на спасителей, а рассматривают их как помощь
Глава 7. Верят в простое решение, сохраняют упорство и не останавливаются, пока не дойдут до корня проблемы
4. Фактологический подход:
Глава 8. Принимают решения на основе фактов, а не мнений, голосований или субъективных систем
Глава 9. Остаются сфокусированными на цели, измеряя драйверы, которые наиболее непосредственно контролируют проблему

В десятой главе автор рассказывает про то, как выбрать свою методику решения проблем и предлагает свой подход через анализ переменных. Центральная идея его метода заключается в создании дерева переменных - систематическом разборе того, как устроен процесс, и разработке уровней вторичных переменных, влияющих на целевую проблему. Этот подход включает:
- Определение проблемы - точное описание того, что именно не работает
- Детальное изучение проблемы - сбор фактических данных о паттерне сбоя
- Создание дерева переменных - структурированный анализ всех факторов, влияющих на проблему
Грин подчеркивает, что когда у команды есть сотни потенциальных причин, это означает полное непонимание происходящего. Если переменных 200, то истинная первопричина, вероятно, даже не входит в этот список. Эффективные решатели проблем исключают переменные, и каждая исключенная переменная содержит множество подпеременных, которые теперь можно игнорировать.

Мне сама книга понравилась и идеи Грина неплохо так пересекаются с мышление "from first principles". Сходства я увидел такие
- Оба подхода требуют разложения сложных проблем на фундаментальные компоненты
- Отказ от аналогий и предыдущих решений в пользу глубокого понимания
- Вызов существующим предположениям и поиск базовых истин
Но есть и существенные различия, делающие подход Грина более практичным
- First principles начинает с философских основ и фундаментальных законов природы
- Подход Грина более прагматичен и фокусируется на поведенческих паттернах и анализе переменных конкретной проблемы
- First principles больше подходит для инноваций и создания нового, тогда как метод Грина оптимизирован для решения существующих проблем

Если говорить про применение подхода в разработке софта, то кажется, что этот подход применим для траблшутинга проблем с производительностью (домен Брендана Грегга, вот пример его выступления, что я разбирал). В принципе, примерно также развивается решение проблемы при возникновении инцидентов - я рассказывал про наш этап интервью под названием troubleshooting для SRE инженеров, а также отдельно проводил публичное интервью

#Engineering #SRE #Interview #Processes #Postmortem #Management #Software