Code of Leadership #46 Interview with Vladimir Kalugin about Platform Engineering (Рубрика #Management)

В очередном выпуске подкаста ко мне пришел интересный гость, Владимир Калугин, технический продакт менеджер в Т-Банке, что отвечает за развитие IDP (внутренней платформы разработки) и точнее за developer experience. До Т-Банка Владимир успел поработать в Туту.ру, Тинькофф, МТС Тревел. За два часа мы обсудили много вопросов, среди которых основные указаны ниже

- Знакомство с гостем, обсуждение образования и выбора IT
- Важность фундаментальных знаний для IT
- Карьерный рост: разработчик → тимлид → менеджер
- Принципы компании и корпоративная культура
- Работа над мультимодальными перевозками и технические решения в Tutu
- Смена работы, поиски и мотивация
- Платформа «Спирит» и платформ инжиниринг
- Интеграции, архитектурные решения и развитие платформ
- Переход в МТС, запуск нового travel-продукта
- Контент, агрегация и масштабирование продукта
- Бюрократия и взаимодействие с архитекторами в крупных компаниях (на примере МТС)
- Метрики, данные и улучшение платформ
- Физический и ментальный баланс, лайфхаки для продуктивности
- Советы по развитию и заключение

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#Software #Engineering #Management #Architecture #Processes

[2/2] Как собираются отчеты DORA (DevOps Research and Assessment)?

Продолжая рассказ про методологию DORA, хотелось сказать, что в 2024 году авторы нашли пятую метрику rework rate, для которой прокси метирикой является change failure rate. Для проверки они добавили вопрос про количество незапланированных deployment, которые были нужны для фикса багов. В итоге, гипотеза подтвердилась и исследователи сгуппировали четыре предыдущих фактора и новый пятый по двум группам software delivery: throughput и stability
- Throughput: change lead time, deployment frequency, failed deployment recovery time
- Stability: change failure rate, rework rate
Но дальше авторы решили сохранять свою прошлю структуру с кластеризацией и группировкой уровней по четырем категориям:)

Если говорить про методологию 2024 года, то ребята выделили 3 отдельных пути для прохождения опроса (куда рандомно определяли участников)
- AI (для определения влияния gen AI)
- Platform engineering Влияние платформенной инженерии
- Workplace (для опрпеделения влияния трансформационного лидерства

Дальше провели опрос и проверили внутреннюю и внешнюю валидность измерений:
- Внутренняя валидность показывала, что ответы на разные вопросы про один концепт дают консистентные результаты. Для этого авторы использовали confirmatory factor analysis (CFA) с применением lavaan R package.
- Внешняя валидность показывала, что конструкт, собранный исследователями, связан с реальным миром через взаимосвязи. Например, у авторов были ожидания по связи конструктов между собой и некоторой корелляции, которую можно было проверить на практике (и если находились противоречия, то они требовали новых гипотез для объяснений).

Для causal inference авторы использовали Directed acyclic graphs (DAGs) и инструмент DAGitty, который позволяет построить модель взаимосвязей разных факторов, а также попробовать устранить влияние третьих переменных и смимикрировать a/b эксперименты. А дальнейший анализ эффектов авторы делали с использованием баейсовских подходов

We use Bayesian statistics to calculate a posterior, which tries to capture “the expected frequency that different parameter values will appear.” The “simulation” part is drawing from this posterior more than 1,000 times to explore the values that are most credible for a parameter (mean, beta weight, sigma, intercept, etc.) given our data.

Отдельно надо отметить, что авторы отказались от одной большой модели и сдеелали много маленьких моделей, где связывали capabilities (условно инжнерные практики) с результатами (outcomes). Дальше они при помощи ответов на вопросы проверяли связь между capabilities и outcomes, пытаясь отделить влияние третьих переменных. Проделав это, они делали не просто выводы о корелляциях, а постулировали наличие причинно-следственных связей.

В общем, методология получилась определенно интересная, а следующий выпуск подкаста Code of Leadership будет посвящен ее детальному разбору.

#AI #DevOps #DevEx #Metrics #Processes #Management

Trends Across the AI Frontier (Рубрика #AI)

Посмотрел недавно короткое выступление George Cameron, соучредителя и CPO компании Artificial Analysis, независимой компании по бенчмаркингу ИИ, основанной в октябре 2023 года. Ребята специализируются на независимом тестировании более 150 различных моделей ИИ по широкому спектру метрик, включая интеллект, производительность, стоимость и скорость, публикуя результаты на сайте artificialanalysis.ai. Сам доклад был коротким, но насыщенным аналитикой и прогнозами, а ключевые идеи представлены ниже

1. Множественность границ в ИИ
Георг подчеркивает центральную идею своего выступления: в ИИ существует не одна, а несколько границ (frontiers), и разработчики не всегда должны использовать самую интеллектуальную модель. Доклад исследует четыре ключевые границы:
- Модели рассуждения (Reasoning Models)
- Открытые веса (Open Weights)
- Стоимость (Cost)
- Скорость (Speed)

2. Граница моделей рассуждения: компромиссы производительности
Георг показывает аналитику с резличиями на порядок между обычными и reasoning-моделями:
- Вербальность моделей
-- GPT-4.1: 7 миллионов токенов для запуска индекса интеллекта
-- O4 Mini High: 72 миллиона токенов (в 10 раз больше)
-- Gemini 2.5 Pro: 130 миллионов токенов
- Задержка ответа
-- GPT-4.1: 4,7 секунды для полного ответа
-- O4 Mini High: более 40 секунд
Это критично для агентных систем, где 30 последовательных запросов могут занять 5 минут вместо 30 секунд.

3. Граница открытых весов: сокращение разрыва
Георг демонстрирует драматическое сокращение разрыва между открытыми и проприетарными моделями. Особую роль играют китайские лаборатории ИИ:
- DeepSeek лидирует как в reasoning, так и в non-reasoning моделях
- Alibaba с серией Qwen 3 занимает второе место в reasoning
- Meta и Nvidia также конкурируют с моделями на базе Llama
DeepSeek R1, выпущенная в январе 2025 года, показывает производительность, сравнимую с лидирующими проприетарными моделями, достигая 79.8% на AIME 2024 против 79.2% у O1.

4. Граница стоимости: драматическое снижение
Порядковые изменения в стоимости:
- O3: $2,000 для запуска их бенча индекса интеллекта
- 4.1: в ~30 раз дешевле O1
Стоимость доступа к новому уровню интеллекта снижается вдвое за несколько месяцев (так стоимость доступа к уровню интеллекта GPT-4 упала более чем в 100 раз с середины 2023 года). По данным исследований, стоимость обучения frontier-моделей растет в 2,4 раза в год с 2016 года.

5. Граница скорости: значительный рост производительности
Рост скорости вывода токенов: GPT-4 в 2023 году: ~40 токенов в секунду. Тот же уровень интеллекта сейчас: более 300 токенов в секунду. Такие изменения скорости завязаны на технологические улучшения
- Mixture of Experts (MoE) модели - активируют только часть параметров при инференсе
- Дистилляция - создание более интеллектуальных моделей меньшего размера
- Оптимизация софта - flash attention, speculative decoding
- Улучшения аппаратуры - B200 достигает более 1000 токенов в секунду

Главные выводы
1. Несмотря на повышение эффективности и снижение стоимости, Камерон прогнозирует продолжение роста спроса на вычисления:
- Более крупные модели - DeepSeek имеет более 600 миллиардов параметров
- Ненасытный спрос на интеллект
- "Болтливые" reasoning-модели требуют больше вычислений при инференсе
- Агенты с 20-30-100+ последовательными запросами
2. Стратегические рекомендации
- Измеряйте tradeoffs в своих приложениях, а не полагайтесь только на цену за токен
- Стройте с учетом будущего снижения стоимости - что невозможно сегодня, может стать доступным через 6 месяцев
- Учитывайте структуру затрат приложения при выборе моделей

В общем, Георг показывает интересные результаты бенчмарков, по которым видны интересные тренды. А я лично после выступления еще с интересом потыкал другие исследования с сайта Artificial Analysis.

#AI #Software #Engineering #Management #Metrics #ML #Leadership

Code of Leadership #47-Interview with Daniil Kuleshovabout Engineering, Architecture & Ad Tech (Рубрика #Management)

В очередном выпуске подкаста ко мне пришел интересный гость, Даниил Кулешов, staff engineer, который развивает вместе со мной в Т-Банке архитектурную функцию на уровне всей компании. За полтора часа мы успели поговорить про разработку, менеджмент, архитектуру и рекламные технологии, а детальнее темы представлены ниже 
- Знакомство с гостем
 - Образование и начало пути в IT
 - Предпринимательский опыт и создание проектов
 - Цифровизация справочников и специфика рекламы
- Переход на сложные технологические задачи, мотивация
- Работа в стартапе: Real Time Bidding и рекламные технологии (инженерка, опыт управления командой)
- Переход в крупную компанию: культура, рекрутинг, уроки 
- Архитектура высоконагруженных систем, проблемы масштабирования 
- Проект авторизации физлиц и причем здесь Google Zanzibar 
- Самообразование, work-life balance и советы зрителям

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

P.S.
Краткая расшифровка доступна в моем блоге на Medium.

#Software #Engineering #Management #Architecture #Processes

Когда мы перестали понимать мир (Un Verdor Terrible) (Рубрика #PopularScience)

Эта книга Бенхамина Лабатута, чилийского писателя, показалась мне крайне интересной. Сегодня утром я снял ее с полки и оторвался только дочитав:) Этот роман из уникального жанра, что автор определил как "художественное произведение, основанное на реальных событиях". Она переведена на 22 языка и стала финалистом Международной Букеровской премии в 2021 году. Речь в книге про реальные события из жизни великих математиков и физиков, среди которых
- Фриц Габер - химик, создатель химического оружия и азотных удобрений
- Карл Шварцшильд - астроном, теоретически предсказавший существование черных дыр
- Нильс Бор - один из основателей квантовой механики
- Вернер Гейзенберг - физик-теоретик, автор принципа неопределенности
- Эрвин Шрёдингер - создатель волновой механики
- Александр Гротендик - выдающийся математик XX века с широкомасштабным влиянием на всю математику
- Синъити Мотидзуки - японский математик, доказавший abc-гипотезу

Бенхамин так закручивает свое повествование, что оно читается как динамичнейший триллер о науке и гранях безумия. Его стиль описывают как многослойный и сложный, создающий ощущение, что он сам по себе - отдельный жанр. Ученые, вышедшие из под его пера, кажутся живыми и эмоциональным. Автор показывает не только их открытия, но и сны, галлюцинации, внутренние переживания. В итоге мы видим разные грани, включающие
- Тревога и страх, сопутствующие великим открытиям
- Психические страдания ученых, сталкивающихся с непознаваемым
- Трагические судьбы: самоубийство жены Фрица Габера, безумие Александра Гротендика
- Экзистенциальный ужас от понимания последствий своих открытий

В итоге, титаны науки предстают перед нами глубоко несчастными людьми, которые сталкиваются с темной стороной великих научных открытий, например,
- Гейзенберг "словно выколол себе оба глаза, чтобы видеть дальше"
- Александр Гротендик, "возможно, самый важный математик XX века", закончил жизнь отшельником, считая математику "величайшей угрозой человеческому существованию"

В книге есть философская глубина и она как бы задает вопрос о том, а есть ли вещи, которые нам не стоит знать.
Итого, это дейтсвительно стоящее произведение, которое демонстрирует не просто великих ученых, а страдающих людей, которым открытия даются дорогой ценой - ценой психического здоровья, человеческих отношений, а иногда и жизни самих ученых.

#PopularScience #Physics #Math #Science

The Finance Startup Bringing Agentic AI to Wall Street (Рубрика #AI)

Посмотрел на выходных интересное интервью Чеза и Арни Энглендеров, братьев серийных предпринимателей. Сейчас они развивают стартап Model ML, что предоставляет AI-worklpace для финансовых услуг, которое:
- Автоматизирует исследования и анализ due diligence
- Интегрируется с существующими системами (SharePoint, FactSet, Capital IQ, Crunchbase)
- Позволяет создавать отчеты, презентации и аналитику через естественно-языковые запросы
- Обрабатывает терабайты сложных финансовых данных
До этого они создали и продали через Y Combinator две компании (Model ML уже третья)
- Fat Llama (YC S17) — первая полностью застрахованная P2P-площадка для аренды вещей, приобретена компанией Hygglo
- Fancy (YC S20) — сервис экспресс-доставки продуктов, приобретен Gopuff
Интервью проводил Густав Альстрёмер (Gustaf Alstromer) — партнер Y Combinator, ранее руководивший отделом роста в Airbnb.

Если суммировать ключевые идеи, то братья рассказали следующее

1. Феноменальный рост компании
Model ML переживает период взрывного роста - за последние 7 дней компания подписала столько же контрактов, сколько за весь четвертый квартал прошлого года. Это свидетельствует о том, что рынок готов к AI-решениям в финансовом секторе. А также я думаю, что этому помог пиар от OpenAI и не только.
2. Революция в финансовых услугах
По словам братьев компания создает "когнитивную архитектуру", создавая AI-рабочее пространство, которое имитирует цифровый доступ сотрудника финансовой фирмы ко всем системам: файлам, CRM, данным поставщиков, публичным документам. Это принципиально отличается от традиционных офисных пакетов.
3. Переход от тестирования к использованию
2024 год стал переломным - если в 2023 году финансовые институты только тестировали AI-решения, то в 2024 году они начали их активно использовать. Это изменило всю динамику рынка.
4. Философия упорства
Основатели подчеркивают важность логичного упорства - если что-то логически обосновано, нужно продолжать это делать, несмотря на трудности. Именно это качество, по их мнению, отличает успешных основателей.

Если говорить про Model ML, то компания уже работает с 10% крупнейших инвестиционных банков и частных инвестиционных фондов мира, включая:
- Инвестиционные банки
- Фонды прямых инвестиций
- Управляющие активами
- Суверенные фонды благосостояния
- Венчурные фирмы
Сильная сторона компания в создании вертикально-ориентированного решения, которое закрывает сценарии работников таких финансовых фирм. В феврале 2025 года Model ML привлекла $12 млн инвестиций под руководством Y Combinator и LocalGlobe. Компия имеет офисы в Нью-Йорке, Сан-Франциско, Лондоне и Гонконге.

По классике Model ML использует передовые AI возможности
- Мультимодальные модели для работы с различными типами данных
- Агентские системы для автономного выполнения задач
- Интеграцию с vision-моделями для анализа документов и графиков

Интервью не слишком интересное, так как авторы много времени уделяют рассказу про свои прошлые стартапы, но вот сама компания Model ML выглядит интереснее. Она как референсная вертикально ориентированная AI-компания, которая должна бежать быстрее, чем сами провайдеры моделей типа OpenAI, Google DeepMind или Anthropic, чьи модели становятся все мощнее и мощнее и потенциально сами могут закрывать многие сценарии из коробки.

#AI #Engineering #Management #Fintech #Software #ML

Хватит гадать! Девять стратегий для решения любых проблем (Stop Guessing: The 9 Behaviors of Great Problem Solvers) (Рубрика #Management)

Вчера прочитал эту интересную книгу Нэта Грина про решение проблем. По мере чтения книги я зацепился за несоответствие содержимого и названия, а дальше сравнил названия русского перевода и первоисточника. В оригинале акцент делается на поведенческих паттернах решателей проблем - это подчеркивает, что речь идет не о методологии, а о систематических поведенческих навыках. Русский перевод же говорит о стратегиях для решения любых проблем, что несколько упрощает концепцию, теряя важный акцент на том, что это именно поведенческие модели, а не просто алгоритмы.

Если же говорить про подход Нэта, то эффективные решатели проблем демонстрируют девять ключевых поведенческих паттернов:
1. Системный подход к проблеме
Глава 1. Прекращают угадывать и переходят к структурированному анализу
Глава 2. Изучают проблему в деталях, используя все доступные чувства и инструменты для понимания паттерна сбоя
Глава 3. Принимают свое неведение вместо попыток защитить репутацию эксперта, задавая вопросы, которые другие могут считать "глупыми"
2. Точное определение проблемы:
Глава 4. Определяют, какую именно проблему решают, избегая работы над неправильной задачей из-за ложных предположений
Глава 5. Углубляются в основы, изучая как процесс работает, включая базовую науку за ним
3. Независимость от экспертного мнения:
Глава 6. Не полагаются на экспертов как на спасителей, а рассматривают их как помощь
Глава 7. Верят в простое решение, сохраняют упорство и не останавливаются, пока не дойдут до корня проблемы
4. Фактологический подход:
Глава 8. Принимают решения на основе фактов, а не мнений, голосований или субъективных систем
Глава 9. Остаются сфокусированными на цели, измеряя драйверы, которые наиболее непосредственно контролируют проблему

В десятой главе автор рассказывает про то, как выбрать свою методику решения проблем и предлагает свой подход через анализ переменных. Центральная идея его метода заключается в создании дерева переменных - систематическом разборе того, как устроен процесс, и разработке уровней вторичных переменных, влияющих на целевую проблему. Этот подход включает:
- Определение проблемы - точное описание того, что именно не работает
- Детальное изучение проблемы - сбор фактических данных о паттерне сбоя
- Создание дерева переменных - структурированный анализ всех факторов, влияющих на проблему
Грин подчеркивает, что когда у команды есть сотни потенциальных причин, это означает полное непонимание происходящего. Если переменных 200, то истинная первопричина, вероятно, даже не входит в этот список. Эффективные решатели проблем исключают переменные, и каждая исключенная переменная содержит множество подпеременных, которые теперь можно игнорировать.

Мне сама книга понравилась и идеи Грина неплохо так пересекаются с мышление "from first principles". Сходства я увидел такие
- Оба подхода требуют разложения сложных проблем на фундаментальные компоненты
- Отказ от аналогий и предыдущих решений в пользу глубокого понимания
- Вызов существующим предположениям и поиск базовых истин
Но есть и существенные различия, делающие подход Грина более практичным
- First principles начинает с философских основ и фундаментальных законов природы
- Подход Грина более прагматичен и фокусируется на поведенческих паттернах и анализе переменных конкретной проблемы
- First principles больше подходит для инноваций и создания нового, тогда как метод Грина оптимизирован для решения существующих проблем

Если говорить про применение подхода в разработке софта, то кажется, что этот подход применим для траблшутинга проблем с производительностью (домен Брендана Грегга, вот пример его выступления, что я разбирал). В принципе, примерно также развивается решение проблемы при возникновении инцидентов - я рассказывал про наш этап интервью под названием troubleshooting для SRE инженеров, а также отдельно проводил публичное интервью

#Engineering #SRE #Interview #Processes #Postmortem #Management #Software

Rise of the AI Architect (Рубрика #Architecture)

Посмотрел краткое интервью Clay Bavor, соучредителя стартапа Sierra, выходца из Google, где он руководил различными инновационными проектами, включая Google Labs, инициативами в области дополненной и виртуальной реальности (AR/VR), Project Starline и Google Lens. До этого он работал над Gmail, Google Docs, Google Drive. Он ушел из Google в марте 2023 года, чтобы основать Sierra вместе со своим давним другом Bret Taylor, создателем Google Maps, а также бывшим генеральным директором Salesforce. Компания Sierra специализируется на создании брендированных AI-агентов для взаимодействия с клиентами во всех аспектах клиентского опыта - от поиска информации до возвратов и обменов товаров.

Ключевые идеи выступления, которое я посмотрел из-за громкой вывески AI Architect такие

1. Миссия Sierra
Конечно Клей должен был начать с миссии компании Sierra, что помогает компаниям создавать более качественный и человечный опыт взаимодействия с клиентами с помощью искусственного интеллекта. Главная цель - преодолеть разрыв между желанием предприятий обеспечить отличный сервис и невозможностью сделать это из-за высоких затрат.
2. Концепция AI Architect
Дальше он представил концепцию AI Architect - новой профессии эпохи ИИ, которую он сравнил с веб-мастерами времен раннего интернета. AI Architect — это специалист, который сочетает в себе три ключевые компетенции:
- Технические знания - понимание возможностей AI-агентов и технологий
- Эстетика и дизайн - формирование голоса, ценностей, тона и персоны агента
- Бизнес-результаты - достижение конкретных бизнес-целей через взаимодействие с клиентами
3. Черты успешных AI Architects
По наблюдениям Клея, наиболее успешные AI Architects обладают следующими качествами:
- Готовность к риску и экспериментам - принятие вероятностной природы больших языковых моделей
- Фокус на реальных проблемах - начало с конкретных, ценных задач (даже таких простых, как обработка одного возврата товара)
- Готовность к реорганизации - перестройка команд обслуживания клиентов для работы с AI-агентами
4. Подход Sierra к разработке агентов
Компания разработала Agent OS - сложную платформу для создания клиентоориентированных AI-агентов, которая включает:
- Инструменты без кода для нетехнических пользователей
- Продвинутые инструменты разработки для инженеров
- Систему тестирования с симуляцией пользователей
- Инструменты замкнутого цикла для обучения агентов на прошлых ошибках
5. Философия "решение проблем ИИ - это больше ИИ"
Клей подчеркнул эту мысль, приведя пример Sierra, что использует "супервизорные" агенты для проверки работы основных агентов, что улучшает точность и безопасность.

В общем, Клей предсказывает, что AI Architect станет одной из самых быстрорастущих профессий в ближайшие пять лет. Он также видит будущее интерфейсов ИИ в носимых устройствах и очках, которые станут основой для персонального ИИ, способного видеть, слышать и помогать пользователям навигировать в мире.

Если описывать то, как дела у компании Sierra, то
- В октябре 2024 года Sierra привлекла $175 миллионов в раунде финансирования серии при оценке в $4,5 миллиарда. Общий объем привлеченных средств составляет $285 миллионов.
- Sierra обслуживает сотни клиентов и работает с миллионами потребителей в год.
- Технологическая платформа основана на "созвездии" больших языковых моделей от различных провайдеров, включая OpenAI, Anthropic и Meta. Компания разработала систему "супервизоров" для обеспечения точности и снижения "галлюцинаций".
- Компания использует модель ценообразования, основанную на результатах (outcome-based pricing), что отличает её от традиционных SaaS-решений. Аннуализированная выручка превышает $20 миллионов.

Успех Sierra демонстрирует растущий спрос на специализированные AI-решения для клиентского сервиса, где компании готовы инвестировать значительные средства в технологии, которые могут обеспечить более качественное и персонализированное взаимодействие с клиентами при снижении операционных затрат.

#AI #Engineering #ML #Architecture #Software

Research Insights Made Simple #13 Review of DORA Methodology (Рубрика #DevEx)

Этот выпуск посвящен обсуждению методологии "DORA", которая является стандартом де-факто в мире опросов по теме devops и developer productivity. В 2024 году DORA опросам исполнилось 10 лет и за это время было получено много крутых выводов о связи процессов и практик внутри организации и ее эффективности, а это именно те вопросы, которые интересуют менеджмент. В отличие от многих других книг здесь утверждения подтверждены систематическими исследованиями.

Саму методологию я обсуждаю с Игорем Курочкиным, у которого больше 12 лет опыта в индустрии, из которых 6 лет в консалтинге. Он помогает развивать инженерную культуру, процессы и практики, платформенные и продуктовые команды в больших компаниях. Год назад мы разбирали книгу "Accelerate" в отдельном выпуске подкаста Code of Leadership . Интересно, что "Accelerate" была написана по результатам проведения первых пяти лет опросов DORA.

За полтора часа общения с Игорем мы обсудили много тем, среди которых представленные ниже.
- Введение и знакомство с гостем
- История и эволюция DORA
- Методология DORA: ключевые аспекты
- Построение опроса: постановка гипотез, формирование вопросов
- Структура модели DORA: capability, outcomes, выделение отдельных тем (ИИ, платформы)
- Сложности проведения опросов и подход к аналитике по ним
- Репрезентативность и сбор респондентов
- Проблемы формирования конструктов и их валидности
- Исследование инженерной культуры - культура по Веструму и ее влияние на процессы
- Эволюция моделей и статистических методов
- Проблемы установления причинно-следственных связей
- Роль скрытых переменных (confound)
- Актуальные проблемы и будущее моделирования/отчётов

Выпуск подкаста доступен в Youtube, VK Video, Podster.fm, Ya Music.

#DevEx #Devops #Software #Engineering #Metrics

Stack Overflow Developer Survey 2025 (Рубрика #Management)

Недавно были опубликованы результаты 15-го ежегодного опроса разработчиков, который прошли 49k разработчиков. Опрос проводился с 29 мая по 23 июня 2025 года и включал 62 вопроса, охватывающих 314 различных технологий. Впервые в исследовании был сделан особый акцент на AI-агентах, больших языковых моделях (LLM) и платформах сообществ. Если говорить про интересные результаты, то они такие

Тренды в технологиях
- Python демонстрирует взрывной рост популярности с увеличением на 7 процентных пунктов по сравнению с 2024 годом, что связано с его доминированием в области AI, data science и backend-разработки
- Docker показал рекордный рост с увеличением на 17 процентных пунктов - это самый большой годовой прирост среди всех технологий в опросе
- Cargo (пакетный менеджер Rust) стал самым популярным инструментом облачной разработки и инфраструктуры с рейтингом восхищения (admire) 71%
Профессиональные изменения
- 24% разработчиков счастливы на своей текущей работе против 20% в прошлом году
- Роль архитектора вошла в топ-4 самых популярных ролей разработчиков (эту роль ввели только в этом году)
- 45% разработчиков работают удаленно в США - самый высокий показатель среди стран-лидеров по количеству респондентов
Изменения в Stack Overflow
- 81% разработчиков имеют аккаунт на Stack Overflow (рост с 76% в 2024 году)
- 35% посещений связаны с AI-проблемами - платформа становится источником человеко-проверенных знаний в эпоху AI
Тренды в AI
- Использование AI инструментов выросло с 76% до 84% за год, а положительный настрой упал с 72% до 60%, также упало доверие к AI с 43% до 33%
- 66% разработчиков называют главной фрустрацией AI-решения, которые "почти правильные, но не совсем". Это создает новый вид технического долга, где код выглядит корректным, но содержит тонкие ошибки
- Опытные разработчики демонстрируют большую осторожность относительно AI, чем молодые
- AI-агенты остаются нишевыми - 52% разработчиков не используют AI-агенты или придерживаются более простых AI-инструментов

В общем и целом, опрос StackOverflow позволяет видеть тренды в разработке, которые сейчас примерно такие
1. Созревание AI-экосистемы разработки - происходит переход от первоначального энтузиазма к реалистичной оценке возможностей AI. Разработчики становятся более избирательными в использовании AI-инструментов. По мере роста качества AI инструмнетов доверие будет расти, а также AI инструменты будут интегрированы в определенные сценарии в разработке софта (примерно как я рассказывал в докладе про интеграцию AI в процессы разработки в большой компании)
2. Популярность Python продолжит расти (из-за AI, ML и datascience). Typescript продолжит отжимать долю у ванильного JS, Rust может стать популярнее
3. Контейнеризация уже стандарт де-факто, docker в каждый дом:)
4. StackOverflow уже будет не для людей, а источником истины для AI-агентов, а также место для валидации AI suggests

Если говорить про методологию опроса и ее ограничения, то мы имеем
1. Смещение выборки (Selection Bias)
Опрос привлекает преимущественно активных пользователей Stack Overflow, что создает искажения
2. Снижение репрезентативности
Есть тезисы, что многие разработчики ушил со stackoveflow на Gen AI инструменты, а молодые когорты не появились - критически настроенные к AI пользователи могли быть сверх-представлены
3. AI-центричность опроса 2025 года
Дизайн опроса содержал много вопросов про AI и часть из них была предвзятой (техно-оптимистичной)

В любом случае этот масштабный опрос содержит много пищи для размышлений, просто есть ее надо аккуратно.

#AI #Survey #Engineering #Software #Metrics #ML #Devops #Agents

Next-Gen AI for Science (Рубрика #Science)

Интересный доклад Джона Джампера, нобелевского лауреата по химии, на AI Startup School Y Combinator. Интересно, что Джон получил нобелевскую премию вместе с Демисом Хассабисом, который сильно известнее, так как исполнял роль CEO Google DeepMind (я как-то рассказывал про его выступление о AI решафле в Google). Но вот про Джона я знал не очень много, а этот доклад дал чуть больше информации. Научный путь Джона начался с физики, но после разочарования в академической карьере он перешёл в вычислительную биологию, работая над применением машинного обучения для изучения белков.

Ниже представлены ключевые идеи
1. Революция в предсказании структуры белков
Главным достижением команды Джона стала разработка AlphaFold - системы искусственного интеллекта, которая решила 50-летнюю проблему предсказания трёхмерной структуры белков по их аминокислотной последовательности. На конкурсе CASP14 в 2020 году AlphaFold 2 продемонстрировал точность, сопоставимую с экспериментальными методами, достигнув показателя GDT-TS более 90 для большинства белков. Кстати, я уже говорио про сложность предсказания белков при обзоре книги "От оргазма до бессмертия. Записки драг-дизайнера"
2. Важность исследований в машинном обучении
Джон подчеркнул критическую роль научных исследований наряду с данными и вычислительными мощностями. Как он отметил в докладе, команда смогла показать, что AlphaFold 2, обученная на 1% доступных данных, была столь же точной, как предыдущая версия AlphaFold 1, обученная на полном наборе. Это демонстрирует, что новые идеи и исследования могут быть в 100 раз более ценными, чем простое увеличение объёма данных.
3. Компоненты успеха
По словам Джона, три ключевых компонента привели к прорыву:
- Данные: 200,000 известных структур белков из открытой базы данных PDB
- Вычислительные ресурсы: 128 TPU v3 ядер в течение двух недель для финальной модели
- Исследования: небольшая команда (около двух основных исследователей), разработавшая новые архитектурные решения
4. Открытость и доступность
Критически важным решением стало открытие исходного кода AlphaFold и создание базы данных с предсказаниями структур белков. К 2022 году база данных AlphaFold содержала более 200 миллионов предсказаний структур белков, охватывая практически все известные белки. Эта открытость привела к массовому принятию инструмента научным сообществом.
5. Влияние и применения
AlphaFold уже используется более чем 2 миллионами исследователей в 190 странах. Джон привёл пример специального выпуска журнала Science, посвящённого комплексу ядерных пор, где три из четырёх статей активно использовали AlphaFold, при этом команда DeepMind не участвовала в этих исследованиях напрямую. Пользователи нашли способы применения AlphaFold, которые команда не предвидела. Например, исследователь Йошитаки Мориваки через два дня после выпуска кода показал, как AlphaFold можно использовать для предсказания взаимодействий между белками, что стало лучшим методом предсказания белковых взаимодействий. Джон также рассказал о работе лаборатории MIT, которая использовала AlphaFold для реинжиниринга "молекулярного шприца" - белковой системы, способной доставлять целевые белки в конкретные клетки. Исследователи смогли модифицировать белок для таргетированной доставки лекарств в клетки мозга мыши.

Если подводить итоги, то видно, что такие работы ускоряют научный прогресс в целой области. AlphaFold демонстрирует, как ИИ может работать как усилитель для экспериментальных исследователей, заполняя пробелы в научных знаниях. Наиболее интригующим вопросом, по мнению Джампера, остаётся степень общности применения ИИ в науке. Будет ли это несколько узких областей с трансформационным воздействием или очень широкие системы? Он ожидает, что в конечном итоге будут созданы широкие системы, способные революционизировать науку в целом.

#AI #Science #Architecture #ML #Software #Engineering #Startup

How to Spend Your 20s in the AI Era (Рубрика #AI)

Интересный выпуск подкаста Lightcone от Y Combinator представляет панельную дискуссию с участием ведущих экспертов стартап-сообщества, где они обсуждают то, как молодым людям строить карьеру в эпоху искусственного интеллекта. В дискуссии участвуют леди и джентельмены
- Гарри Тан (Garry Tan) - президент и CEO Y Combinator
- Харж Таггар (Harj Taggar) - управляющий партнер Y Combinator
- Диана Ху (Diana Hu) - партнер YC.
- Джаред Фридман (Jared Friedman) — управляющий директор по софту и партнер YC

Ребята обсужили следующие темы
1. Кризис традиционной карьерной модели
Докладчики представили шокирующую статистику: сейчас уровень безработицы среди выпускников компьютерных наук в США составляет 6,1%, что в два раза превышает показатель выпускников истории искусств (3,0%). Это кардинально меняет представление о "безопасной" карьере в технологиях.
2. Переосмысление образования
Многие университетские программы по компьютерным наукам запрещают использование современных AI-инструментов вроде Cursor, что фактически лишает студентов навыков, необходимых в будущем. Образовательная система готовит специалистов для следования инструкциям, но ИИ справляется с этим лучше людей.
3. Важность возможности автономо действовать и принимать решения важнее работы над дипломами
Главная идея дискуссии - в эпоху ИИ агентность (способность самостоятельно действовать и принимать решения) важнее дипломов. Студенты, которые учатся больше через самостоятельные проекты, чем через академические курсы, имеют значительное преимущество.
4. Новые возможности для стартапов
Несмотря на скорость изменений и существующие риски, это лучшее время для создания стартапов. Примеры включают основателя Cursor, который за пару лет создал компанию стоимостью $10 миллиардов. ИИ-стартапы демонстрируют беспрецедентный рост: от нуля до $12 миллионов выручки за 12 месяцев. Подробнее про Cursor можно почитать в моем разборе интервью ребят из YC с CEO Cursor "Cursor CEO: Going Beyond Code, Superintelligent AI Agents, And Why Teste Still Matters"
5. Техническая экспертиза снова важна
До эпохи ИИ ключевой была экспертиза в предметной области. Теперь техническая экспертиза в области ИИ стала критически важной, поскольку создание надежных AI-продуктов требует глубоких технических знаний.
6. Быстрое освоение новых областей
Умные студенты могут стать экспертами в новых областях за 1-2 месяца, если они целенаправленно изучают и применяют знания. ИИ захватил воображение клиентов, которые открыты для "магических" решений от студентов.

Эксперты дают целый набор рекомендаций для стартаперов
- Для получения экспертизы в предметной области они рекомендуют стать "forward deployed engineer" - буквально работать в офисах клиентов и изучать их потребности изнутри
- Они предлают не гнаться за внешними показателями вроде привлечения инвестиций или популярности в социальных сетях вместо создания реальной ценности
- Также стоить фокусироваться на узких нишах, а потом расширяться на сложные рынки - Airbnb начинался с матрасов для конференций, Stripe — с API для разработчиков
- Важно стремиться работать в самых успешных стартапах с лучшими людьми, поскольку закон степенного распределения в стартапах означает, что медианный стартап терпит неудачу.
- Важно не участвовать в программах предпринимательства, которые учат лгать и создавать симулякры вместо реальной ценности. Они призывают избегать примеров SBF (Сэм Банкман-Фрид) и Theranos - компаний, которые оказались пустышками (кстати, про Theranos было подробнее тут)

Итого, это интересный подкаст от ключевых ребят из YC, которые делятся своими мыслями с молодыми стартаперами.

#AI #Engineering #ML #Architecture #Software

Quantifying large language model usage in scientific papers (Рубрика #Science)

Интересный whitepaper про использование LLM в написании научных статей. Я наткнулся на него через рассылку для членов ACM (Association for Computing Machinery), где была ссылка на новость в Science о том, что что примерно одна пятая научных статей в области компьютерных наук включает в себя тексты, сгенерированные при помощи ИИ. Я решил заглянуть в оригинальную статью, чтобы понять как выглядела методология и какие были результаты. В итоге, получилось примерно следующее

- Это был масштабный анализ ~1.1M препринтов и опубликованных статей с января 2020 по сентябрь 2024 (arXiv, bioRxiv, журналы Nature)
- По результатам анализа найден стабильный рост использования LLM, особенно в области компьютерных наук — до 22 % статей содержат AI‑модифицированный текст
- А вот с математикой не все так гладко - AI модификаций примерно в 2 раза ниже
- Модифицированные статьи имеют общие черты - они короткие, написаны в популярных исследовательских доменах, а также их авторы активно публикуют препринты (что не проходят ревью)

Если поразмышлять об этом, то последствия видятся такими
1. Научные работы будут появляться быстрее, но будут как близняшки - авторы, использующие LLM, выбирают разработанные области, в которых уже много наработок и проще получать статьи похожие на настоящие. По итогу, предвижу падение соотношения сигнал/шум в таких доменах
2. Для повышения доверия можно легализовать использование AI, если договориться о правилах использования и разметки частей, к которым LLM приложили свои ручки
3. Давление на инфраструктуру публикаций будет увеличиваться и ручные ревьюверы публикаций справляться не будут - вангую, что скоро автоматизируют ревью и поручат их особо умным LLM, которые смогут готовить анализ новых whitepaper в рецензируемых научных журналах. В лучшем случае тут останутся scientists in the loop, чтобы ревьювить ревью агентов-ревьюверов. А может получиться так, что и статьи и рецензии будут писать LLM агенты:)

#Science #AI #Whitepaper #Humor

DORA Report 2024 (Рубрика #Engineering)

Продолжу рассказ про отчет DORA 2024 года, про методологию которого я рассказывал раньше в двух постах 1 и 2. Здесь я постараюсь рассказать про интересные результаты этого опроса, который прошли 3к респондентов разных профессий из разных стран. Само исследование покрывало следующие области
- Классические DORA метрики: throughput и stability (частота релизов, lead time, change failure rate, time to recover). На основе этих метрик как раз происходит кластеризация команд по уровням: elite/high/medium/low
- Влияние AI на продуктивность, delivery-показатели, документирование и доверие к коду
- Влияние внутренних платформ разработки (IDP, internal developer platform) на производительность команд и стабильность процессов
- Developer experience, лидерство и благополучие: job satisfaction, burnout, flow, user‑centricity

Интересные моменты, что отметили авторы

1. Влияние искусственного интеллекта
(+) Повышение потока (flow), продуктивности и удовлетворенности работой
(+) Улучшение качества кода на 3,4%
(+) Ускорение ревью кода на 3,1%
(+) Улучшение качества документации на 7,5%
(+) Повышение производительности команд и организаций
(-) Снижение пропускной способности доставки ПО на 1,5%
(-) Уменьшение стабильности доставки на 7,2%
Интересно, что AI негативно влияет на software delivery performance. Авторы объясняют это возможным увеличением batch size и связанных рисков (больше размер - выше вероятность проблем)
Другой интересный эффект привел авторов исследования к гипотезе об "эффекте вакуума" (vacuum hypothesis). Суть в том, что AI одновременно улучшает производительность и снижает время на важную работу, не уменьшая при этом административную нагрузку и обременение toil - парадокс, объясняемый тем, что AI помогает быстрее завершать значимые задачи (meaningful tasks), но не сокращает малополезные обязанности.

2. Платформенная инженерия
(+) Повышение индивидуальной продуктивности на 8%
(+) Улучшение производительности команд на 10%
(+) Рост организационной производительности на 6%
(-) Снижение пропускной способности на 8%
(-) Уменьшение стабильности изменений на 14%
Здесь гипотеза авторов в том, что различные гейты внутри платформ замедляют поставку ценности, так как требуют выполнения требований по качеству/надежности/безопасности и так далее. В итоге, часто катануть код мимо платформы проще и быстрее:)

3. Management & Leadership
(+) Ориентация на пользователя повышает качество продуктов и снижает выгорание
(+) Трансформационное лидерство улучшает все аспекты производительности
(+) Стабильные приоритеты критически важны для продуктивности и благополучия
В общем, правильный подход к управлению через целепологание, работу с приоритетами и изменениями дает свои результаты:)

Если подбивать выводы из результатов опроса, то кажется, что
- При интеграции AI стоит отдельно контролировать, что большие изменения дробятся на более мелкие + мониторить влияние на delivery.
- Стоит инвестировать в документацию и self‑service системы - отчёт указывает на прямую связь между качеством документов и software delivery performance
- При развитии платформ нужен баланс между контролем и метриками software delivery performance (например, lead time)
- Стоит фокусироваться на user‑centric дизайн внутренних инструментов и культуру лидерства, поддерживающую видение и автономию - это снижает выгорание и повышает эффективность инженеров на местах
- Не стоит обращать большое внимание на кластеры, куда попадают команды - лучше смотерть на первую и вторую производную (скорость изменений к лучшем и ускорение)

#AI #DevOps #DevEx #Metrics #Processes #Management #PlatformEngineering #Software