How Amazon and Google view CI/CD in an entirely different way (Рубрика #Architecture)

Очень интересная статья про разные подходы двух крупных компаний к построению своих процессов CI/CD. Автор проработал суммарно 15 лет в инженерных командах, что занимались CI/CD инфраструктурой: сначала 11 лет в Amazon, потом 4 года в Google, а потом вернулся обратно в Amazon. И в этой статье он рассказывает, как отличчается школа мысли этих двух компаний к построению своих процессов CI/CD, фокусируясь на следующем трио
- Pre-submit - эта фаза относится к developer experience до сабмита кода. Собственно, автор разбирает то, какие проверки можно вкрутить на этом этапе в своем рабочем пространстве или как часть процесса code review
- Post-submit - это фаза относится к developer experience после сабмита кода. Как происходит merge изменений, как код развертывается в prod-like тестовых средах и прогоняются проверки там, и как код дальше выкатывается на прод
- Testing - автор в статье говорит про интеграционное и сквозное тестирования, а не модульное. Модульное тестирование тривиально для запуска в любом месте, но интеграционное тестирование требует, чтобы код-кандидат был развернут в тестируемой системе и связан с зависимостями, что добавляет экспоненциальный уровень сложности к инфраструктуре.

Дальше он говорит, что Google и Amazon по разному хостят свой код
- Google использует monorepo и весь код хранится в одном месте
- Amazon использует концепцию microrepos, где код отдельных сервисов хранится в отдельных репозиториях

И это отличие обуславливает разный подход к инструментам и фокусировке на разных этапах developer experience.

Если кратко, то Google крут в pre-submit проверках, так как сотни тысяч инженеров живут в общем репозитории, где нет отдельных бранчей. Blast radius при сабмите проблемного кода очень велик, поэтому они очень много инвестируют в разные крутые штуки на pre-submit (вот другая статья автора, где он рассказывает про это run end-to-end integration tests from a local dev environment, or a code review, against ephemeral, hermetic test environments). Но вот post-submit опыт совсем другой - код катится на прод совсем не часто. Суть здесь в том, что изменения разных инженеров накапливаются в батчи, по которым прогоняется большее количество тестов. Это сделано потому, что одна строчка кода может повлиять на большое количество deployments, поэтому запускать все проверки на каждый коммит точно не получится. Но расплата за это - долгое ожидание доставки кода на продакшен.

В Amazon код живет микрорепах, где blast-radius изменений ограничен твоим репо (по крайней мере, на pre-submit части). То есть, закоммитив что-то странное, ты легко навредишь только своим коллегам по 2-pizza-team. А дальше включаться post-submit проверки, которые не позволят раскатиться этому изменению. Поэтому в Amazon слабая автоматизация pre-submit части, но вот post-submit сделан сильно лучше, чем в Google. Отличие в том, что изменения в коде оказываются на проде в течение часов, а не суток.

Финализируя, автор говорит, что Google и Amazon выбрали разные подходы для борьбы со сложностью
- Monorepo ребят из Google работает за счет большой команды, что автоматизирует pre-submit и делает умную селективность тестов, позволяет им запускаться герметично и так далее, но код доставляется на прод долго. Но если требуются крупные изменения по кодовой базе, то их легче сделать в одной монорепе
- Microrepos ребят из Amazon проще менять и выкатывать новый фичевый код на прод, не опасаясь больших проблем. Но вот проблемы с обновлением зависимостей в разных репозиториях - это боль. В итоге, автор статьи отмечает, что поддерживать подход Amazon можно гораздо меньшей командой
И тот и другой подход имеет право на жизнь и фактически задает некоторую школу мысли для своих адептов:) Автору больше нравится подход Amazon

Ну и на самом деле круто скомбинировать крутой опыт на pre-submit и на post-submit, но часто это слишком дорого, поэтому имея ограниченные ресурсы инфра команды фокусируются на самом важном в их условиях.

#CI #SRE #Architecture #Software #Infra #QA

API Governance at Scale (Рубрика #Management)

Недавно прочитал интересную статью исследователей про API Governance процессы в Google. На самом деле эта статья напрямую предшествует статье "AI-Enhanced API Design: A New Paradigm in Usability and Efficiency", про которую я рассказывал раньше. В статье "API Governance at Scale" авторы в деталях как и зачем авторы меняли подход к построению API. Собственно, они пришли к процессу, что состоит их трех частей
1) API Improvement Proposals - это задокументированный источник правды относительно того, какие правили есть по отношению к дизайну API
2) API Linter - это автоматизированная проверка соответствия API правилам из AIP (круто, что авторы смогли кодифицировать AIPs и дальше проверять их в этом линтере)
3) API Readability - программа обучения и сертификации API Design экспертов. Процесс API Readabity в Google похож на другой их процесс, а точнее на code readability, про который я уже рассказывал раньше

Это исследование рассматривает этот процесс со стороны создателей API и показывает позитивное влияние на качество API как со стороны результата, так и процесса. Интересно, что в уже упомянутой статье-продолжении "AI-Enhanced API Design" этот же процесс рассматривается как со стороны создателей, так и потребителей API и тоже показывает положительное влияние.

В общем, whitepaper интересный и я точно сделаю его более подробный разбор, но рекомендую почитать статью в оригинале - она короткая, но очень интересная:)

P.S.
Именно странички из этой статьи послужили иллюстрацией к посту про whitepaper.

#Architecture #Software #DistributedSystems #SystemDesign #SystemEngineering #API #Governance

Колонка "Developer Productivity for Humans" в журнале IEEE (Рубрика #Management)

В прошлом году я узнал, что пара исследователей из Google, Ciera Jaspan и Collin Green стартанули как редакторы отдельную колонку "Developer Productivity for Humans" в журнале IEEE Software. Первая статья вышла еще в далеком 2023 году и она задавала весь тон дискуссиии, описывая человеко-центричный подход к этому вопросу. А месяц назад я нашел уже седьмую статью - оказалось, что эти статьи не отображаются на исследовательском сайте Google и их надо искать отдельно на сайте IEEE.

Вся серия статей показалась мне интересной, поэтому поделюсь ссылками на них, чтобы вам не пришлось искать:) Плюс дальше я сделаю обзор этих статей в отдельных постах.

1) A Human-Centered Approach to Developer Productivity - разбор у меня в блоге
2) Hybrid Productivity - разбор у меня я в блоге
3) Defining, Measuring, and Managing Technical Debt - разбор у меня в блоге
4) Build Latency, Predictability, and Developer Productivity - разбор есть у меня в блоге
5) Onboarding and Ramp-Up - разбор есть в отдельном посте в tg
6) Measuring Flow, Focus, and Friction for Developers - обзор есть в отдельном посте в tg
7) Software Quality - разбор у меня в блоге
8) Creativity in Software Engineering - разбор есть в отдельном посте в tg
9) Measuring Productivity: All Models are Wrong But Some are Useful - разбор есть в отдельном посте в tg

В общем, рекомендую эти статьи к прочтению - они коротенькие по 6-8 страниц и очень простые, все сложные моменты в статьях, на которые ссылаются авторы, а в этих статьях приведены только основные тезисы и результаты.

#Management #Leadership #Software #SoftwareDevelopment #Architecture #SoftwareArchitecture #Metrics #Devops #Processes

A16z The Fintech Newsletter. October 2024 Fintech Newsletter: Fintech isn’t dead. AI is driving a new beginning (Рубрика #Strategy)

Я давно подписан на рассылку от фонда Anderssen Horowitz, но обычно ее пролистываю быстро. А вот октябрьское письмо мне понравилось - в нем были интересные статьи

1) Fintech isn’t dead. AI is driving a new beginning
Аторы начали с технологических продуктовых циклов: PC Era, Internet Era, Cloud Era, Mobile Era, AI Era, а потом показали как AI здорово может помочь финансовым организациям в автоматизации, например, compliance сотрудников, которые в США за последние 20 лет стали пятыми по скорости роста количества мест в компаниях

2) Why You Shouldn't Fear "Trading Like A Bank"
Базовая статья на тему того, как работает оценка банков, исходя из их капитала, а также почему часто финтех компании получают больший мультипликатор. Просто и доступно про важность ROE (return on equity). Собственно, инвесторы, как правило, оценивают банки по P/B (price-to-book) коэффициенту, что рассчитывается как капитализация, разделённая на размер собственного капитала компании. Этот мультипликатор является сокращением для моделей остаточного дохода, которые прогнозируют «избыточную» доходность, которую зарабатывает банк, то есть разницу между его доходностью на собственный капитал («ROE») и его стоимостью собственного капитала. Коэффициент, кратный 1x, означает, что бизнес заработает ROE, равную стоимости его капитала.

А вот для финтех компаний обычно характерно более высокое ROE, обусловленное двумя причинами
- Более высокая чистая прибыль - обычно финтех-компании умеет дешевле обсулижвать клиентов, а также предлагать продукты более маржинальным клиентам
- Оборот активов. Многие финтех-компании способны генерировать больше долларов дохода на единицу активов, чем традиционные банки, поскольку их бизнес-модели обычно основаны на комиссиях в дополнение к процентным доходам. Потоки комиссионных доходов не ограничены размером базы активов (в отличие от процентных доходов) и, следовательно, могут способствовать более высокому обороту активов.

Дальше авторы приводят примеры западных компаний, которые умеют в финтех, даже если у них есть банковская лицензия: (American Express, Nubank)

#Fintech #Management #Strategy

Podlodka Techlead Crew (Рубрика #Architecture)

Всего полторы недели осталось до моего участия в круглом столе «Архитектура на старте: подготовка к успеху» в рамках Podlodka Techlead Crew. Там мы обсудим принципы построения надежной архитектуры ваших систем. Мы поговорим про базовые подходы в виде retries, circuit breakers, rate limiters, а также про более продвинутые подходы навроде разных моделей деплоя приложений, которые позволяют достигать разных уровней availability (подробнее на эту тему рекомендую почитать whitepaper "Deployment Archetypes for Cloud Applications").

Помимо этого круглого стола будут и другие интересные спикеры
- Александр Агейченко разберет принципы мобильной надежности на примере мобильного Т-Банка.
- Даниил Подольский обсудит Disaster Recovery и управление рисками.
- Вадим Мартынов расскажет о контроле перегрузок и защите сервисов от отказов.

Если вы решите посетить конференцию Techlead Crew, то воспользуйтесь промокодом на скидку в 500 рублей - techlead_crew_7_Sw2ePA. Плюс отдельно мы разыграем бесплатный билет на конференцию, но про это я подробнее напишу вечером.

P.S.
В прошлом году я рассказывал доклад тему "Проектируем надежные системы" и готовил такой список рекомендованных материалов.

#Software #Engineering #Architecture #SoftwareArchitecture #SystemDesign #DistributedSystems #SRE

Обзор whitepaper "A Human-Centered Approach to Developer Productivity" (Рубрика #Management)

Больше года назад я прочитал интересную статью, про человеко-центричный подход к продуктивности:) В этой статье Ciera Jaspan и Collin Green (два лида из Google) рассказывали о том, что они в Google отвечают за RnD команду, что изучает вопросы того, а что делает инженеров продуктивными и счастливыми. И круче всего, ребята обещали стартануть целую серию статей. Тогда я прочитал whitepaper создал черновик статьи и … забыл его опубликовать. И только недавно я наткнулся на то, что в этой колонке уже вышло восемь интересных статей, одну из которых про "Software Quality" я разобрал в деталях. Именно в этот момент я понял, что мне надо подрихтовать свой старый черновик обзора и все-таки опубликовать его — так появилась эта статья:)

P.S.
Это обзор первой статьи из колонки "Developer Productivity for Humans" в журнале IEEE, про которую я писал раньше.

#Management #Leadership #Software #SoftwareDevelopment #Architecture #SoftwareArchitecture #Metrics #Devops #Processes

Podlodka Techlead Crew - Розыгрыш билета (Рубрика #Architecture)

Вчера я уже писал про свое участие в дикускии на конференции от Подлодки, где утром 14 октября я буду обсуждать тему проектирования надежных систем. И по счастливому стечению обстоятельств у меня есть один билетик для читателей канала. Я решил разыграть его среди тех, кто предложит мне интересную свежую книгу или whitepaper на тему надежности программных систем в комментариях к этому посту. Одно правило - она должна выйти после 2022 года и я про нее еще не рассказывал на своем канале. Для того, чтобы участвовать недостаточно просто написать название - надо еще написать один абзац на тему того, а что крутого было в рекомендованной книге/whitepaper, которая вам так понравилась.

Результаты розыгрыша я подведу в понедельник, выбрав самый интересный предложенный вариант.

#Software #Engineering #Architecture #SoftwareArchitecture #SystemDesign #DistributedSystems #SRE

T-Observability Day Tech 2024 (Рубрика #SRE)

Астрологи объявили месяц надежности - через 3 недели, а точнее в среду 23 октября, мои коллеги решили организовать конференцию, посвященную надежности и наблюдаемости. В программе будет 5 доклад, один квадратный стол и один воркшоп

1) Доклад о наблюдаемости, надежности и качестве - Алексей Мерсон, Developer Advocate в Sage, Т-Банк
2) Доклад о том, как строится надежность Яндекс Такси - Александр Фишер, руководитель службы надежности Такси, Яндекс Go
3) Доклад о том, как не наступить на грабли Observability - Владимир Дроздецкий, DevOps Teamlead, Magnit Tech
4) Доклад про фронтовые метрики - что нужно для сбора качественных SLI - Максим Вишневский, Frontend Community Lead, Циан
5) Доклад про масштабирование комплаенс-контроля надежности на сотни сервисов - Салих Фахрутдинов, Главный инженер Origination Business Platform, Т-Банк
6) Круглый стол о том, как нанять или вырастить инженера по надежности? - в дискуссии будут участвовать много уважаемых людей:)
7) Воркшоп о том, как готовиться к сбоям и сокращать время на их устранение
Отдельным пунктом можно отметить много нетворкинга с экспертами по надежности и инженерами, что создают нашу Observability платформу Sage и остальные инструменты для повышения надежности T-Bank.

Полная программа и регистрация тут.

P.S.
Кстати, прошлом году я рассказывал доклад тему "Проектируем надежные системы" и готовил такой список рекомендованных материалов. Этот доклад и рекомендации неплохо укладываются в тему надежности:)

#Software #Engineering #Architecture #SoftwareArchitecture #SystemDesign #DistributedSystems #SRE

Логические ошибки. Как они мешают правильно мыслить (Рубрика #Thinking)

Прочитал на выходных репринт учебника 1958 года Авенира Ивановича Уёмова, в котором базово рассказывается про логику и логические ошибки. Автор очень просто и понятно раскрывает тему, одновременно он не льет воду и почти укладывается в 100 страниц. В современной литературе редко когда встретишь такой подход - сейчас принято одну и ту же мысль повторять по кругу, чтобы даже самый невнимательный читатель на пятом повторе понял, о чем речь. Правда, в этом учебнике есть своя особенность - он был написан во времена компартии, а значит В.И. Ленин и его размышления встречаются нам по поводу и без повода, подвязанные белыми нитками к общей логике повествования.

В общем, книга состоит из следующих частей
1) В чем сущность логических ошибок? - автор показывает на пример чем отличаются фактические и логические ошибки, а дальше останавливается на логических
2) В чем вред логических ошибок? - логические ошибки могут привести к неверным выводам, а те в свою очередь к реальным последствиям
3) Каковы причины возникновения логических ошибок - здесь автор разделяет правильность мышления, которая помогает доказывать свою позицию, а также убедительность речи, которая позволяет убедить оппонента, даже если логически размышления некорректны. Часто причинами логических ошибок является незнаение людьми того, а что такое правильность мышления (логическая корректность размышлений) и неправильность
4) Значение практики и различных наук для устранения логических ошибок - автор отмечает, что для простых размышлений часто хватает повседневной жизненной практики (здравого смысла), но вот для ситуаций посложнее полезно быть знакомым с разными науками, например, математикой, где очень часто встречаются аксиомы, теоремы и их доказательства, которые содержат в себе логически корректные размышления.
5) Как логика помогает бороться с логическими ошибками - основная часть книги, в которой для борьбы с логическими ошибками нам на помощь приходит логика!
5.1) Логические формы мыслей - автор рассказывает о том, что такое логическая форма, понятия, суждения, умозаключения, доказательства
5.2) Как избежать логических ошибок в мыслях различной формы - эта часть занимает больше половины книги и содержит теоретические объяснения и практические примеры с разбором ошибок и их причин.

В общем, эта книга определенно интересна и полезна для изучения, надо только фильтровать политическую повестку, что была в СССР в конце 50х годов 20 века.

#Thinking #PopularScience #Math #Reasoning