Platform engineering

Разговоры про платформы в разработке всегда были популярны, но теперь они есть буквально везде. Ниже короткая подборка:)

1) Техрадары от Thoughtworks содержат этот подход с 2017 года, причем у ребят есть разные статусы для того, что они рекомендуют делать
- Статус access был в 2017 году, где они предложили присмотреться к этому подходу
- Статус trial был в 2020 - здесь ребята предложили попробовать
- Статус adopt случился в 2021 - ребята сказали, что надо принять этот подход
- а теперь ребята про это уже не говорят, видимо добавить уже нечго и у всех оно есть:)
Кстати, последний 27 техрадар от Thoughtworks я разбирал в статье на Medium и одновременно рассказывал в чем суть самого подхода.

2) Team Topologies в 2019 году популяризировало этот подход с платформами:) что и привело к тому, что все начали пытаться их делать и случился статус trial в техрадаре thoughtworks 2020
Подробнее про Team Topologies можно почитать в моих статьях, приведенных ниже, но суть была в том, чтобы выделить stream-aligned команды для создания value для бизнеса, а также платформенные команды для создания платформ, что предоставляют правила и тулинг. Авторы описали и другие виды команд, а также рассказали про разные форматы взаимодействия. Моделька показалась полезной и она пошла в мир. Подробнее про сам подход здесь
— — Teams as means of Delivery
— — Team Topologies that work for flow
— — Evolving team interactions for innovation and rapid delivery

3) На фоне этой популярности появился отдельный сайт platformengineering.org, который проводит конференцию PlatformCon 2023 :)
На этом сайте ребята пытаются ответить на вопрос что такое platform engineering и, видимо, рассказать как его делать правильно.

#PlatformEngineering #Management #Processes #Software #SoftwareDevelopment

PostgreSQL 15 изнутри

Эта интересная книга Рогова из Postgres Pro отлично погружает во внутреннюю работу популярной базы данных. Признаюсь честно, что именно эту книгу я еще не читал ... но зато изучил в свое время предыдущее издание, которое называется "Postgres 14 изнутри" и которое стоит у меня дома в бумажном виде на полке:) Кстати, электронную версию книги можно бесплатно получить на сайте Postgres Pro. В книге больше шестиста страниц, которые объединены в 5 частей, приведенных ниже
1. Изоляция и многоверсионность
2. Буферный кеш и журнал
3. Блокировки
4. Выполнение запросов
5. Типы индексов

Кстати, эту книгу про Postgres я начинал изнально читать после изучения "Database Internals" и мне было интересно сравнивать между собой подходы авторов к описанию проблематики:)

#Databases #DistributedSystems #Architecture #SoftwareArchitecture #Software

Десять дней назад общался с ребятами с канала NextWay про архитектуру и системных аналитиков.
За час с чем-то мы успели обсудить много тем, а вчера появилась запись нашей встречи + списки рекомендаций по тем книгам, что я упоминал в ходе общения.
Подробности в посте авторов канала

#SystemDesign #SoftwareArchitecture #Analyst #Software #Architecture #Career

Code of Architecture - "Distributed Systems, 4th Ed" #5 (Coordination)

Сегодня в 18:00 по Москве мы продолжим обсуждать книгу "Distributed Systems".
В этом выпуски мы обсудим главу про координацию частей распределенной системы.
Предыдущие выпуски были посвящены общему обзору книги, обсуждению архитектуры, процессов, коммуникаций, а теперь мы дошли до обсуждения следующих важных вопросов
- Как синхронизировать часы в разных частях распределенной системы
- Что такое логические часы (logical clocks)
- Как делать взаимные блокировки (mutual exclusion), чтобы совместно использовать ресурсы
- Как можно выбирать лидера (election algorithms)
- Как организовать координацию при помощи сплетен (gossip-based coordination)
- Как работает publish-subscribe в распределенных системах, то есть как распределено делать event matching 
 - Как оценивать близость двух частей распределенной системы между собой (location systems и GPS в качестве примера)

В выпуске участвуют
- Илья Зонов @ Tinkoff
 - Даниил Кулешов @ Tinkoff
 - Сергей Гоппиков @ Tinkoff
 - Александр Поломодов @ Tinkoff

#SoftwareArchitecture #DistributedSystems #Architecture #SystemDesign #Software #CoA

An Elegant Puzzle. Systems of Engineering Management

Сегодня по дороге из Москвы в Сочи дочитал эту книгу, которую начал читать на этой неделе. Книга оказалась настолько интересной, что я почти не мог от нее оторваться пока летел и дальше ехал до Красной Поляны, куда внезапно уехал на выезд с коллегами:) Эту книгу написал Will Larson, который работал в Digg, Uber, Stripe. Этот же автор написал и книгу "Staff Engineer", которую я обозревал в двух статьях: 1, 2 и поэтому я знал, что чтение будет отборное:)

Сама книга состоит из 7 частей:
1. Introduction - здесь автор рассказывает про свой подход к engineering management
2. Organizations - здесь идет речь про определение размера команд, как оставаться на пути к высокоэффективным командам, как не оптимизировать сверху вниз (часто это работает плохо), как быть продуктивным в быстрорастущих компаниях, как планировать успех
3. Tools - здесь автор рассказывает про системное мышление и упоминает Медоуз с ее "Азбукой системного мышления" (про которую я писал ранее), как быть исполняющим обязанности продакт менеджера, как формлировать vision и strategy, как использовать метрики и baselines для организационного развития, как проводить масштабные миграции, как проводить инженерную организацию (и стоит ли это вообще делать), как формировать свои карьерные нарративы, как подходить к продвижению сложных тем без формального authority с использование подхода model-document-share, как делать презентации топ-менеджменту и управлять своим временем
4. Approaches - как не погрязнуть в управлении исключениями к собственным policies, как говорить нет, формулировать свою философию менеджмента, как понимать где у engineering managers возникают проблемы, как быть в партнерских отношениях со своим менеджером, находить себе зону ответственности и устанавливать направление развития организации
5. Culture - как формировать культуру инклюзивной организации с использованием возможностей и membership, как выбирать лидов проектов, делать своих peers первой командой, как балансировать positive и negative freedoms в культуре компании, отказаться от культуры героев в пользу устойчивого роста
6. Careers - как выстраивать процесс интервью, как проводить холодный sourcing, работать над воронкой найма, использовать performance management для развития уже нанятых сотрудников через понятные карьерные лестницы, как создавать специализированные роли вроде SRE или TPM (technical product manager), как проектировать циклы собеседований для желаемых позиций
7. Appendix - как оперировать в растущей оранизации: на уровне линейного менеджмента, уровне middle management и дальше менеджмента всей организации, а напоследок автор приводит список книг и white papers по интересным для него темам

#Engineering #Management #Leadership #Processes #SystemDesign #SystemThinking #SystemEngineering

Вот эта же книга на фоне гор:)

Анонс моего выступления на Teamlead Conf, что будет в конце февраля. Если будете на конференции подходите пообщаться

Вчера мы провели пятый стрим клуба Code of Architecture по книге “Distributed Systems”, в котором мы обсудили вопросы как организовать координацию разных частей распределенной системы между собой, поговорив про
- физические и логические часы
- взаимные блокировки
- выбор лидера
- подход publish-subscribe в распределенных системах
- близость узлов между собой и как ее можно оценивать

Гостями стрима были
- Сергей Гоппиков, руководитель команд платформы открытия продуктов Tinkoff Business
- Даниил Кулешов, архитектор новой системы авторизации для клиентов Тинькофф

Артефакты с этого стрима доступны по ссылкам
- Статья с кратким обзором
- Запись стрима
- Miro доска с презентацией

#SoftwareArchitecture #DistributedSystems #Architecture #SystemDesign #Software #CoA

Designing Distributed Systems

Автор книги является сооснователем kubernetes, поэтому его опыт в проектировании распределенных систем является довольно актуальным:) Книга мне показалось хорошей, но одновременно слишком простой. Но за счет этого она отлично подойдет новичкам вступающим на запутанную дорожку distributed systems:)

Книга состоит из 3х частей:
- одноузловые паттерны проектирования
- паттерны проектирования обслуживающих систем
- паттерны проектирования систем пакетных вычислений

Все паттерны даются в контексте контейнеров и их оркестрации, книга содержит практические примеры, для реализации которых используется инсталляция kubernetes и его примитивы, такие как pods, deployments, services, etc. Ближе к концу книги вы попробуете использовать helm для разворачивания etcd, kafka и иже с ним.

В первой части рассматриваются паттерны:
- sidecar: для https, динамической конфигурации и метрик
- ambassador: для использования шардированного сервиса и для сплита трафика для тестирования разных версий
- adapters: мониторинг, журналирование

Во второй части рассматриваются:
- репликация: для stateless сервсиов, sticky sessions, кеширование, …
- шардирование: консистентный хеш, шардирование реплицированных сервисов, …
- scatter-gather: распределенный поиск по документам
- FaaS и events: преимущества и недостатки FaaS, реализация декораторов на функциях
- ownership election: локи для распределенных систем

В третьей части рассматриваются паттерны проектирования систем пакетных вычислений:
- системы на основе очередей задач
- событийно-ориентированная пакетная обработка
- координированная пакетная обработка

#DistributedSystems #Architecture #SoftwareArchitecture #SystemDesign #Software #SoftwareDevelopment