Обзор книги "Hacking the System Design Interview"

Я наконец-то дописал обзор очередной книги про интервью по системному дизайну. На этот раз это книга Stanley Chiang, который работает сейчас в Google. По изложенной в книге легенде когда-то давно он делал заметки при подготовке к этому типу интервью и потом превратил их в книгу, которая неплохо продается, судя по Amazon. Кстати, мне эта книга показалась интереснее, чем “System Design Interview” от Alex Xu, про которую я рассказывал в статьях на Medium: 1 и 2.

В этой статье я разобрал
- алгоритм решения задач, который автор предлагает использовать
- советы для рисования диаграмм
- сами задачи (к сожалению новых задач там почти нет)

#SystemDesign #DistributedSystems #SoftwareArchitecture #SoftwareDevelopment #Architecture #Architect

Канал на Youtube "Code of Architecture"

Мы завели отдельный канал на Youtube, где будут публиковаться обсуждения одноименного книжного клуба. Плюс там сейчас заведены плейлисты с записями по каждой книге, которых пока набежало 7 полных и одна в процессе:) Подписывайтесь, чтобы не пропустить новые стримы (ну или я про них потом все равно отдельно напомню)

#CoA #Architecture #SoftwareArchitecture

Рефакторинг баз данных: эволюционное проектирование (Refactoring Databases: Evolutionary Database Design)

Эта книга посвящена эволюционному изменению баз данных. Она написана в 2006 года, а в те времена реляционные базы данных были стандартом де-факто и альтернатив особо не было. Потому вся книга посвящена эволюции подходов с жесткой схемой данных (schema on read), в ней активно рассматривается использование триггеров и хранимых процедур и не идет речи про polyglot persistence. Зато авторы говорят про написание тестов, процесс деплоя, sandboxes для разработчиков и так далее. Я читал эту книгу первый раз лет десять назад и она мне тогда казалось достаточно актуальной. Сейчас я перечитал ее и часть вещей кажутся очевидными, а вот часть все еще интересны:)

Если говорить про содержание книги, то в ней 11 глав
1) Evolutionary database development - здесь авторы вводят понятие эволюционного развития баз данных и перечисляют техники: database refactoring, evolutionary data modeling, database regression testing, configuration management of database artifacts, developer sandboxes
2) Database refactoring - в этой главе авторы проводят параллели между рефакторингом кода и рефакторингом схемы данных, а также класификацию видов рефакторинга, что подробнее раскрываются в главах 6-10. Здесь же идет речь про database smells: multipurpose column, multipurpose table, redundant data, tables with too many columns, tables with too many rows, "smart" columns, fear of change
3) The process of database refactoring - здесь авторы рассказывают про процесс с созданием новой схемы, параллельным существованием новой и старой схемы, а потом выключением старой. По-факту, это стандартная история с compatibility между версиями (forward и backward compatibility)
4) Deploying to production - здесь немного про CI/CD для баз данных (сейчас эта глава кажется очевидной)
5) Database refactoring strategies - глава про то, как подходить к миграциям с точки зрения организационного процесса
Дальше авторы проходятся по классам рефакторинга, которые они определили в главе 2.
6) Structural refactoring - здесь рассматриваются простые вещи, навроде того, как удалить колонку, таблицу, view, объединить колонки, переименновать их или например перейти от отношения один-ко-многим к отношению многие-ко-многим
7) Data quality refactoring - добавить или удалить ограничения на nullable, ввести формат данных для колонки, добавить или удалить дефолтное значение или переместить данные
😍 Referential integrity refactoring - как добавить или удалить constraints, добавить каскадное удаление, реализовать hard или soft delete, сделать историю на триггерах
9) Architectural refactoring - сделать CRUD через процедуры, добавить метод на чтение через процедуры, добавить view, добавить индексы, заменить процедуру на view или наоборот:)
10) Method refactoring - про рефакторинг триггеров, процедур и всего того, что сейчас рекомендуют использовать по минимуму
11) Transformation - как добавить новую колонку, новую таблицу, новый view, обновить данные

В итоге, если говорить про книгу целиком, то на текущий момент она скучновата и местами очевидна, но ее все еще можно использовать как справочник того, как делать некоторые изменения в реляционных базах данных.

P.S.
Эту книгу я решил вспомнить в контексте нашего книжного клуба Code of Architecture, в котором мы в понедельник обсудим главу про эволюцию данных из книги "Building Evolutionary Architecture". В этой главе есть отсылка к этой книге "Refactoring Databases", так что я решил обновить свои воспоминания:)

#Databases #Data #Software #SoftwareArchitecture #Architecture

The Illustrated Children's Guide to Kubernetes

Помню как 5 лет назад наткнулся на интересный комикс про Kubernetes для детей (у него есть видео-версия). Концепт мне понравился тем, что сложные вещи объясняются буквально на пальцах да так, что и малыш поймет. А недавно я зашел посмотреть обновления проекта и заметил, что теперь это называется Phippy & Friends и там есть новые персонажи и новые серии:
- Phippy Goes to the Zoo - Follow the tale of Phippy and her niece Zee as they take an educational trip to the Kubernetes Zoo.
- Admiral Bash’s Island Adventure - Admiral Bash’s ship has been sunk by pirates and his mainframe is at the bottom of the sea! Washed up on a deserted island, join Admiral Bash as he navigates his cloud native transformation, helped by Phippy, Zee, Captain Kube, Goldie, Linky, Hazel and some very special new friends.
- From 00-K8s with Love - Agent 00-K8s has to deliver a super secret package as quickly and safely as possible. Will she be able to do it?
- Phippy and Zee go to the Mountains - Another work featuring Phippy and friends: Join Phippy and Zee on a 4-dimensional hike!
- Phippy In Space: Adventures in Cloud-Native Recovery - In the not-so-distant future, space outposts (cloud-native infrastructure) are the next frontier for settlement and Captain Kube is in charge of the cutting-edge Mars outpost. As the outpost has grown in size and complexity, Captain Kube needs to find solutions for many of the settlement’s growing pains. He has recruited Phippy to work with him on the outpost’s Day 2 challenges. Join them on their adventure, as they journey to Mars and brainstorm solutions.
- Phippy’s Quest for Cloud Native Transformation - Phippy is discussing her business challenges with Captain Kube to make the most of an upcoming big sale. Join their discussion on how to be truly cloud native.

В общем, есть что почитать детишками перед сном, чтобоы познакомить их с современным cloud-native концепциями:))

#Software #Cloud #ForKids #Comics

Четвертый выпуск Code of Architecture по книге "Building Evolutionary Architectures"

Сегодня в 18:00 по Москве мы продолжим чтение книги про эволюционную архитектуру и поговорим про главу
Обсудим 6-ую главу Building Evolutionary Architectures, а точнее про темы
— инкрементальное изменение схемы и данных в базе данных
— транзакции как драйвер эволюции
— контроль ссылочной целостности в распределенных системах

Также поговорим о том, подходят ли триггеры и хранимые процедуры для эволюционной архитектуры.
Гостем стрима станет Николай Голов, Head of data engineering в ManyChat. В прошлом Николай развивал data-платформу в Авито и помогал перейти к микросервисной архитектуре от монолита.

#CoA #Databases #Data #SoftwareDevelopment #SoftwareArchitecture #Architecture #SystemDesign

Organization: A Tool for Software Architects • Eberhard Wolff • GOTO 2021

Интересное выступление с goto конференции, посвященное связи архитектуре и тому, как она связана с происходящим в организации.
Автор для начала рассказывает про закон Конвея "Организации проектируют системы, которые копируют структуру коммуникаций в этой организации" (1967 год).
А дальше рассказывает про обратный маневр Конвея (2012 год), который собственно и показывает как можно использовать организацию как инструмент для архитекторов:)
Дальше история развивается в сторону customer-supplier взаимодействия команд внутри компании - это один из паттернов взаимодействия команд, который разбирается в DDD, подробнее можно почитать в моем кратком саммари книги Влада Хононова "What is DDD".
Дальше автор доклада делает следующие выводы и задает следующие вопросы
1) Organization must be defined -> coarse-grained architecture
2) Managers work on organization & (organization = architecture) -> (architects == managers)? - но тут автор отвечает, что в законе Конвея не про оргсхему, а про коммуникации в организации
3) Communiction is a tool for architects - вывод из предыдущего размышления. Тут же появляется история про CoP (Community of Practiice), которое у нас в Tinkoff реализуется через институт профессий, у которых есть свои лидеры, общие встречи, задачи улучшения общих инструментов и практик

Дальше автор рассказывает про книгу "Accelerate", из которой он делает вывод, что на замену старому подходу к архитектуре, где все решения принимает архитектор, должен прийти новый, где "what is important is enabling teams to make changes to their products or services without depending on other teams or systems". В этой концепции architec enable others:) Потом автор вспоминает про концепцию коллаборативных игр и конкретно игру "Pandemic", где все участники уж точно в одной лодке и побеждают или проигрывают вместе - так должно быть и в IT проектах:)

Где-то в середине выступления автор доходит до слайда
Architects shouldn't do architecture!
Вместо этого он предлагает архитектору помогать распространению знаний и дальнейшему их adoption в рамках работы. Дальше пример с проведением вокршопов с kata/dojo и дальше поддержки команд, что пробуют новое. Преимуществами воркшопа автор называет
- распространение знаний о новых техниках
- распространение знаний о вызовах и решениях
- улучшение коллаборации команд

Ну и заканчивается все обсуждением культурных вопросов и проблем
1) Когда на обсуждении новой идеи люди говорят "Well, just tell us how you want us to work" - здесь проблема с тем, что так не работает, работа над новой идеей - это совместная работа и если люди просто спрашивают "что им нужно делать", то значит они не купили вашу идею
2) Шаринг бизнес-целей и стратегии с архитекторами, например по причине секретности - ну тут сложно что-то улучшать, если не понятна цель
3) Социальные организации не являются детерминисткими - наши действия не всегда приводят к предсказуемому результату. Автор приводит пример с неудавшейся реорганизацией, которая не повлияла на потоки коммуникации

В заключении автор заканчивает следующими тезисами
- establishing communication = supporting architecture
- training + consulting = fine-grained architecture

#Architecture #SoftwareArchitecture #Architect #Conference #SoftwareDevelopment #Software #Management

Материалы к четвертому выпуску Code of Architecture по книге "Building Evolutionary Architectures"

Вчера у нас прошел четвертый стрим по книге и мы упоминали следующие книги и концепции:
- Книга "Рефакторинг баз данных: эволюционное проектирование (Refactoring Databases: Evolutionary Database Design)" - старая книга 2006 года, на основе которой авторы написали обсуждаемую главу. Pramod Sadalage - является соавтором как старой книги, так и новой. В этой книге обсуждалось то, как жилось раньше во времена, когда RDBMS были доминирующей силой и они предоставляли гарантии ACID
- Книга "NoSQL. Методология разработки нереляционных баз данных (NoSQL Distilled: A Brief Guide to the Emerging World of Polyglot Persistence)" - старая книга 2012 про NoSQL базы, что пришли вслед за RDBMS. В этой книге Pramod Sadalage тоже является соавтором. Кстати, NoSQL решения уже не предоставляли гарантии ACID, а ограничивались BASE (Basically Available, Soft-state, Eventually-consistent)
- Концепция NewSQL, которая пришла вслед за стандартными RDBMS и NoSQL решениями. Основная особенность в том, что клиенты такой базы получают в ней одновременно и ACID гарантиии на транзакции и горизонтальное масштабирование как в NoSQL решениях. Но ничего не дается бесплатно, поэтому такие базы обычно сложно устроены внутри и нетривиальны с точки зрения operations
- Отдельно мы вспоминали про GDPR и штрафы за его несоблюдение, например, за бесконечное хранение данных пользователей.
- Плюс много историй было про Snowflake и есть вот такое крутое видео от Николая, где он про него рассказывает
- Кроме того, мы упоминали и другие базы данных из категории NewSQL
- - Google Spanner - один из первых представителей класса NewSQL решений. Подробнее рекомендую почитать в white paper. Есть в облаке Google в формате Google Cloud Spanner
- - CockroachDB - другая NewSQL база данных, которую написали выходцы из Google, вдохновляясь Google Spanner. Подробнее в white paper. В прошлом году ребята из Cockroach Labs анонсировали CockroachDB Serverless в GA (generally available)
- - YDB - другая NewSQL база данных, но уже от Yandex. Примечательно, что тут другой подход к транзакциям, а именно детерминированные транзакции Calvin, подробнее в white-paper. Она доступна в Yandex Cloud

#SoftwareArchitecture #Architect #CoA #Databases #Data #SoftwareDevelopment #SystemDesign #DistributedSystems