Visualizing Performance - The Developers’ Guide to Flame Graphs • Brendan Gregg • YOW! 2022

Интересный доклад про визуализацию производительности при помощи Flame graphs от Brendan Gregg, который их когда-то и придумал. Помимо этого он придумал еще и USE методологию (utilization, saturation и errors). Конкретно в этом докладе Грегг рассказывает про
1. Какие существуют реализации flame graphs
2. Как работают flame graphs для профилирования использования CPU и как он дошел до их изобретения (spoiler: через flame charts)
3. Какие были проблемы со стеками и символами - тут Грегг делится тем, что пришлось доделывать в gcc, java, jit symbols, чтобы стеки в профилировщике работали правильно
4. Куда еще можно вкрутить flame graphs для улучшения визуализации - например, page faults, disk i/o requests, tcp events, cpu cache misses, ...
А еще чем так хорош eBPF для отслеживания проивзодительности:)

В общем, это полезный доклад, даже если вам не часто приходиться заниматься оптимизацией проивзодительности приложения:)

P.S.
А еще у Грегга есть крутая книга "Systems Performance (Addison-Wesley Professional Computing Series) 2nd Edition", но я ее пока не читал:)

#Performance #Software #SoftwareDevelopment #SystemDesign

Software Engineering at Google • Titus Winters & Matt Kulukundis • GOTO 2022

Классное интервью Titus Winters, сокуратора книги "Software Engineering at Google" с Matt Kulukundis в рамках книжного клуба конференции goto. У меня эта книга находится в очереди на прочтение, причем почти на первом месте.

Если возвращаться к интервью, то ребята обсуждают следующие крутые вопросы
- Build systems - про важность build system для повышения продуктивности разработки
- Build systems dependencies - про зависимости при сборке и зачем ей быть герметичной и повторяемой
- What is Google trying to improve in engineering? - про DORA (DevOps Research and Assessment) и необходимость техническим руководителям ставить цели по улучшению CD внутри их проектов (но часто технические руководители мало работают руками, поэтому не видят косяки в пайплайне работы с кодом их команд и доставкой их на продакшен)
- Cheat sheet for building great teams - про важность культуры, где все вовлечены и по доброму относятся друг к другу. Подробнее есть в проекте Аристотель
- Where can Google improve on from a culture’s perspective? - про главы в книге, которые посвящены лидерству, например, про важность задавать "простые" вопросы, чтобы все люди понимали в чем суть обсуждения
- How to grow as a software developer? - про принятие решений и право на ошибку, именено так люди растут - принимая решения и ответственность за них. Но тут важно, чтобы в команде была правильная культура и psychological safety, основной фактор успешной команды из упоминавшегося выше проекта Аристотель
- What chapter is missing entirely in the book? - тут упоминались три потенциальные главы, что в итоге не попали в книгу
-- про app фреймворки, которые помогают писать код, абстрагируясь от сложности деталей и использую DI (dependency inversion)
-- про работу с issues (тут авторы честно сказали, что у них просто не было идей что тут можно рассказать интересного, но возможно, кто-то могу раскрыть эту тему с философской точки зрения, ... но видимо не в Google)
-- про design, но это тема отдельной книги
- What decisions are hard to undo? - про интерфейсы, версионирование и форматы сериализации:)
- Book recommendations - на протяжении выступления были рекомендации книг, как научных, так и фантастических:
-- Titus Winters, Tom Manshreck & Hyrum Wright • Software Engineering at Google
-- Forsgren, Humble & Kim • Accelerate: The Science of Lean Software and DevOps
-- George Fairbanks • Just Enough Software Architecture
--Fred Brooks Jr. • The Mythical Man-Month
-- Kim Scott • Just Work
-- Douglas R. Hofstadter • Gödel, Escher, Bach
-- Douglas R. Hofstadter • I Am a Strange Loop
-- Alasdair MacIntyre • After Virtue
-- N. K. Jemisin • The Fifth Season
-- Becky Chambers • Wayfarers Series
-- Ken Liu • The Dandelion Dynasty
-- David Farley • Modern Software Engineering
-- Martin Kleppmann • Designing Data-Intensive Applications
-- Zhamak Dehghani • Data Mesh

#Engineering #SystemDesign #Management #Leadership #Software #SoftwareDevelopment

Platform Engineering on Kubernetes • Mauricio Salatino & Thomas Vitale • GOTO 2023

Интересное интервью с Mauricio Salatino, автором книги "Platform Engineering on Kubernetes" в котором обсуждаются следующие темы

- Open-Source: The gateway to continuous learning in software engineering - как автор книги занялся open source проектами и как это ему помогло стать лучше с точки зрения software engineering
- Mastering the Cloud-Native ecosystem: Insights from a Kubernetes expert - про то, как появилась идея книги + как сложно собрать набор cloud-native проектов, для решения реальных задач (и как автор выбрал набор таких проектов, а потом менял их по мере изменения CNCF ландшафта)
- Navigating the Cloud-Native maze: A developer's guide to tools & ecosystem - тут автор рассказывает как ориентироваться в этом ландшафте и как разные части этого ландшафта стыкуются друг с другом
- Streamlining Cloud-Native deployment: tools, techniques & infrastructure - рассказ про структуру книги: деплой приложения, билдинг артефактов, изменения инфры под кластером, ... И так он приходит к концепции платформы поверх K8s
- Simplify & scale: Leveraging Knative for containerized application deployment - обсуждение части книги про Knative в разрезе более простого релиза приложений без погружения в модель K8s. Рассказ про a/b тестирование и feature flags
- Dapr: Empowering developers & simplifying infrastructure - обсуждение Dapr (distributed application runtime)
- Unveiling capabilities: Delivering functionality stealthily without tool exposure - как предоставить capabilities так, чтобы это было в форме абстракций, а не конкретных инструментов (knative, dapr, ...). Тут идет речь про platform API, которые предоставляют API более высокого уровня абстракции, чем просто голый K8s и прикрученные сбоку проекты из CNCF ландшафта. Это основная содержательная часть интервью
- Kubernetes: Is it a boon or bane for your organization? - как организации начинат использовать Kubernetes и как они приходят к platform engineering
- Developer experience: Tools should be enablers, not blockers - сложно добавить что-то к заголовку:)

P.S.
Расшифровка интервью доступна здесь.

#SoftwareDevelopment #Kubernetes #DistributedSystems #PlatformEngineering #Software #Architecture #SoftwareArchitecture

Code of Architecture - Kubernetes Patterns, 2nd Edition

В голосовании на выбор новой книги победило второе издание "Kubenetes Patterns", что вышло в марте 2023. В ближайшее время мы начнем ее читать и планируем управиться за три-четыре выпуска. Если вам интересна эта тема, то для вас есть пара ресурсов, что могут быть полезны
- Бесплатная версия ebook от RedHat доступна здесь
- Мой обзор первого издания книги есть в статье. Во втором издании добавилась часть про security patterns и была сильно отредактирована часть про advanced patterns (про elastic scale и image builder)
- Поверх Kubernetes стали строиться платформы и про эту концепцию можно посмотреть интервью Mauricio Salatino, автора книги "Platform Engineering on Kubernetes", про которое я писал раньше

#Kubernetes #SoftwareArchitecture #Software #Architecture #Patterns #DIstributedSystems

Тестирование черного ящика (Black-Box Testing: Techniques for Functional Testing of Software and Systems)

Эту книгу доктора Бориса Бейзера я прочитал чуть меньше 20 лет назад и уже тогда понял, что тестирование - это дело непростое:) Автор рассказывал в этой книге об этом, привлекая теорию графов, активно используя предикатную логику и логику высказываний, активно апеллируя к потокам выполнения и потокам данных. В общем, этот подход к функциональному тестированию показался мне сильно сложнее, чем обычно использовался и используется на практике:) Кроме того, автор решил тестировать при помощи black box форму для налоговой декларации в США, которая в 1995 году, когда вышла английская версия книги, не отличалась стройностью и логичностью (прямо скажем она выглядела как безумное наслоение "так исторически сложилось"). В итоге, книга сейчас полезна как подставка под чашку с кофе или как напоминание почему крутых тестировщиков я называю quality assurance engineer:)

Ниже представлены главы книги, чтобы вы могли сами оценить насколько она практичная и понятная
0. Readme.doc (описание книги и mindmap со связью глав между собой)
1. Введение (стратегии тестирования, роли тестировщика и программиста, процессы разработки софта)
2. Графы и отношения (теория графов и как ее использовать для тестирования)
3. Тестирование потока управления (уже тут появляются предикаты и поток исполнения программы в виде графа, как выбирать пути тестирования)
4. Тестирование циклов (какие циклы бывают: детерминированные и нет, вложенные и с использованием goto, как выбирать тестовые значения)
5. Тестирование потоков данных (обсуждение похоже на тестирование потока управления)
6. Тестирование потоков транзакций (тут появляются марковские цепи, а также очереди и иерархические модели, модели синхронизации и т.д.)
7. Тестирование доменов (тут появляются кусочки матана для тестирования предельных значений численных доменов, эпсилон-окрестности и т;д.)
8. Синтаксическое тестирование (тут нам надо знать основы теории и реализации языков программирования, ну или хотя бы про грамматику Бэкуса-Наура и ее использование в тестировании)
9. Тестирование систем с конечным числом состояний (тут надо знать про конечные автоматы, как их можно визуализировать в таблице переходов и как это использовать для тестирования)
10. Инструментальные средства и автоматизация (их не было особо 30 лет назад)

В общем, сняв сегодня эту книгу с полки и пролистав, я понял, что меня смущало в ней - я и 20 лет назад не уловил целевую аудиторию книги. По-факту, прочитать, понять и использовать эти подходы может только человек с очень хорошим бэкграундом в computer science. А такой человек скорее всего отправится писать production код, а не заниматься написанием функциональными тестами с использованием black box.

#QualityAssurance #Software #SoftwareDevelopment

ProIT Fest!

Завтра вечером уезжаю со старшим сыном в Питер на фестиваль ProIT Fest, который пройдет на берегу Финского залива парка 300-летия Санкт-Петербурга. На самом мероприятии я порешаю архитектурные кейсы, которые принесут посетители, а также расскажу в рамках круглого стола историю из серии "так исторически сложилось" из своего опыта работы в Тинькофф. Плюс я планирую показать сыну как выглядит IT'шный фестиваль, так как на IT-конференцию я его уже как-то водил:)
Если вы решите посетить фестиваль, то купить билет можно тут, используя промокод ITFEST получите скидку на 10%! Если будете там, то заходите в секцию архитектуры.

Анонсы и новости ProIT Fest можно найти в telegram.

#Conference #Software #SoftwareArchitecture #Architecture #SystemDesign

Architecting For Scale • Lee Atchison & Ken Gavranovic • GOTO 2021 (Рубрика #Architecture)

Недавно посмотрел интервью Lee Atchison с Ken Gavranovic по поводу второго издания книги "Architecting For Scale", вышедшего в 2020 году. Про свои впечатления от первого издания я рассказывал год назад. Но меня заинтересовало новой издание и рассказ автора о нем. Что же обсуждали эти два уважаемых человека? Темы были следующие:

- What problem does “Architecting for Scale” solve? - рассказ про то, как Lee стал экспертом по масштабированию за 7 лет в Amazon и потом на 7 лет перешел в NewRelic, который тоже дошел до момента, когда им надо было масштабироваться. А потом Lee написал первое издание книги в 2016 году. Потом он начал консультировать по проблемам scalability разные компании и на базе этого опыта написал второе издание, расширенное и дополненное
- Risk management - автор рассказывает про свой любимый инструмент в виде риск-матриц и возможности их использовать для коммуникаций с топ-менеджерами для обсуждения и приоритизации задач по масштабированию по сравнению с бизнесовыми задачами внутри беклога. По-моему мнению, это хороший и понятный инструмент
- Best practices for moving to or starting with microservices - обсуждение перехода на микросервисную архитектуру и чем она помогает в scalability. Тут автор рассказывает про компании, которые стартовали такую миграцию, но остановились в середине процесса и получили промежуточную ситуацию, в которой все стало только хуже. Автор обобщает это и на другие большие миграции:)
- Project Beanstalk - автор с ностальгией вспоминает AWS Elastic Beanstalk, который он запускал в Amazon после окончания большой миграции веб приложения amazon.com в первую половину 2000х годов. Автор говорит, что это был первый платформенный сервис в AWS, который предоставлял сервис поверх IaaS для деплоя и масштабирования веб-приложений
- Beyond the book: Real-life struggles - автор рассказывает, что при консультациях обращает внимание больше на процессы и процедуры внутри компаний клиентов, а код и архитектура приложений идут вторым приоритетом.
- Next step: Operating for scale - здесь автор ставит знак равенства между scalability и availability. С точки зрения operations автор фокусируется на availability систем, как устроены deployements, security, а также тестирование на масштабе. По поводу тестирования автор говорит, что меньше ценит unit тесты и больше тесты в production (Chaos Engineering). Также тут идет речь про game days и учения на production
- Continuous releases - тут идет речь про фундаментальную роль CI/CD для всего, что обсуждалось выше. Фактически, это является пререквизитом:)
- Future releases - автор рассказывает, что "stay tuned" и дальше будут новые книги:)

#Architecture #SoftwareArchitecture #Software #SoftwareDevelopment #Engineering #SystemDesign #Management #Leadership

It Wasn’t Me - #SecureYourAccount

Интересный трек про фрод в банках. Сегодня увидел это видео в качестве перебивки перед событием, посвященным рассказу о безопасности. Мне кажется, что такой подход к безопасности является рабочим - в нем в шутливой форме представлена стандартная ситуация, которой можно не допустить если просто знать, что банк никогда не спрашивает про пароли, пины, коды подтверждения, ...

#Security #Humor