Code of Arch — Recap of Distributed Systems, 4th Edition (Рубрика #Architecture)

В самом начале года в книжном клубе Code of Architecture мы разобрали четвертое издание книги, которое вышло 8 января.
У нас получилось девять насыщенных выпусков по полтора часа каждый. И тут я решил написать статью, в которой собрал все материалы в одном месте.
А для любителей изучать оригиналы отдельно отмечу, что скачать электронную книгу можно на сайте авторов.

#DistributedSystems #SoftwareArchitecture #Software #Architecture #CoA

Improving Software Flow • Randy Shoup • YOW! 2022 (Рубрика #Management)

Классное выступление Randy про создание программного обеспечения. Сам Randy является VP Engineering and Chief Architect в eBay, поэтому ему отлично удался микс архитектурных и процессных рекомендаций. Свое выступление он построил на 5 идеалах из книги The Unicorn Project (я рассказывал про нее раньше), которая является сиквелом популярной книги The Phoenix Project (про нее я тоже рассказывал раньше). Вот эти пять идеалов

- Locality and Simplicity - здесь идет речь про архитектуру и предлагаются следующие подходы (modular services, orthogonal domain logic, event-driven architecture, immutable logs, embracing aynchrony). Интересно, что тут приводится разбор кейса от Walmart про их сценарий проверки доступности товара для отгрузки, где синхронная цепочка из 20+ сервисов была переведена на асинхронную архитектуру и синхронную цепочку из всего трех сервисов (остальные отрабатывали асинхронно). Отдельно про этот кейс Walmart можно посмотреть выступление с devops конференции DOES19 Las Vegas
- Focus, Flow, and Joy - здесь речь про процессы разработки, про kanban и WIP, а также про состояние потока, про отличие расписаний индивидуальных контрибьюторов и менеджеров. Кстати, тут есть отсылка к книге “Визуализируйте работу” (“Making Work Visible”), про которую я писал на Medium.
- Improvement of Daily Work - здесь идет речь про стратегическое программирование (технические инвестиции вместо технического долга), про continuous testing, test-driven development, continuous delivery, а еще про использование общепринятой валюты (время, люди, деньги) при оценке и аргументации технических инвестиций (ведь им придется конкурировать с продуктовыми задачами, которые оцениваются в этой же валюте) и это будет формировать бюджет улучшений
- Psychological Safety - здесь идет речь про проект "Project Aristotle", который был запущен в Google для ответа на вопрос “What makes a team effective at Google?”. И ответ как вы понимаете был в psychological safety. Подробнее рекомендую изучить на странице самого проекта. Плюс тут автор рассказывает про культуру blameless postmortems, про которую я тоже как-то рассказывал несколько лет назад в докладе "Культура postmortems или как мы учимся на ̶с̶в̶о̶и̶х̶ факапах"
- Customer Focus - здесь речь идет про то, что нам надо ориентировать на outcome для клиентов, а не на output в виде результатов наших активностей. Для анализа business outcomes нужны ясные бизнес-метрики и ясные клиентские метрики, а со стороны инженеров нужна инженерная дисциплина и умение решать проблемы бизнеса.

В общем, мне выступление понравилось и я рекомендую его к просмотру техническим лидерам, которые хотят улучшить свои процессы разработки и архитектуру своих систем.

#Software #SoftwareArchitecture #Architecture #Processes #Management #Leadership #Culture #Devops

Call for Paper на ArchDays

27-го октября пройдет уже пятая конференция ArchDays, на которой мы обсуждаем темы связанные с архитектурой и проектированием программного обеспечения.
Мы открыли прием заявок, вы можете оставлять свои заявки на сайте https://archdays.ru, а можете написать кратко тезисы в комментариях к этому посту.
С учетом того, что я тружусь в программном комитете с самой первой конференции и до сегодняшнего момента, то я с удовольствием обсужу с вами вашу идею заявки и если она укладывается в темы, то порекомендую закинуть полноценную зяявку на сайте конфы.
Основные темы конференции следующие:
- Процессы проектирования
- Практики проектирования
- Инструменты проектирования
- Обучение архитектуре
- Собственная разработка

Мы решили сделать упор на практику и провести побольше активностей на решение архитектурных кейсов, проведение архитектурных ката, поговорить про новые архитектурные концепции. Я на этой волне закинул заявку на проведение еще одного публичного system design interview:)

В общем, не стейсняйтесь формулировать заявки:)

#Architecture #SoftwareArchitecture #Conference

Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google (Artifical Intelligence Revolution. How AI Will Change our Society, Economy, and Culture)

Прочитал за несколько дней эту книгу 2017 года про Baidu от Робина Ли, CEO и председателя совета директоров. Могу сказать, что в ней поднята интересная тема, а вот перевод на русский просто ужасен. Не знаю в чем именно проблема, но кажется переводчик с китайского вообще не технический человек, поэтому все научные, it-шные и ml-ные темы тут переведены так, что вы поймете о чем именно речь, если уже знаете про это:) В итоге, смысл читать эту книгу есть, если вы будете это делать в оригинале или хотя бы в переводе на английский язык. В этом плане книга Терренса Сейновски Антология машинного обучения (The Deep Learning Revolution) на 2 порядка понятнее и интереснее переведена.

А теперь пробежимся немного по содержанию книги, из которого видно как много упора на китайскую культуру, текущий подход и планы стать лидером в AI
Предисловие 1. Интеллект Baidu. Рассказ о том, как Baidu оказалась на передовой развития AI
Предисловие 2. Рассвет эры ИИ. Это визионерское предисловие написал Лю ЦыСинь, автор книги "Задача трех тел"
1. Краткая история: рост искусственного интеллекта в интернет-облаке. Эта глава ретроспективно описывает как развивался искусственный интеллект и здесь есть пересечения с вышеупомянутой книгой, а также тут вспоминается про игру в go (на эту тему я рекомендую посмотреть документалку про AlphaGo)
2. Миссия искусственного интеллекта: "знать больше, делать больше, испытывать больше". Вся глава посвящена миссии AI в том формате, как ее видят китайцы и почему у Китая больше преимуществ в реализации этой миссии, чем у того же США
3. Превращение из куколки в бабочку: ИИ, массивы данных и глубокое обучение. Продолжене антологии развития AI, но уже в разрезе deep learning
4. Китайский мозговой план: суперинженерия снизу-вверх. Рассказ про проект "Baidu Brain" и какон интегрирован в национальные программы развития искусственного интеллекта
5. Китайская мудрость и цивилизация. Рассказ про трудолюбивую кульутру и революцию и как в век AI это все меняется в сторону промышленной автоматизации, интерента вещей и интеллектуального общества (и социального рейтинга)
6. Беспилотный район AI: беспилотные автомобили. Рассказ про развитие self driving cars и как у Baidu идут дела в этом направлении
7. С появлением AI забрежил рассвет. Примеры использования AI в финтехе: кредитах и инвестициях
8. ИИ: широкие возможности для бизнеса. Здесь рассказ про то, что AI - это новое электричество. Про то, что нам вместо главных электриков когда-то потребовались технические директора, а теперь пришло время CAO (Chief Artificial Intelligence Officer) и так далее
9. Технические особенности - искусственный интеллект бросает вызов сам себе. Здесь авторы рассказывают про обучение с учителем, без учителя, а дальше доходят до генеративно-состязательных сетей и способов их обучения, а также сравнения с другими ml подходами
10. Окунемся в интеллектуальную эру. Здесь автор описывает футуристичный взгляд на жизнь людей в будущем после повсеметного внедрения AI
11. О дивный новый мир, новая серьезная проблема. Здесь идет отсылка к Олдосу Хаксли и его одноименному роману
Постскриптум. Немного слов о Baidu напоследок и благодарности всем участвовавшим в написании книги.

#ML #DataScience #Software #PopularScience

Первый выпуск Code of Architecture по книге "Building Evolutionary Architectures"

Сегодня в 18:00 по Москве мы начнем читать новую книгу, которая посвящена построению эволюционных архитектур, а точнее архитектур ПО и продуктов, которые развиваются во времени и меняются в зависимости от запросов бизнеса или пользователей. В первом выпуске мы разберем первые три главы:
1) Evolving Software Architecture
2) Fitness Functions
3) Engineering Incremental Change

Мы поговорим про то
— как управлять изменениями в архитектуре, защищать ее характеристики и сделать ее эволюционной;
— как использование фитнесс-функций может помочь в контроле архитектуры и как они могут быть реализованы.
А также рассмотрим примеры применения CI/CD практик для инкрементальных изменений в разработке и оперативной работе приложений.

Эфир проведем вместе с Сергеем Барановым, организатором и создателем конференции ArchDays и еще автор Agile Mindset и телеграм-канала «Микросервисы — русскоязычное сообщество».

Встречаемся на ютуб-канале IT's Tinkoff сегодня в 18:00 по Москве.

#CoA #Software #Architect #SystemDesign #Philosophy #SoftwareArchitecture

Материалы к первому выпуску Code of Architecture по книге "Building Evolutionary Architectures"

Сегодня у нас прошел первый стрим по книге и я упоминал следующие источники, связанные с темами эволюционной архитектуры:

- Building Evolutionary Architectures (2nd Edition) • Rebecca Parsons, Neal Ford & James Lewis • GOTO 2023 - интервью авторов про второе издание книги
- Новогодний выпуск клуба Code of Architecture с обсуждением Amazon’s “The Distributed Computing Manifesto” - статья с разбором манифеста и эволюции архитектуры Amazon в начале двухтысячных
- Scaling up the Prime Video audio/video monitoring service and reducing costs by 90% - про недавнюю эволюцию архитектуры сервиса в Amazon с лямбда функций в монолит
- Migrations - The Hardest Actual Problem in Computer Science • Matt Ranney • YOW! 2022 - про сложность миграций при попытке реализовать эволюцию архитектуры
- Миграция в срок, реальность или миф? - подкаст Антона Костерина, моего заместителя в Тинькофф, который рассказал про сложности одной из наших миграций
- Chaos Engineering. Building Confidence in System Behavior through Experiments - книга про хаос инженерию, которую авторы предлагают использовать в качестве фитнес-функций
- The Pipeline-Driven Organization • Roy Osherove • GOTO 2022 - Интересное выступление на тему организаций, ориентированных на flow поставки ценности. Вместо DevOps, DevSecOps, TestOps, DevSecTest...WTF...Ops просто pipeliine-driven:)
- Самая главная молекула - крутая книга про ДНК и эволюцию
- "Рождение сложности. Эволюционная биология сегодня" - крутая книга про эволюцию и происхождение жизни

#CoA #Software #Architect #SystemDesign #Philosophy #SoftwareArchitecture #Processes #Management

Вакансия Head of Engineering RnD в Tinkoff

Очень вкусная вакансия в команду моего коллеги, Игоря Маслова, который является VP и отвечает за наши платформенные разработки.
Мы в Тинькофф умеем делать клиентские продукты и наши масштабы таковы, что мы готовы не только вкладываемся в продукты и разработку, которые дают результат сейчас, но и инвестируем в исследования области Computer Science. Например, это могут быть исследования в доменах
- Системы хранения, например, распределенные хранилища для анализа и обработки данных;
- Инструменты продуктивности наших инженеров - различные ассистенты для разработки;
- Различные облачные решения - системы балансировки трафика с защитой от атак. И многое другое.

Обязанности звучат примерно так
- Создание фреймворка исследований в широком спектре ИТ направлений для получения PoC, написания статей и выступления на конференциях
- Создания процесса внедрения результатов исследований в наши бизнес направления
- Разработка стратегии исследований
- Создание и управление командой исследователей внутри Тинькофф
- Выстраивая взаимоотношений с научными институтами и запуск совместных исследований совместно с Тинькофф Образование

Если вам интересна позиция, то можете откликаться на сайте сами или написать в тредик к этому сообщению и дальше пообщаемся в личных сообщениях.

P.S.
Вакансия настолько интересна, что если бы мог себя склонировать, то одну из копий отправил заниматься этой работой:)

#Career #Vacancy #Engineering #SoftwareDevelopment #SoftwareArchitecture

The Great Mental Models - Vol. 1

Очень крутая книга про ментальные модели, которые могут прокачать ваше мышление. Эта книга входит в проект "The Great Mental Models Project", где есть три тома, а первый посвящен основным концепциям мышления (general thinking concepts), среди которых авторы выделяют следующие
- The map is not the Territory - концепция про то, что карта не является территорией и это правильно. У каждой карты есть цель составления и в угоду этой цели лишние детали откидываются и остается абстракция, которая должна быть полезна для достижения цели. Стандартный пример с картой метро, которая не матчится на географическую карту, но зато помогает просто выстраивать маршрут перемещения между разными станциями
- Circle of competence - концепция про круги компетенций, когда нам стоит понимать в чем мы компетентны, а в чем не совсем и действовать с соответствующей уверенностью в зависимости от того, попадает ли домен в нашу зону компетенций.
- First Principle Thinking - подход, когда к решению можно идти с самых основ. Иногда это бывает полезно для решения комплексной задачи
- Thought Experiment - подход с мысленными экспериментами, которыми так любят пользоваться ученые:) Например, история со специальной теорией относительности Эйнштейна обычно демонстрируется при помощи мысленных экспериментов. Или знаменитый кот Шредингера из его мысленного эксперимента насчет квантовой физики и суперпозиции живого и мертвого:)
- Second-Order Thinking - подход, в котором учитываются не просто прямые последствия, но и последствия последствий. В IT можно привести в пример размышления про day 2 operations, когда люди размышляют при создании продукта, а что будет когда он уже будет готов и отгружен пользователям
- Probabalistic Thinking - вероятностное мышление, рекомендую почитать книгу "Thinking in bets" на этот счет (вот мой обзор этой книги)
- Inversion - подход с инверсией, когда мы идем от финального результата к текущему состоянию. У Amazon есть прикольная книга "Working backwards" про этот подход, плюс иногда его называют backcasting и я про него рассказывал в выступлении для individual contributors "Как и куда развиваться, если ты уже Senior Software Engineer"
- Occam's Razor - подход, когда мы выбираем простейшее объяснение как более вероятное при наличии более сложного объяснения
- Hanlon's Razor - здесь основной посыл в том, чтобы не предполагать худшее. В итоге, если что-то пошло не по плану, то обычно это не кто-то сделал это специально, чтобы навредить вам, а скорее всего это проявление невежества, глупости или лени:) Этот подход спасает от паранойи, в рамках которой вы везде видите злой умысел.

Дополнительные концепции, которые подсвечивают авторы следующие
- Falsifability - история про то, что при выдвижении гипотез и теорий они имеют смысл и являются научными только в случае, если на практике есть варианты показать, что они не выполняются. В противном случае это больше похоже на догму, а не научную теорию
- Necessity and Sufficiency - концепция необходимости и достаточности. Это разные вещи:) И если выполнены необходимые условия для какого-то события, то не факт, что оно точно произойдет:)
- Causation vs Correlation - стандартная история из статистики про причинно-следственную связь и корреляцию. Суть в том, что из связанности двух явлений мы автоматически не можем вывести причинно-следственную связь - для этого нам еще потребуется провести эксперимент с зависимыми и независимыми переменными:)

#Thinking #PopularScience

Книги. Всемирная история библиотек

На этой неделе мне приехала коллекционная книга Кэмпбелла и Прайса про историю библиотек как архитектурных объектов по всему миру. Мне показалось, что раз я люблю книги и я люблю архитектуру, то мне стоит купить себе такое подарочное двухкилограммовое издание:) Возможно, идеи из этой книги воплотяться в моей новой библиотеке, которая у меня скоро появится:)

#History #Architecture