Написал недавно для SouthHub мнение про доклад с goto конференции про cognitive biases в разработке софта.

Мысли выходного дня об ограниченности рациональности. Интригует?

Александр Поломодов — руководитель управления разработки цифровых экосистем в Tinkoff и спикер площадки F*** Up Night на South Hub’23 — выразил интересное #мнение и расставил акценты на важных при проектировании программного обеспечения моментах.

Building Evolutionary Architectures (2nd Edition) • Rebecca Parsons, Neal Ford & James Lewis • GOTO 2023

Это интервью авторов книги в рамках книжного клуба goto появилось вовремя - судя по нашему опросу в книжном клубе Code of Architecture, именно эту книгу мы начнем читать через неделю.
Первое издание книги было в далеком 2017 году и было интересным с концептуальной точки зрения, но сыровато по контенту и что хуже - почти полностью отсутствовал тулинг для создания fitness functions. А в конце 2022 года вышло второе издание книги, в которой ребята обновили ее, дали определение основным терминам, подружили evolutionary architecture и architectural governance и много чего еще, что можно узнать из этого интервью:)

P.S.
Анонс первого выпуска по Code of Architecture напишу на этой неделе, но уже могу сказать, что он будет как обычно в понедельник в 18.00 по Москве.

#Architecture #SoftwareArchitecture #SystemDesign #DistributedSystems

Hacking the System Design Interview: Real Big Tech Interview Questions and In-depth Solutions

Наконец-то у меня дошли руки до очередной книги про интервью по системному дизайну. На этот раз это книга Stanley Chiang, который работает сейчас в Google. По изложенной в книге легенде когда-то давно он делал заметки при подготовке к этому типу интервью и потом превратил их в книгу, которая неплохо продается, судя по Amazon. Сама книга состоит из нескольких частей:
- The system design interview - краткое интро про этот тип интервью и про то, как использовать книгу для подготовки к нему
- Essential concepts - базовая терминология, основные принципы для дизайна сервисов, концепции из баз даннх, основы сетей, вопросы интеграции сервисов между собой, концепции из мира распределенных систем и принципы тестирования
- Core components - базовые компоненты, такие как: веб сервера, кеши, объектные хранилища, CDN, подход с read/write API, fan-out services, генерация уникальных id и основы big data и map reduce
- System design questions - здесь автор рассказывает про свой 7-шаговый подход к решению system design задач, как производить приблизительную оценку, рисовать диаграммы и ориентироваться в вопросах к задачам, а дальше приводит 16 интересных задач, которые неплохо бы отрешать для того, чтобы набить руку

В общем, эта книга мне показалась интереснее чем "System Design Interview" от Alex Xu, про которую я рассказывал в статьях на Medium: 1 и 2

P.S.
Эту книгу я прочитал на фоне проведения в этот четверг очередного публичного System Design Interview, про которое я рассказывал несколько недель назад.

#SystemDesign #DistributedSystems #SoftwareArchitecture #SoftwareDevelopment #Architecture #Architect

Migrations - The Hardest Actual Problem in Computer Science • Matt Ranney • YOW! 2022

Крутое выступление про миграции Matt Ranney, Principal Engineer из DoorDash. Последние пару лет он занимается большой миграцией в DoorDash и готов поделиться своими мыслями.
Мэт поднимает вопрос того, что миграции - это сложно и никто не хочет этим заниматься. Все предпочитают работать в greenfield.
Дальше он пробегается по следующим вопросам
- Что такое миграции?
- Почему они сложны?
- Рассказывает про миграцию в DoorDash (объясняя почему она важна)
- Делиться "секретом" как делать изменения на системе, что должна работать все время (always-on) - здесь он рассказывает про подход dual write
- Какие проблемы возможны при этом подходе (auto-increment keys, что делать если системы при dual-write выдают разные ответы, что делать при транзакциях)
- Как люди приходят к использованию шаренной базы данных для нового и старого сервиса (и как это потом бывает больно распутывать)
- Дальше он делится советами о том, как сделать миграции проще
- Продолжает рассказом о том, как хорошие абстракции помогают в этом

А завершается рассказ следующими выводами о том, почему миграции так сложны
- Все создают свой тулинг для миграций
- Сложно обосновать инвестиции в хорошие абстракции по сравнению с продуктовыми фичами
- Существует культурное предубеждение против преждевременной оптимизации (что приводит часто к тактическому программированию)
- Выученная беспомощность в отношении сложных миграций
- Крутые инженеры не вдохновлены идеей миграций - они считают, что это может плохо повлиять на их карьеру или просто не так интересно
- Часто людей, занимающихся миграциями, не вознаграждают за их достижения

P.S.
Как-то десять лет назад у меня был похожий проект про миграцию старой системы на новые рельсы, куда я пришел в качестве лида. Этот проект длился больше года до переключения на новое решение, а потом мы новое решение еще полгода допиливали напильником и только потом вышли на стабильное создание новых фичей. Поэтому я очень хорошо понимаю тезисы автора, а про свой опыт потом тоже напишу статейку:)

#SoftwareDevelopment #SoftwareArchitecture #Conference #SystemDesign

Code of Arch — Recap of Distributed Systems, 4th Edition (Рубрика #Architecture)

В самом начале года в книжном клубе Code of Architecture мы разобрали четвертое издание книги, которое вышло 8 января.
У нас получилось девять насыщенных выпусков по полтора часа каждый. И тут я решил написать статью, в которой собрал все материалы в одном месте.
А для любителей изучать оригиналы отдельно отмечу, что скачать электронную книгу можно на сайте авторов.

#DistributedSystems #SoftwareArchitecture #Software #Architecture #CoA

Improving Software Flow • Randy Shoup • YOW! 2022 (Рубрика #Management)

Классное выступление Randy про создание программного обеспечения. Сам Randy является VP Engineering and Chief Architect в eBay, поэтому ему отлично удался микс архитектурных и процессных рекомендаций. Свое выступление он построил на 5 идеалах из книги The Unicorn Project (я рассказывал про нее раньше), которая является сиквелом популярной книги The Phoenix Project (про нее я тоже рассказывал раньше). Вот эти пять идеалов

- Locality and Simplicity - здесь идет речь про архитектуру и предлагаются следующие подходы (modular services, orthogonal domain logic, event-driven architecture, immutable logs, embracing aynchrony). Интересно, что тут приводится разбор кейса от Walmart про их сценарий проверки доступности товара для отгрузки, где синхронная цепочка из 20+ сервисов была переведена на асинхронную архитектуру и синхронную цепочку из всего трех сервисов (остальные отрабатывали асинхронно). Отдельно про этот кейс Walmart можно посмотреть выступление с devops конференции DOES19 Las Vegas
- Focus, Flow, and Joy - здесь речь про процессы разработки, про kanban и WIP, а также про состояние потока, про отличие расписаний индивидуальных контрибьюторов и менеджеров. Кстати, тут есть отсылка к книге “Визуализируйте работу” (“Making Work Visible”), про которую я писал на Medium.
- Improvement of Daily Work - здесь идет речь про стратегическое программирование (технические инвестиции вместо технического долга), про continuous testing, test-driven development, continuous delivery, а еще про использование общепринятой валюты (время, люди, деньги) при оценке и аргументации технических инвестиций (ведь им придется конкурировать с продуктовыми задачами, которые оцениваются в этой же валюте) и это будет формировать бюджет улучшений
- Psychological Safety - здесь идет речь про проект "Project Aristotle", который был запущен в Google для ответа на вопрос “What makes a team effective at Google?”. И ответ как вы понимаете был в psychological safety. Подробнее рекомендую изучить на странице самого проекта. Плюс тут автор рассказывает про культуру blameless postmortems, про которую я тоже как-то рассказывал несколько лет назад в докладе "Культура postmortems или как мы учимся на ̶с̶в̶о̶и̶х̶ факапах"
- Customer Focus - здесь речь идет про то, что нам надо ориентировать на outcome для клиентов, а не на output в виде результатов наших активностей. Для анализа business outcomes нужны ясные бизнес-метрики и ясные клиентские метрики, а со стороны инженеров нужна инженерная дисциплина и умение решать проблемы бизнеса.

В общем, мне выступление понравилось и я рекомендую его к просмотру техническим лидерам, которые хотят улучшить свои процессы разработки и архитектуру своих систем.

#Software #SoftwareArchitecture #Architecture #Processes #Management #Leadership #Culture #Devops

Call for Paper на ArchDays

27-го октября пройдет уже пятая конференция ArchDays, на которой мы обсуждаем темы связанные с архитектурой и проектированием программного обеспечения.
Мы открыли прием заявок, вы можете оставлять свои заявки на сайте https://archdays.ru, а можете написать кратко тезисы в комментариях к этому посту.
С учетом того, что я тружусь в программном комитете с самой первой конференции и до сегодняшнего момента, то я с удовольствием обсужу с вами вашу идею заявки и если она укладывается в темы, то порекомендую закинуть полноценную зяявку на сайте конфы.
Основные темы конференции следующие:
- Процессы проектирования
- Практики проектирования
- Инструменты проектирования
- Обучение архитектуре
- Собственная разработка

Мы решили сделать упор на практику и провести побольше активностей на решение архитектурных кейсов, проведение архитектурных ката, поговорить про новые архитектурные концепции. Я на этой волне закинул заявку на проведение еще одного публичного system design interview:)

В общем, не стейсняйтесь формулировать заявки:)

#Architecture #SoftwareArchitecture #Conference

Baidu. Как китайский поисковик с помощью искусственного интеллекта обыграл Google (Artifical Intelligence Revolution. How AI Will Change our Society, Economy, and Culture)

Прочитал за несколько дней эту книгу 2017 года про Baidu от Робина Ли, CEO и председателя совета директоров. Могу сказать, что в ней поднята интересная тема, а вот перевод на русский просто ужасен. Не знаю в чем именно проблема, но кажется переводчик с китайского вообще не технический человек, поэтому все научные, it-шные и ml-ные темы тут переведены так, что вы поймете о чем именно речь, если уже знаете про это:) В итоге, смысл читать эту книгу есть, если вы будете это делать в оригинале или хотя бы в переводе на английский язык. В этом плане книга Терренса Сейновски Антология машинного обучения (The Deep Learning Revolution) на 2 порядка понятнее и интереснее переведена.

А теперь пробежимся немного по содержанию книги, из которого видно как много упора на китайскую культуру, текущий подход и планы стать лидером в AI
Предисловие 1. Интеллект Baidu. Рассказ о том, как Baidu оказалась на передовой развития AI
Предисловие 2. Рассвет эры ИИ. Это визионерское предисловие написал Лю ЦыСинь, автор книги "Задача трех тел"
1. Краткая история: рост искусственного интеллекта в интернет-облаке. Эта глава ретроспективно описывает как развивался искусственный интеллект и здесь есть пересечения с вышеупомянутой книгой, а также тут вспоминается про игру в go (на эту тему я рекомендую посмотреть документалку про AlphaGo)
2. Миссия искусственного интеллекта: "знать больше, делать больше, испытывать больше". Вся глава посвящена миссии AI в том формате, как ее видят китайцы и почему у Китая больше преимуществ в реализации этой миссии, чем у того же США
3. Превращение из куколки в бабочку: ИИ, массивы данных и глубокое обучение. Продолжене антологии развития AI, но уже в разрезе deep learning
4. Китайский мозговой план: суперинженерия снизу-вверх. Рассказ про проект "Baidu Brain" и какон интегрирован в национальные программы развития искусственного интеллекта
5. Китайская мудрость и цивилизация. Рассказ про трудолюбивую кульутру и революцию и как в век AI это все меняется в сторону промышленной автоматизации, интерента вещей и интеллектуального общества (и социального рейтинга)
6. Беспилотный район AI: беспилотные автомобили. Рассказ про развитие self driving cars и как у Baidu идут дела в этом направлении
7. С появлением AI забрежил рассвет. Примеры использования AI в финтехе: кредитах и инвестициях
8. ИИ: широкие возможности для бизнеса. Здесь рассказ про то, что AI - это новое электричество. Про то, что нам вместо главных электриков когда-то потребовались технические директора, а теперь пришло время CAO (Chief Artificial Intelligence Officer) и так далее
9. Технические особенности - искусственный интеллект бросает вызов сам себе. Здесь авторы рассказывают про обучение с учителем, без учителя, а дальше доходят до генеративно-состязательных сетей и способов их обучения, а также сравнения с другими ml подходами
10. Окунемся в интеллектуальную эру. Здесь автор описывает футуристичный взгляд на жизнь людей в будущем после повсеметного внедрения AI
11. О дивный новый мир, новая серьезная проблема. Здесь идет отсылка к Олдосу Хаксли и его одноименному роману
Постскриптум. Немного слов о Baidu напоследок и благодарности всем участвовавшим в написании книги.

#ML #DataScience #Software #PopularScience