Data Mesh: Delivering Data-Driven Value at Scale

Недавно я ходил в книжный клуб моих коллег из data platform для обсуждения этой книги Zhamak Dehghani . Мы должны были обсудить девятую главу "The Logical Architecture", которую я и успел прочитать к записи выпуска, пропустив остальные главы, отчасти из-за того, что я эту концепцию помню с момента основания, а также видел ее разбор в разных книгах
- В 2019 году Zhamak Dehghani выступала про data mesh на многих конференциях, например, на QCon или на Software Architecture Conference в Берлине, которую я посетил лично
- В 2022 году вышла эта книга и Zhamak Dehghani приходила в книжный клуб goto обсудить эту книгу
- В книге "Learning DDD" Влада Хононова в одной из глав разбиралась на пальцах связь domain driven design и data mesh (и у меня есть краткий разбор тезисов)

Собственно, глава про логическую архитектуру начинается с воспоминаний о концепциях data mesh, а дальше идет попытка разобраться как их реализовать

1) Domain ownership extends domains with analytical data sharing interfaces
2) Data as a product introduces a new architecture quantum, aka data quantum
3) The self-serve data platform drives a multiplane platform architecture
4) Federated computational governance embeds computational policies into each data product

Дальше авторы много говорят про контракты по данным от доменов, а также про кросс-зависимости между доменами. Во втором авторы используют неоднозначное понятие архитектурного кванта, введенное в книге "Software Architecture: The Hard Parts", которую мы разбирали в подкасте "Code of Architecture". Это же понятие активно использовалось в книге "Building Evolutionary Architecture", которую мы тоже разбирали

An architectural quantum, defined in Building Evolutionary Architectures (O’Reilly), is the smallest unit of architecture that can be independently deployed, has high func‐ tional cohesion, and includes all the “structural elements required for its function.”

Из этого понятия архитектурного кванта у ребят рождается понятие data quantum, где ETL как бы внутри и абстрагирован от внешнего окружения. А сам квант представлен API: input data API, output data API, Discovery and observability API.
Дальше идет интересное обсуждение платформы и ее отдельных planes:
- Mesh experience plane
- Data product experience plane
- Infrastructure utility plane
Где самым интересным является первый уровень, так как именно он позволяет совместно использовать разные дата продукты, опубликованные командами отдельно. Отдельно отмечается, что вся эта платформа должна быть перевязана policies и standards для того, чтобы общая концепция не развалилась из-за децентрализованного подхода.

В общем и целом, подход интересный, но достаточно сложно реализуемый. Можно глянуть доклад про платформу данных Евгения Ермакова из toloka.ai, где они на практике шли в сторону data mesh целенаправленно, правда там фокус все-таки на dbt как ядре их платформы данных. Я делал краткое саммари этого доклада.

#Data #Datamesh #DWH #Processes #Management

Битва за прошлое. Как политика меняет историю - Part III (Рубрика #History)

Заканчиваю рассказывать про книгу "Битва за прошлое" обсуждением последней части "Прошлое как действие". Предыдущие посты можно почитать здесь: 1 и 2.
Собственно в этой части автор говорит о том, как День Победы стал референтной точкой для современной России - ведь имперское прошлое уже далеко, а советская ключевая дата в виде Великой Октябрьской социалистической революции уже перестала быть актуальной. В общем, вся эта часть про то, как прошлое влияет на действия в нашем текущем настоящем:) Рабирается история с делом Дениса Карагодина, где обычный выпускник Томского университета решил расследовать смерть своего деда, который стал жертвой Большого террора НКВД в начале 1938 года. Похожая история есть и в США, где 120к японцев переселили от Тихого океана во внутренние штаты.
Дальше автор разбирает историю с реконструкторами и том, как популярно играть в нацистов в США, где республиканского кандидата в члены конгресса в 2010 запечатлели в форме дивизии СС "Викинг". Интересно, что он участвовал в реконструкциях сражений и форму СС "Викинг" он и его группа выбрали из-за того, что эта дивизия воевала на восточном фронте против советской армии, а не против британцев или американцев. Собственно, в США память о победе во второй мировой войне может быть описана цитатой Трамппа из твиттера в 2020 году, где было написано, что. "8 мая 1945 года Америка и Великобритания победили нацистов", где СССР даже не упоминается:) А вообще в США реконструируют обычно времена их гражданской войны. А в России реконструкторское движение сейчас патронирует Министерство обороны, которое проводит масштабные мероприятия военно-исторических клубов в своем парке "Патриот".
Ну и последняя глава этой части посвящена движению "Бессмертный полк", которое появилось благодаря нескольким активным журналистам, а потом оказалось под крылом правительства. Это движение оказалось хорошим сделать так, чтобы память о ветеранах прожила дольше, чем они сами, так как их количество на Парадах Победы 9 мая все сокращалось. В итоге во вторую часть заглавия этой главы автор выносит риторический вопрос "Кому принадлежит память о войне".

Ну и финализирует книгу автор таким абзацем

Споры по поводу прошлого никуда не исчезнут, потому что причина их лежит в современности. История лишь предоставляет материал и язык для современного политического конфликта. Можно, однако, договориться о границах "исторических" конфлктов, как договариваются о неиспользовании некоторых приемов языка и конкретных слов в дипломатическом диалоге. Можно понять, что множественность прошлого теперь с нами навсегда. И научиться жить с ней.

#Management #Leadership #History #Strategy

ИТ Пикник (Рубрика #Software)

17 августа ИТ Пикник будет проходить во второй раз. Это большой семейный фестиваль для опытных IT'шников в Коломенском. Я думаю, что мероприятие будет еще масштабнее, чем в прошлом году и оно будет содержать следущие активности
- Лекции на разные темы - тут одним из треков будет трек по архитектуре, надежности и качеству. В прошлом году я был в программном комитете, а в этом пристроил ПК в руки своего зама, Антона Костерина
- Интерактив для детей и взрослых - тут будут мастер-класссы, шахматный турнир, робототехника, virtual reality, космонавтика и спорт
- Музыкальная часть фестиваля - тут будут крутые исполнители и хедлайнер, имя которого пока мы держим в секрете

Сам фестиваль организовали Т-Банк, CodeFest и Мельница, а также у фестиваля есть много крутых IT-партнеров.

Если вы хотите попасть на фестиваль, то простой трехшаговый алгоритм выглядит так:
1) Зарегистрируйтесь в форме, указав специальность (предполагается модерация заявок)
2) Дождитесь письма, где будет ссылка на внесение благотворительного взноса - для получения билета надо будет пожертвовать от тысячи рублей в один из фондов
3) Получите подтверждение регистрации и билет на указанную вами почту

P.S.
Думаю, что я приду на фестиваль с семьей, поэтому если кто-то захочет пообщаться, то меня можно будет найти где-то в районе шатра по архитектуре:)

#Conference #Software #SoftwareArchitecture #SRE

Turbo ML Conf (Рубрика #ML)

Астрологи объявили неделю анонсов мероприятий Т-Банка, поэтому я расскажу сегодня про первую ML конференцию, которую мы приоводим 20 июля для всех, кто занимается машинным обучением. Организаторы говорят, что посетить ее будет интересно всем: исследователям, ML-инженерам, SDE инженерам, техлидам и даже тимлидам.
 
Конференция состоит из плотной программы из технических докладов, а также вечернего афтепати. Там будет:
- Четыре потока — NLP & MLOps/LLMOps, Research & RnD, CV & Speech и RecSys & TS;
- Кейсы лидеров индустрии — заглянем в самое сердце AI-продуктов Т-Банка, VK, SberDevices, Яндекса, MTS AI, AIRI, Lamoda и других бигтехов;
- Афтепати, нетворкинг и уникальные челленджи, чтобы проверить свои скиллы на деле.

Мерооприятие пройдет в Москве в Гоэлро Лофте, на сайте есть форма регистрации, так что у желающих есть возможность попробовать добыть билетик.

P.S.
Меня на мероприятие позвали хоть я и не занимаюсь особо ML, поэтому если не случиться форс-мажора, то я приду послушать доклады и пообащться с посетителями (если есть желание меня поймать и о чем-то поспрашивать, то там это возможно получится сделать).

#Conference #Software #ML #DataScience

Бизнес-линии, сервис-линии и платформы @ T-Bank - Part III - (Рубрика #Management)

Продолжу первые два поста (1 и 2) и расскажу как мы из квази-продуктовой команды делали платформу. Здесь речь идет про Мобильный Банк, о котором я рассказывал много раз и раньше, но самый сочный рассказ был на Higload ++ Spb 2022. Но для этого поста я сокращу его до кратких тезисов:
- До конца 2019 года Мобильный Банк Тинькофф рассматривался как самостоятельный продукт, который развивался и побеждал во всех рейтингах вида MarksWebb
- Команда была монолитной и со своими приоритетами, где фокус был на кредитных и дебетовых продуктах, а также лайфстайл сервисах
- Но в 2019 году компания решила, что Мобильный Банк должен стать супераппом, в котором представлены все бизнес-вертикали (из терминологии первого поста)
- В этой концепции мобильный банк должен был стать платформой, а точнее позволить продуктовым командам бизнес-вертикалей автономно разрабатывать свои фичи внутри приложения
- Для того, чтобы это работало надо было выделить платформенные команды, которые позволяли бы обеспечивать такие вещи как: согласованная архитектура приложения, общие инструменты для тестирования, сборки, производительности, надежности, дизайн решений

В момент перехода мы, фактически провернули обратный маневр Конвея, а точнее
- Уловили цели и задачи бизнеса
- Выяснили какая архитектура потребуется под их решение
- Выработали правильный оргдизайн команд, границы ответственности, процессы работы
Дальше мы несколько лет шли в сторону платформизации и сейчас все продуктовые команды мобильного банка и API уехали в свои бизнес-вертикали, а у меня в юните осталось управление разработки клиенстких интерфейсов (УРКИ), в котором остались платформенные команды:) Я считаю, что это преобразование прошло успешно и мы достигли тех целей, которые ставили перед собой, когда запускали эти изменения. Подробнее почитать про этот кейс можно в моей статье или посмотреть видео-записи выступления.

P.S.
В общем про подходы формирования структуры команд под запросы бизнеса я рассказывал раньше в постах про
- структуру команд
- проектный подход
- продуктовую разработку

А также рассказывал про это на конференции Yandex под конец 2023 года

#Management #Leadership #Software #Processes

Interview with Product Manager in 2024 [Corporate] (Рубрика #Humour)

Еще одно отличное видео про профессии в IT, но в этот раз про product менеджеров в enterprise (в прошлый раз я писал про agile коучей). Здесь и про dog fooding, целепологание и синхронизацию бизнеса и IT, про поитику, процессы и эмоции, ведение JIRA и использование почты и так далее. Мне особенно понравились эти цитаты

- Politics over progress, processes over logic, emotions over process
- We did not meet our OKRs this quarter, we need to change our OKRs
- I have never used our product
- I’m not saying they know what they’re doing, I’m just saying I really don’t care
- We have a tool to consolidate our documents... my downloads folder
- I'm gonna issue a Jira ticket, but I'll send it by email... so you will forget.
- Nobody has a clue what we're doing
- I barely know the names of most of the people on our team
- We define the requirements at the beginning of the project. Changes come in through change-requests. We do have the agile manifesto hanging on the wall, so to me it sounds like agile.

В общем, рекомендую посмотреть видео в оригинале и насладиться отличным юмором автора и узнаваемыми ситуациями:)

#Management #Leadership #Processes #ProductManagement #Project