Data - The Land DevOps Forgot • Michael Nygard • YOW! 2023 (Рубрика #Data)
Интересное выступление от Michael Nygard, автора книги "Release It!" (я рассказывал про нее), а сейчас VP в Nubank (бразильский необанк), где он отвечает за направление data engineering. Интересно, что Майкл когда-то популяризировал подход к написанию ADR (architecture decision records). А в этом выступлении Майкл рассказывает про концепцию data mesh, но в приложении к сквоим задачам внутри Nubank, где старый процесс ETL/ELT уже не масштабируется. Собственно Майкл пришел туда менять подходы в сторону концепции, придуманной Zhamak Dehghani, которая написала на эту тему отдельную книгу.
В самой концепции есть четыре ключевых принципа
1. Domain ownership
2. Data as a product
3. Self service platform
4. Federated governance
По-факту, этот подход можно сравнить с применением микросервисного подхода к oltp системам, но перенесенное в мир аналитики. Про это хорошо писал Влад Хононов в книгег "Learning Domain-Driven Design". Я делал краткое саммари этих идей в отдельной статье.
В выступлении Майкла интересна практика применения этого подхода. Например, он объясняет почему это сложно, например
1) Ownership данных накладывает обязательства на владельцев данных (стоимость производства и поддержки данных), а бенефиты получают консьюмеры
2) Self-service платформа достаточно сложна в созданни, но она помогает в создании marketplace данных (cost visibility, прайсинг за использование данных)
3) Отсутствуют части всей этой истории про data mesh: interoperability, "swagger of data", все крутится вокруг работы с данными
Напоследок Майкл раассказывает про то, как надо подходить к таким изменениям в работе с данными (советы можно посмотреть в приложенных слайдах).
#Data #Management #DataMesh #Software #SoftwareArchitecture #Architecture #Engineering
Интересное выступление от Michael Nygard, автора книги "Release It!" (я рассказывал про нее), а сейчас VP в Nubank (бразильский необанк), где он отвечает за направление data engineering. Интересно, что Майкл когда-то популяризировал подход к написанию ADR (architecture decision records). А в этом выступлении Майкл рассказывает про концепцию data mesh, но в приложении к сквоим задачам внутри Nubank, где старый процесс ETL/ELT уже не масштабируется. Собственно Майкл пришел туда менять подходы в сторону концепции, придуманной Zhamak Dehghani, которая написала на эту тему отдельную книгу.
В самой концепции есть четыре ключевых принципа
1. Domain ownership
2. Data as a product
3. Self service platform
4. Federated governance
По-факту, этот подход можно сравнить с применением микросервисного подхода к oltp системам, но перенесенное в мир аналитики. Про это хорошо писал Влад Хононов в книгег "Learning Domain-Driven Design". Я делал краткое саммари этих идей в отдельной статье.
В выступлении Майкла интересна практика применения этого подхода. Например, он объясняет почему это сложно, например
1) Ownership данных накладывает обязательства на владельцев данных (стоимость производства и поддержки данных), а бенефиты получают консьюмеры
2) Self-service платформа достаточно сложна в созданни, но она помогает в создании marketplace данных (cost visibility, прайсинг за использование данных)
3) Отсутствуют части всей этой истории про data mesh: interoperability, "swagger of data", все крутится вокруг работы с данными
Напоследок Майкл раассказывает про то, как надо подходить к таким изменениям в работе с данными (советы можно посмотреть в приложенных слайдах).
#Data #Management #DataMesh #Software #SoftwareArchitecture #Architecture #Engineering
👍6🔥3❤1
Цех №4 "Курс для тех, кто мечтает издать книгу"
Я понял, что читать книги хорошо, а писать их еще лучше:) Поэтому я купил себе курс для начинающих авторов, хотя я и не попадаю в целевую аудиторию - я не мечтаю издать книгу, я это просто планирую это сделать:) Обучение начнется ближе к концу марта 2024 года, поэтому я успею написать черновик одной книги. Правда, у меня уже есть план на 2 отдельные книги и дальше надо будет выбрать какую из них я хочу написать первой. Но даже если мне удастся выбрать за каким из двух зайцев я погонюсь в первую очередь, то мне все равно придется искать время, а по заветам троих из Простоквашино "Чтобы продать что-нибудь ненужное, нужно сначала купить что-нибудь ненужное, а у нас денег нет.". В итоге, я понял, что для освобождения времени под книгу "чем-нибудь ненужным" станут выступления на конференциях и митапах - до финала работы над книгой я планирую взять паузу от выступлений и не комитится на выступления на мероприятиях (но на ArchDays и Techlead Conf я в этом году все-таки выступлю, так как уже закоммитился об этом).
P.S.
Если кто-то хочет тоже стать писателем, то до 2 октября включительно при покупке курса "Цех №4" можно получить скидку на 40% при использовании промокода "PISHUKNIGU".
#Writing #SelfDevelopment #Book
Я понял, что читать книги хорошо, а писать их еще лучше:) Поэтому я купил себе курс для начинающих авторов, хотя я и не попадаю в целевую аудиторию - я не мечтаю издать книгу, я это просто планирую это сделать:) Обучение начнется ближе к концу марта 2024 года, поэтому я успею написать черновик одной книги. Правда, у меня уже есть план на 2 отдельные книги и дальше надо будет выбрать какую из них я хочу написать первой. Но даже если мне удастся выбрать за каким из двух зайцев я погонюсь в первую очередь, то мне все равно придется искать время, а по заветам троих из Простоквашино "Чтобы продать что-нибудь ненужное, нужно сначала купить что-нибудь ненужное, а у нас денег нет.". В итоге, я понял, что для освобождения времени под книгу "чем-нибудь ненужным" станут выступления на конференциях и митапах - до финала работы над книгой я планирую взять паузу от выступлений и не комитится на выступления на мероприятиях (но на ArchDays и Techlead Conf я в этом году все-таки выступлю, так как уже закоммитился об этом).
P.S.
Если кто-то хочет тоже стать писателем, то до 2 октября включительно при покупке курса "Цех №4" можно получить скидку на 40% при использовании промокода "PISHUKNIGU".
#Writing #SelfDevelopment #Book
👍11🔥5❤4
Неотложка. Графический роман о врачах, пациентах и борьбе за жизнь (Les mille et une vies des urgences)
Сегодня я дочитал интересный комикс о врачах скорой помощи и их пациентах, который выполнен в виде дневника интерна по имени Батист. Комикс состоит из сотен историй, ироничних или серьезных, веселых или грустных, коротких или длинных как история Жар-птицы, которая проходит через все повестование. В общем, это классное проихведение, которое напомнило мне как я в детстве перед сном смотрел сериал "Скорая помощь" и переживал за каждого очередного пациента в моменте, а также "болел" за врачей, у которых постепенно менялась карьера и зачастую жизнь целиком по ходу движения сериала. В общем, этот графический роман очень хорош - рекомендую к прочтению.
P.S.
Несмотря на то, что это комиксы, у этой книги маркировка 18+, что говорит о том, что детям до 18 лет такое читать рановато.
#Comics
Сегодня я дочитал интересный комикс о врачах скорой помощи и их пациентах, который выполнен в виде дневника интерна по имени Батист. Комикс состоит из сотен историй, ироничних или серьезных, веселых или грустных, коротких или длинных как история Жар-птицы, которая проходит через все повестование. В общем, это классное проихведение, которое напомнило мне как я в детстве перед сном смотрел сериал "Скорая помощь" и переживал за каждого очередного пациента в моменте, а также "болел" за врачей, у которых постепенно менялась карьера и зачастую жизнь целиком по ходу движения сериала. В общем, этот графический роман очень хорош - рекомендую к прочтению.
P.S.
Несмотря на то, что это комиксы, у этой книги маркировка 18+, что говорит о том, что детям до 18 лет такое читать рановато.
#Comics
❤9👍5🙏2
Проектируем надежные системы — стоит ли игра свеч
Именно с таким докладом я выступал в середине сентября на конференции "Стачка" в Ульяновске, а потом на конференции Сбера SmartDev. Доклад я делал с целью поговорить про проектирование надежных систем, в итоге, я пытался рассмотреть следующие вопросы
— Почему про надежность часто забывают?
— Как выбрать правильный уровень риска для наших систем и контролировать его?
— Как проектировать надежные системы и как их разворачивать?
— Как имплементировать их и дальше эксплуатировать?
— Как создать культуру надежности в компании?
В итоге, я написал расшифровку доклада в своем блоге, а потом приложу и видео с выступления, когда оно будет готово.
#SoftwareArchitecture #Architecture #DistributedSystems #Engineering #SRE #Software #Processes
Именно с таким докладом я выступал в середине сентября на конференции "Стачка" в Ульяновске, а потом на конференции Сбера SmartDev. Доклад я делал с целью поговорить про проектирование надежных систем, в итоге, я пытался рассмотреть следующие вопросы
— Почему про надежность часто забывают?
— Как выбрать правильный уровень риска для наших систем и контролировать его?
— Как проектировать надежные системы и как их разворачивать?
— Как имплементировать их и дальше эксплуатировать?
— Как создать культуру надежности в компании?
В итоге, я написал расшифровку доклада в своем блоге, а потом приложу и видео с выступления, когда оно будет готово.
#SoftwareArchitecture #Architecture #DistributedSystems #Engineering #SRE #Software #Processes
👍13❤7🔥3
Кни́га ты́сячи и одно́й но́чи
Помню как в детстве сначала мне читали на ночь сказки из арабского сборника "Книга 1001 ночи", а потом я научился читать их и сам и залипал в него. Все сказки были связаны воедино тем, что персидский царь Шахрияр после измены жены решил, что все женщины распутны, а потомпоехал кукухой придумал спать с новой девушкой каждую ночь, а утром ее казнить. Схема сломалась только на Шахерезаде, которая обладала навыками сторителлинга и выступлений, за счет чего могла всю ночь рассказывать интересную историю, а под утро использовать прием "клиффхэнгер" (cliffhanger ending). Реакция царя на это была ожидаема - он откладывал казнь и на следующую ночь продолжал прослушивание подкаста, остановившегося за день до этого в самом интересном месте:) В итоге, это продолжалось 1001 ночь, откуда и название сборника.
Интересно, что арабские мотивы и потом встречались мне в жизни и детские воспоминания работали как дополнительный плюсик
- например, одной из сказок была история про Ала Ад-Дина, которая потом выросла в отдельный мультик, который я любил смотреть в детстве
- когда я познакомился с компьютерными играми, то наткнулся на игру "Принц Персии" 1989 года, которая тоже возвращался в сказочный мир 1001 ночи:)
P.S.
Интересно, что упоминавшаяся вчера "Неотложка" основана на той же идее, только там рассказчиком выступает молодой интерн. Он делится своими историями с Жар-Птицой, пациенткой из палаты паллиативной помощи, которая жаждет увидеть своего сына, но самолеты не летают из-за извержения Эйяфьядлайёкюдля.
#ForKids #FairyTales
Помню как в детстве сначала мне читали на ночь сказки из арабского сборника "Книга 1001 ночи", а потом я научился читать их и сам и залипал в него. Все сказки были связаны воедино тем, что персидский царь Шахрияр после измены жены решил, что все женщины распутны, а потом
Интересно, что арабские мотивы и потом встречались мне в жизни и детские воспоминания работали как дополнительный плюсик
- например, одной из сказок была история про Ала Ад-Дина, которая потом выросла в отдельный мультик, который я любил смотреть в детстве
- когда я познакомился с компьютерными играми, то наткнулся на игру "Принц Персии" 1989 года, которая тоже возвращался в сказочный мир 1001 ночи:)
P.S.
Интересно, что упоминавшаяся вчера "Неотложка" основана на той же идее, только там рассказчиком выступает молодой интерн. Он делится своими историями с Жар-Птицой, пациенткой из палаты паллиативной помощи, которая жаждет увидеть своего сына, но самолеты не летают из-за извержения Эйяфьядлайёкюдля.
#ForKids #FairyTales
❤10🔥6👍1
Контроль, аудит, надежность и импортозамещение в IT — подкаст «Кем ты стал»
На днях вышла интересная серия подкаста "Кем ты стал", в которой Саша Гузенко, мой коллега и ведущий подкаста, общался с другим моим коллегой, Виталием Мягковым, вице-президентом и заместителем директора департамента ИТ. Виталий в этом выпуске рассказал про
- свой старт карьеры в Тинькофф, когда он еще назывался Химмашбанк
- про свою зону ответственности в Тинькофф, куда входит контроль и управление процессами в ИТ (и аудит)
- про импортозамещение на примере ухода со Slack и Zoom
- про архитектуру (RFC/ADR) и как не создавать дублирующие сервисы
- про Tinkoff Software, который продает наружу продукты, например Tinkoff Quality Management система для речевой аналитики или Sage в качестве observability платформы
- про продуктовое изменение компании, когда мы ушли от функциональной структуры к продуктвым вертикалям, сервис линиям и платфомрам:)
В общем, интересный выпуск, рекомендую к просмотру!
#Processes #ProductManagement #Software #Architecture #Management #Podcast
На днях вышла интересная серия подкаста "Кем ты стал", в которой Саша Гузенко, мой коллега и ведущий подкаста, общался с другим моим коллегой, Виталием Мягковым, вице-президентом и заместителем директора департамента ИТ. Виталий в этом выпуске рассказал про
- свой старт карьеры в Тинькофф, когда он еще назывался Химмашбанк
- про свою зону ответственности в Тинькофф, куда входит контроль и управление процессами в ИТ (и аудит)
- про импортозамещение на примере ухода со Slack и Zoom
- про архитектуру (RFC/ADR) и как не создавать дублирующие сервисы
- про Tinkoff Software, который продает наружу продукты, например Tinkoff Quality Management система для речевой аналитики или Sage в качестве observability платформы
- про продуктовое изменение компании, когда мы ушли от функциональной структуры к продуктвым вертикалям, сервис линиям и платфомрам:)
В общем, интересный выпуск, рекомендую к просмотру!
#Processes #ProductManagement #Software #Architecture #Management #Podcast
YouTube
Контроль, аудит, надежность и импортозамещение в IT — подкаст «Кем ты стал»
Гость — Виталий Мягков, один из первых сотрудников Тинькофф, сейчас – заместитель директора департамента IT.
Поговорим о том:
— каким был стартап-Тинькофф и как вырос в IT-компанию;
— как проходят аудиторские проверки, и на что они могут повлиять;
— как…
Поговорим о том:
— каким был стартап-Тинькофф и как вырос в IT-компанию;
— как проходят аудиторские проверки, и на что они могут повлиять;
— как…
👍12🔥4❤1
Выезд клуба CTO&CPO от Avito
В конце прошлой неделе я был на выездном мероприятии CTO и CPO клуба от Avito, которое показалось мне действительно интересным:
- Было выбрано шикарное место, Six Senses Kaplankaya, которое помогло переключить контекст участников - в этом месте ты легко переключался из ежедневного ритма с постоянными встречами на общение с другими участниками в окружении безумно красивой природы
- Был подобран шикарный состав участников - CEO, CPO, CTO многих известных технологических компаний, с которыми можно общаться про стратегию, процессы, инженерные практики, people management или просто про историю, включая обсуждение Древнего Рима:)
- Объединение на одном мероприятии CPO и CTO, а также тем интересных им, позволяет шире взглянуть на происходящее и получить больше инсайтов - мне персонально было интереснее общаться про стык бизнеса и IT, так как про бытие CTO я и так неплохо знаю:)
- Панельные дискуссии хорошо задали основные темы, которые дальше можно было разворачивать в личных разговорах. Эти панельные дискуссии затрагивали темы: "Чем продуктовая стратегия отличается от стратегии компании в целом", "Откуда рождаются сильные технологические решения и инновации", "Эволюция в процессах работы с командами при масштабировании в условиях сложностей с рынка труда". А уж в кулуарах чего мы только не обсудили
- Организаторы все сделали так, чтобы участникам было комфортно совмещать плановые активности клуба, успевать пообщаться со всеми и даже искупаться или заняться хайкингом - в общем, был соблюден баланс:)
В общем, эти три дня пролетели очень быстро и продуктивно. Забавно, что я эффективно использовал и дорогу туда обратно:
- По дороге в Турцию я прочитл white papers, о которых рассказывал здесь
- А по дороге обратно я не мог сфокусироваться, поэтому кратко изучил несколько разных white paper (посмотрел тезисы, формат исследования, выводы и оценил стоит ли их изучать глубже): "A Model and Survey of Distributed Data-Intensive Systems", "Blueprint: A Toolchain for Highly-Reconfigurable Microservices", "Explainable-DSE: An Agile and Explainable Exploration of Efficient Hardware/Software Codesigns of Deep Learning Accelerators Using Bottleneck Analysis", "Towards Adaptive Fault-Tolerant Sharded Databases (Extended Abstracts)", "Clustered federated learning architecture for network anomaly detection in large scale heterogeneous IoT networks", "Web 3.0: The Future of Internet". Думаю, что я подробнее про них расскажу позже, но они определенно скрасили мой полет домой
А подлетая к Москве и наблюдая огни большого города за бортом, я понял, что
- Мне нравится жить в большом городе, где есть все для твоей семьи, а также есть любимая работа и коллеги
- Но иногда съездить куда-то в более тихое место и пообщаться с умными людьми бывает очень полезно
P.S.
Спасибо организаторам в лице Авито и персонально Екатерине Загуменновой за такое мероприятие, а также всем участникам выезда, общение с которыми и позволило сделать эти дни волшебными:)
#Management #Leadership #Processes #Software
В конце прошлой неделе я был на выездном мероприятии CTO и CPO клуба от Avito, которое показалось мне действительно интересным:
- Было выбрано шикарное место, Six Senses Kaplankaya, которое помогло переключить контекст участников - в этом месте ты легко переключался из ежедневного ритма с постоянными встречами на общение с другими участниками в окружении безумно красивой природы
- Был подобран шикарный состав участников - CEO, CPO, CTO многих известных технологических компаний, с которыми можно общаться про стратегию, процессы, инженерные практики, people management или просто про историю, включая обсуждение Древнего Рима:)
- Объединение на одном мероприятии CPO и CTO, а также тем интересных им, позволяет шире взглянуть на происходящее и получить больше инсайтов - мне персонально было интереснее общаться про стык бизнеса и IT, так как про бытие CTO я и так неплохо знаю:)
- Панельные дискуссии хорошо задали основные темы, которые дальше можно было разворачивать в личных разговорах. Эти панельные дискуссии затрагивали темы: "Чем продуктовая стратегия отличается от стратегии компании в целом", "Откуда рождаются сильные технологические решения и инновации", "Эволюция в процессах работы с командами при масштабировании в условиях сложностей с рынка труда". А уж в кулуарах чего мы только не обсудили
- Организаторы все сделали так, чтобы участникам было комфортно совмещать плановые активности клуба, успевать пообщаться со всеми и даже искупаться или заняться хайкингом - в общем, был соблюден баланс:)
В общем, эти три дня пролетели очень быстро и продуктивно. Забавно, что я эффективно использовал и дорогу туда обратно:
- По дороге в Турцию я прочитл white papers, о которых рассказывал здесь
- А по дороге обратно я не мог сфокусироваться, поэтому кратко изучил несколько разных white paper (посмотрел тезисы, формат исследования, выводы и оценил стоит ли их изучать глубже): "A Model and Survey of Distributed Data-Intensive Systems", "Blueprint: A Toolchain for Highly-Reconfigurable Microservices", "Explainable-DSE: An Agile and Explainable Exploration of Efficient Hardware/Software Codesigns of Deep Learning Accelerators Using Bottleneck Analysis", "Towards Adaptive Fault-Tolerant Sharded Databases (Extended Abstracts)", "Clustered federated learning architecture for network anomaly detection in large scale heterogeneous IoT networks", "Web 3.0: The Future of Internet". Думаю, что я подробнее про них расскажу позже, но они определенно скрасили мой полет домой
А подлетая к Москве и наблюдая огни большого города за бортом, я понял, что
- Мне нравится жить в большом городе, где есть все для твоей семьи, а также есть любимая работа и коллеги
- Но иногда съездить куда-то в более тихое место и пообщаться с умными людьми бывает очень полезно
P.S.
Спасибо организаторам в лице Авито и персонально Екатерине Загуменновой за такое мероприятие, а также всем участникам выезда, общение с которыми и позволило сделать эти дни волшебными:)
#Management #Leadership #Processes #Software
❤13👍10🔥7🥰2👏1🤡1