Why Most Data Projects Fail and How to Avoid It • Jesse Anderson • YOW! 2022

Интересное выступление про data проекты от Jesse Anderson, автора книги "Data Teams". Автор говорит о ключевых вопросах, которые стоит задать при старте проектов
- Who - Автор говорит про правильный состав команды для data проектов. Собственно автор про это написал целую книгу и он говорит про баланс data scientists, data engineers, operations.
- What - Автор задает вопрос про бизнес значение того data продукта/проекта, которым вы занимаетесь. Автор говорит о том, что фразы "Мы делаем AI" от CEO не хватает для data strategy:) В общем, надо понимать как ваш проект принесет ценность для бизнеса. Причем помимо стратегии нужен план и его execution. Особенно во времена, когда tech компании занимаются сокращениями в направлениях, что не приносят деньги.
- When - Автор говорит о том, а когда эта бизнес ценность будет создана. Нужен проект с понятными временными границами, чтобы он не был слишокм долгим, чтобы быть отмененным где-то посердине и не слишком коротким, обещающим золотые горы, которым на самом деле будет невозможно соответствовать.
- Where - И вот мы наконец-то добрались до первого технического вопроса, а где собственно эти данные будут обрабатываться, как будет выглядеть архитектура решения. И тут для ответа тоже не хватает фразу "Мы будем использовать технологию XYZ вендора ABC". Проблема в том, что вендор может пообещать все что угодно, но это обещание не факт, что выполнимо, более того, не факт, что оно оптимально для заказчика:)
- How - Здесь речь идет про план выполнения и про фокусировку на приоритетных направлениях. Хотя часто такие data проекты пытаются успеть сразу везде, а дальше теряют эффективность на context switches и застывают на месте, переставая генерировать какую-либо ценность кроме рассказов о наступлении AI:) Автор интересно рассказывает про то, как бизнес заказчикам перпендикулярно на конкретные технические решения, но важно какую бизнес-ценность они могут получить по результатам выполнения плана.
- Why - Автор задает вопрос, а почему же эти данные обладают ценностью? Просто отгружать данные и гонять ETL/ELT пайпланы не достаточно. Важно понимать как использование данных в новых проектах позволит обеспечить нужный ROI (return on investments), причем автор говорит о том, что он ищет 10x ROI для data проектов

Напоследок автор говорит о том, что для AI и data проектов важно понимать, что такие проекты сложны и требуют навыков, людей и организационных изменений для своего успеха. И это достаточно сложно и не все способны приносить пользу в таких проектах. Конкретно, автор рассказывает про то, что если запускать data и AI проекты внутри DWH команд, то такие проекты обречены на неудачу ("the team where good data projects go to die). Это обусловлено не тем, что DWH технологии плохие, а потому, что это скорее проблема людей ("people problem"), которые очень специфично разбираются с проблемами и очень специфичным образом выстраивают свою работу. В общем, автор говорит о том, что эта не та команда, которая должна отвечать за data и AI проекты нового типа.

В конце автор рассказывает о том, как можно получить помощь с такими проектами за счет аутсорсинга (если у компании нет своей инженерной команды и культуры), за счет привлечения консультантов (правда, автор говорит о том, что консультанты по менеджменту типа BCG, Bain, Mckinsey зачастую не обладают компетенциями для помощи в таких data проектах). В конце автор упоминает свою книгу "Data teams", которую он написал для менеджеров, которым предстоит запускать data и AI проекты.

P.S.
Мне автор продал свою книгу, поэтому я добавлю ее в свой long list на чтение:)

#Management #Leadership #Data #DataScience #AI #Engineering #Software #SoftwareDevelopment #ML

DevPlatform Party (by Yandex Infrastructure) #4 от 2023.10.17

Вчера был интересный митап Devplatform от Yandex в Белграде, на котором было 4 выступления разной степени плотности и о которых хотелось бы рассказать
1) Что же такое Capacity Planning на самом деле
2) Параллельная разработка и тестирование микросервисов через feature branches
3) Куда пропала инженерная романтика
4) Поднимаем инфраструктуру с нуля, если вы - маленький стартап

Что же такое Capacity Planning на самом деле (доклад Дмитрия Нестерова из Yandex)
На самом деле митап я решил посмотреть из-за этого выступления, так как оно рассказывает об актуальной для крупных ИТ-компаний теме, а точнее о планировании и распределеннии мощностей. Мне был интересен путь Яндекса в этой теме, так как мы внутри идем по похожему маршруту:) В Яндексе были стадии
- Появление capacity planning в 2016-2017 года - нет понятных процессов и правил, нет автоматизации, но есть excel:)
- Становление capacity planning в 2018-2019 - появление системного подхода (заявки, роль capacity planner, коммуникация с заказчиками)
- Развитие capacity planning в 2020-2021 - решены технологические проблемы, появилась автоматизация, но она неудобная
- Зрелость capacity planning в 2022-2023 - внедрен продуктовый подход (пошли от JTBD пользоватетелй), формализованы и упрощены процессы, есть статегия развития
Дальше Дмитрий показывал и рассказывал как работают эти инструменты и это было интересно.

Параллельная разработка и тестирование микросервисов через feature branches (доклад Дмитрия Костюкова из Alfa Bank)
Если бы митап начался с этого доклада, то я бы не стал его смотреть. И тут история не про качество доклада, а про подход к развитию технологий и платформы. По-факту, Дмитрий рассказывал про то, как в условном процессе gitflow с кучей микросервисов, выстроенных в цепочку, тестировать фичи. И эту проблему он через свой способ решил ...

НО, при развитии технологической платформы важно делать так, чтобы правильные вещи было делать легко, а кривые вещи было делать сложно. И в разработке программного обеспечения сейчас целевым процессом работы с кодом является TBD (trunk based development), в котором не нужны долгоживущие ветки. Для его достижения надо писать много автоматизированных тестов, уметь работать с feature toggles и так далее. Это позволяет быстрее разрабатывать и бьстрее видеть и решать конфликты в логике фичей, так как это видно внутри кода (а не как в gitflow где это видно во время merge). В такой схеме вся эта машинерия, что упоминалась в докладе не нужна, а даже вредня, так как она провоцирует делать долгоживущие ветки. В итоге, тактическую задачу ребята из платформы Alfa Bank решили, а вот стратегическую ... увы нет:)

Куда пропала инженерная романтика (доклад от Ярослава Астафьева)
Философская история, которую интересно было послушать и которая должна мотивировать на развитие.
В принципе, слушать было интересно, но это скорее софтовый доклад

Поднимаем инфраструктуру с нуля, если вы - маленький стартап (доклад от Алексея Шаграева из pora.ai)
Рассказ от Леши на тему использования AWS Fargate (Serverless compute for containers) для организации инфры для стартапа:) И простенького CI/CD для деплоя туда.
Суть в том, что стартаперам круто использовать as a Service решения, которые позволяют погрузиться в создание бизнес-логики вместо построения инфры, которая предоставляет базовые абстракции и умеют в self healing. Мне показалось, что это достаточно простая история, которую рассказывал именно Леша, потому что он когда-то работал в Yandex:)

#SoftwareDevelopment #PlatformEngineering #Engineering #SRE #Devops #Architecture

Yet Another Level: Team Lead от 2023.10.19

Интересное мероприятие от Yandex на тему тимлидов, в котором было три доклада, которые я успел посмотреть вчера в пробке по дороге домой и сегодня по дороге на работу. Примечателен крепкий состав участников и темы выстроенные по нарастающей - как вырасти тимлида, как развиваться в этой роли и куда расти дальше:) Если чуть подробнее говорить про доклады, то они таковы

1) "Без ботвы: растим тимлидов правильно" от Анастасии Абрашитовой, которая руководит службой инструментов репозитория в Yandex Infrastructure. Интересно, что Настя очень продуктавна - за день до этого исполняла роль модератора на мероприятии DevPlatform Party (by Yandex Infrastructure) #4 от 2023.10.17, про которое я рассказывал раньше, а теперь уже в роли спикера рассказывала про тимлидов. Кстати, доклад на этом мероприятии связан с выступлением "Самый шерстяной волчара: тимлид с технической ролью и без", которое стало самым популярным на прошлом Teamlead Conf. В новом выступлении Настя рассказывала про то, как рост в позицию тимлида сделать в формате контролируемого эксперимента, у которого есть цель, критерии измерения, четкий процесс подведения итогов эксперимента. В результате мы получаем предсказуемый и безопасный процесс роста. Интересны и ответы Насти на вопросы аудитории, например, про эгоистичный подход к решению стоит ли быть тимлидом, когда тебя принуждают занять пустующее место:)


2) "Как тимлиду оценить успешность в своей роли?" от Ольги Елисеевой, руководителя технической дирекции из Инфосистемы Джет. Этот доклад дает конкретный список областей, на которые стоит обращать внимание тимлиду (бизнес, команда и люди, процессы, сам человек), а также вопросы из этих областей, которые помогут тимлиду отрефлексировать то, насколько успешно он справляется со своей ролью. Дальше идет речь про инструменты, что могут помочь: обратная связь (личная, 360), оценка собственных компетенций, ИПР, дневник достижений и неудач.

3) "Как и куда расти тимлиду" от Романа Ивлиева, программного директора TeamLead Conf. В этом докладе Рома рассказал про то, а куда может расти тимлид и стоит ли вообще расти. Для этого надо начать с ответов на вопросы: "готовы ли тянуть больше", "готовы ли еще дальше отойти от любимого дела", "готовы ли тратить время на непрерывное обучение" и "готовы ли окончательно потерять друзей". Если да, то дальше уже можно выбирать траекторию или трек, как их назвал Рома. Он рассмотрел три варианта: инженерный трек (Individual contributor), трек CTO и гуманитарный трек. Дальше пошла речь про вертикальный и горизонтальный рост, рост внутри компании или через выход на рынок. Дальше Рома приводит вопросы о том, как понять что рост есть, а также про расширение кругозора и как можно ускорить рост. Дальше Рома приводит реальные примеры карьерного роста и кажется там в примерах он упоминает и меня, так как мы успели поработать вместе в Банки.ру, где Рома был моим руководителем (вот тут я говорил про свой опыт как тимлида).

P.S.
В этом году я рассказывал доклад "Как нанимать технических руководителей " на Teamlead Conf. Там я рассказывал про наши ожидания от тимлидов и ребят повыше и рекомендовал большой список материалов, где есть много ссылок на мои выступления и статьи о технических руководителях:)

#Management #Leadership #Processes #Conference #SystemDesign #Engineering

Теория ограничений в действии. Системный подход к повышению эффективности компании (Management Dilemmas: The Theory of Constraints Approach to Problem Identification and Solutions)

Книга Эли Шрагенхайма посвящена теории ограничений и содержит очень много практики. Автор предлагает своим читателям описания практических кейсов, дает возможность самим над ними подумать с применением стандартных подходов: дерево текущей реальности, диаграммы разрешения конфликта, дерево будущей реальности, "барабан - буфер – веревка", ... А дальше он показывает свой анализ ситуации, получившиеся выводы и варианты действий для приближения к целям компании. Книга состоит из 13 глав

1. Основы теории ограничений систем и принципы анализа управленческих ситуаций - здесь автор рассказывает основы теории ограничений, что я упоминал выше
2. К чему преобразования, если и все так хорошо - кейс про онлайн-продажу офисной продукции (аля Комус). Здесь автор показывает 2 плана развития, один от прошлого CEO, а другой от нынешнего, дальше проводит анализ проблем и предлагает конкретные действия
3. Да будет свет! - история про создание кастомизированных ламп, которые хотелось бы делать быстрее, мелкими партиями и часто менять модельный ряд. Интересная история:)
4. Ремонт войсковых средств связи - каноническая история про пошаговый процесс создания ценности, в котором участвуют несколько типов специалистов. Эффективность процесса оказывается низкой и нам надо найти "убийцу эффективности" - поиск осуществляется стандартным способом, но от этого он не становится менее интересным
5. Нам нужно это подразделение - история про больницу, где спонсор подкинул денег на новое отделение, но персонал больницы против его открытия. Дальше Эли раскручивает историю, чтобы понять а какие минусы у этого решения и что с этими минусами можно сделать.
6. Действуем в ситуации неопределенности - история про закупки. Здесь интересно показывается, что важно понимать последствия как избыточных запасов, так и недостаточных. А дальше можно ориентироваться на стоимость простоя производства, если материалов не хватает, а также стоимость избыточной продукции, что может лежать на складе.
7. Последствия одной реорганизации - интересная история про реорганизации и выставление им отдельных KPI и расчету отдельных PnL. И к чему это может привести, если сделать это криво.
8. Приятная неожиданность - история про то, как догрузив текущие не полностью используемые мощности можно повысить финансовые результаты. Главное, чтобы это были не те мощности, что уже являются бутылочным горлышком для компании.
9. Провал блестящего проекта - история про проект с высокой неопределенностью, где руководство плохо проработало контракт и плохо работало с рисками. Это привело к финансовым неудачам при выполненном RnD проекте, который при иных раскладах был бы большим успехом или просто не стартанул бы.
10. Сведения, так и не ставшие полезной информацией - история про анализ конкурентов и рынка в целом. Главный вывод, если смотреть не туда, то узнаешь много информации, но она будет не о том, что важно для тебя:)
11. Планы на следующий сезон и информационные системы - история про турагенство и планирование туров не следующий сезон. Здесь интересно посмотреть на то, как разные варианты учета затрат могут влиять на составление планов.
12. Кризис в The Small News - кейс про маленькую компанию, где цели сооснователей расходятся и сложно определить цель компании и уже от нее выстроить дальнейшие действия.
13. Богатые тоже плачут - кейс про организационную культуру компании, которая может мешать развитию бизнеса. Интересно, что в самой истории привлеченным консультантом для решения проблем является психолог:)

P.S.
Другие книги на эту тему, про которые я уже рассказывал
- Критическая цепь (Critical Chain)
- Теория ограничений Голдратта (Goldratt's Theory of Constraints)
- Выбор. Правила Голдратта (The Choice)
- Проект Феникс (The Phoenix Project)

#Management #Leadership #Processes #Project #ProductManagement #ToC

Вечерняя сказка Ирины Токмаковой

Часто уложить маленьких детей спать достаточно сложно, этому может помочь интересная сказка, например, такая. Нашему сыну, которому исполняется три года в начале ноября эта сказка очень понравилась. В ней идет речь про мальчика, гуляющего в лесу, который услышал разговор двух сов, которые планируют забрать к себе малыша, который не любит спать по ночам и говорит родителям, что лучше к совам убежит. В итоге, у сов созрел план
Мы рассудили: так и так,
Раз этот маленький чудак
Ночами не желает спать,
Ему совёнком надо стать.
В дупло мальчишку принесём,
Пять страшных слов произнесём,
Дадим волшебную траву
И превратим его в сову.

Но мальчик узнает в малыше своего друга и отправляется в путь, чтобы спасти его от сов. А что было дальше можно узнать здесь и если вам тоже понравится сказка, то купить бумажную версию можно здесь:) А вообще эта сказка помогает ребенку понять разницу дня и ночи и когда стоит спать, а когда играть - для нашего трехлетки это пока сложно, так как он и ночью хочет прыгать, бегать и играть:)

#ForKids #Tales

Онлайн газета "СМИ Шарики"

Мы выпустили специальный проект для обучения школьников принципам критического мышления. В рамках проекта предлагается посмотреть 5 видео и разобраться с 5 принципами:
1. Определять причину и следствие - на примере журналистов Кроша и Ежика, камень и НЛО
2. Аргументировать свою позицию - на примере выступления Копатыча на ток-шоу
3. Искать разные решения - про дружбу Кроша и Ежика и фото, которое могло им помешать
4. Отделять главное от второстепенного - про инфоцыгана Мышарика, который рекламировал курсы про успешный успех
5. Отделять мнение от фактов - про финансвый вопрос, который чуть не подвел черту под дружбой Кроша и Бараша

В общем, интересный проект с любимыми персонажами (я так часто смотрю смешариков со своими малышами).

#ForKids