Кстати, прямо сейчас рассказываю про мл систем дизайн на английском https://www.youtube.com/watch?v=0RsmRjar66E

У меня есть небольшое хобби, я люблю пользоваться рекомендательными движками социальных сетей. Началось это как шутка. Я очень редко захожу в ВК - проверить не написали ли мне в личку за прошедшую неделю или выложить какой-то контент. В один из таких заходов, я обратил внимание что ВК показывает мне рекламу, которую иначе как дичь охарактеризовать было невозможно (приложу примеры в следующем сообщении) и я подумал, почему бы не начать лайкать эту рекламу, в надежде получить еще больше безумной и бессмысленной рекламы. Какое-то время я развлекался тем, что старательно вычитывал рекламу, показанную мне в ленте и лайкал откровенный трэш, полученный результат скидывал своим товарищам посмеяться.

Теперь же я решил поставить это дело на поток для выгоды, ведь в какой то момент Инстаграмм предложил мне скачать приложение сервиса экспресс доставки, со скидкой 10 фунтов на следующие три заказа. Я скачал и потратил 15 фунтов вместо 45 на фрукты. Мне очень понравилось и, понятное дело, эту рекламу я лайкнул. Затем вышла реклама следующего приложения доставки, с еще более выгодным предложением, его я, конечно же, тоже лайкнул. Вообщем, не вдаваясь в детали замечу, что у меня уже пять приложений экспресс доставки продуктов на телефоне, еще несколько в очереди, а так как я хороший клиент и довольно быстро сделал по 3-4 заказа в каждом из них, они продолжают бомбить меня скидками и промо купонами. Еще иногда они опаздывают на 5-10 минут и тоже дают существенную скидку на следующий заказ.

Причем в одном из приложений было совсем забавно, висел промокод на скидку в 8 фунтов при заказе от 13 и от 24 фунтов, я выбрал от 13, заказал и заплатил пять фунтов. Захожу через полчаса снова, теперь там скидка в 8 фунтов при заказе от 9 фунтов, конечно же я снова заказал и потратил 4 фунта.

Понятное дело, что это не проблема рекомендательной системы Инстраграмма, она то как раз сработала на 5+. Приложение я установил, заказ сделал, даже несколько. На руку мне играет политика по захвату рынка и заливание его деньгами со стороны маркетологов/продактов этих сервисов.

Хотя сервисы, которыми буду и не буду пользоваться без скидок я уже отобрал. У меня два простых критерия, наличие хороших фруктов и умение доставить до моей двери

#CoolStory

Закончился мой испытательный срок в Blockchain.com
По итогам, было -> стало
Численность Департамента 3 человека -> 18 человек
Сотрудники на двух континентах -> сотрудники на трёх континентах
Все делают все -> четыре команды, дата инфра, адхок + аб, продуктовая команда, аналитическая инфра , четкий овнершип
Отсутствие плана -> наличие целей и стратегии
Отсутствие понимания про разные роли внутри DS -> разделение на роли: ML Eng, Data Eng, ML Ops Eng, Data Analyst, Business Analyst
Отсутствие понимания куда движемся дальше в плане инфры -> план миграции по Дата Инфре и по Мл Опс
Отсутствие четких дашбордов и single source of truth -> адопшн Селф Сервис Анилитики и создание единого пула метрик
Два синьора - > пять синьоров, среди них потенциальные staff engineers
Отсутствие Валеры -> присутствие Валеры

Задают вопрос, у вас есть DS? Вам нужны DS? Хуже чем job title Head of Data Science может быть только один - Data Scientist. Пару лет назад я рассказывал об этом на X5 Retail Hero https://www.youtube.com/watch?v=Cs3ae65tmKA&t=463s

Существует неплохой сайт https://staffeng.com
Архетипы E6+ описанные на вики Фейсбука взяты как будто с этого сайта, поэтому дальше я буду оперировать информацией оттуда и добавлять свои комментарии

Утверждается что есть четыре основных архетипа, понятное дело, это лишь некая условность и по факту в жизни присутствует скорее градиент, но почему бы не рассмотреть их как некоторые ядра.
Вначале попробуем описать все четыре кратко, затем рассмотрим каждый по отдельности

Архетип первый, Тех Лид. Направляет и управляет конкретной командой/командами. Работает в связке с менеджером/менеджерами, в рамках определённой зоны фокуса. В некоторых компаниях Тех Лид это должность и может называться Tech Lead или Tech Lead Manager и является некоторой смесью IC (individual contributor) и EM (Engineering Manager). Я считаю что Тех Лид это скорее роль, чем должность.

Архетип второй, Архитектор. Задает направление, определяет подходы, фреймворки и стандарты в критически важных системах/компонентах. Совмещает в себе высокую техническую экспертизу, обобщающую как технические ограничения, так и потребности пользователей и лидершип на уровне организации

Архетип третий, Решала. Как видно из названия, Решала занимается сложными проблемами и ищет способы их решения. Некоторые концентрируются подолгу на одном участке, некоторые прыгают от одного кризиса к другому, как спецназ.

Архетип четвертый, Правая рука. Являются близкими советниками Директоров/VP, представляют их интересы и являются своего рода техническими заместителями. Fun Fact - Летом 2021 года я общался с СЕО одной многомиллиардной компании и рекомендовал ввести для каждого Директора/VP в его конторе одну штатную единицу Principal/Staff инженера (другой вопрос где их найти), чтобы менеджеры занимались менеджерским, а принципалы давали им дельные советы/представляли их интересы в технических делах. Render unto Caesar.

#BigTechLevels

Апдейт по этому посту
https://www.bbc.co.uk/news/uk-60334842

Переодически меня спрашивают - Валера, зачем так много видео и выступлений, в чем смысл? Ответить на вопрос в чем смысл - довольно тяжело, человечество пытается это сделать уже несколько тысячелетий. Но сегодня мне написали и поблагодарили за серию видео по МЛ Дизайну, они помогли человеку пройти на Е6 в Фейбук в Лондоне, да и в целом регулярно пишут и говорят спасибо за совершенно разные выступления, получается все не зря, раз кому-то полезно.

Прошло уже две недели как я сделал привику, но умные весы в зале все еще показывают мой метаболический возраст как 24 года, вместо моих обычных 18-20. Два года мне добавила Москва и еще два года накинула четвертая вакцинация за 8 месяцев. Последний раз такое падение у меня было после двух недель на Шри-Ланке

Сегодня я проиграл, проиграл битву за тайтлы
У нас есть чатик для синьоров в рамках департамента, где я задал следующий вопрос

It is a time to start posting new JD, I ll prepare draft, but before that, shall we have
1. Data Scientist, Machine Learning Engineer, Data Analyst, Data Engineer
2. Machine Learning Engineer, ML Ops Engineer, Data Analyst, Data Engineer

С разгромным счетом был выбран первый вариант, а это значит что у нас по прежнему будет позиция Data Scientist

На днях дочитал статью SYNTHETIC DIFFERENCE IN DIFFERENCES, которую мне опять посоветовал @nbagiyan Нерсес

На мой взгляд это уже очень похоже на построение модели описывающей зависимости между целевой переменной и любыми другими ковариатами, где затем можно оценивать распределение остатков модели. Павел хорошо описал это здесь. Добавлю что оценивать можно даже распределние остатков модели на разных периодах в рамках одной модели, без всякой группы А. В свое время мы с Александром @amSakhnov пришли к такому подходу

В SDID оценка эффекта делается через оценку разности усредненных результатов между моделью и фактом, что кажется мне менее надежным

Возможно я что-то упускаю?

#ArticleReview

Как то в июле я решил оставить комментарий на сайте тупичок Гоблина. В целом мне нравится слушать рассуждения Дмитрия Пучкова, он взрослый, опытный мужик, много чего повидавший и много с кем общался.

Его оригинальный пост был про меры, направленные на борьбу с коронавирусом и какие меры следует предпринять.

Я порекомендовал не звать больше Вассермана давать интервью на аудиторию в сотни тысяя человек, где он распространял заведомо ложную информацию, на это мне ответили что такого не было.

К сожалению мой комментарий с ссылкой на интервью Вассермана с Пучковым пятью месяцами ранее, где указан тайм кодо, трижды не прошел модерацию https://youtu.be/ejzj7ATt5ho?t=1982

Заставило крепко задуматься об объективности

Я могу представить себе staff ML инженера или staff дата инженера, но staff data analyst гораздо более эфемерен для меня. Да, я видел за свою жизнь пару людей, которых можно было так назвать, но инженеров такого уровня я видел десятки и мне кажется что формализовать Staff DA гораздо тяжелее. Мне интересно ваше мнение, существует ли Staff Data Analyst?

Сегодня моего друга, профессора Кристофера полностью оправдали по этому делу. Сюжет классический, двое немолодых мужчин и одна молодая женщина - что могло пойти не так?

А ведь еще утром, поболтав с ним по телефону, я уже представлял как поселю его в своей квартире в Москве и устрою работать в школу анализа данных МТС. Но примерно двадцать минут назад он позвонил мне и радостно сообщил - not guilty!

Кристофер крутой, PhD in Economics from Princeton University and Professor of Finance at London Business School.
A three-time winner of the Brattle Prize for outstanding corporate finance research and was recently named one of four rising stars in financial economics for 2010.

Я читал ряд его статей и они порой даже больше похожи на статьи про Машинное обучение, чем про экономику
Что-же, придется искать другого профессора для отправки в Москву

Продолжим разговор про архетипы Staff Engineer
Сегодня подробнее поговорим про, пожалуй, самый распространенный архетип - Тех Лид/Tech Lead

Что делает Тех Лид? Лидирует в рамках команды или ряда команд, нарезает задачи, направляет команды/команду для решения этих задач и пытается убрать различные помехи на этом пути к успеху. Зачастую Тех Лид, как человек обладающий контекстом, отвечает за межкомандное и межфункциональное взаимодействие. Работает обычно в связке с продакт менеджером и если нужно перетрясти роадмап, Тех Лид первый человек, с которым заводят разговор об этом

В начале карьеры тех Лид это обычно тот, кто реализовывал самые сложные части системы, постепенно нужно заканчивать с этой пагубной привычкой и делегировать. Во первых это полезно для роста остальных участников команды, во вторых это позволяет команде создавать больше импакта. Несмотря на уменьшающее количество написанного кода, Тех Лид определяет техническое видение для команды и направляет команду в сложных местах.

Зачастую тех Лид это архетип с которого начинает большинство Стафф инженеров, есть несколько причин для этого. Если в компании структура работы устроена в рамках команд или по Agile, то там сам собой постепенно появляется такой человек, а как вы знаете, под такое описание попадает, на разных этапах, почти любая компания. Кроме того, работа Тех Лида во многом пересекается с работой Синьора, что делает переход естественным, а необходимость, в среднем, 1 техлида на 8 инженеров, делает этот архетип самым распространенным.

Самое интересно, можно быть Тех Лидом, но не быть Стафф инженером, делай примерно похожие вещи, но с меньшим импортом, на меньших проектах и тп.

#BigTechLevels

Вот как может выглядеть примерный календарь этого замечательного человека