Впредь я не буду делать таких больших и подробных разборов, кажется они не совсем вписываются в тематику моего канала

Думаю вы догадались что это реклама и прямо сейчас мои товарищи Серж и Виталий ищут аналитика в Алиэкспресс, который поможет оптимизировать многомиллиардные маркетинговые бюджеты и Robyn - один из возможных подходов

Если вам это интересно, можно написать сразу мне
Условия вакансии в комментарии

Е5 - иначе именуемый синьором.
Примерная компенсация (берем США за точку отсчета)

Базовая зарплата - 180 - 220 тысяч долларов в год
Бонус - 15% от этого в год
Initial grant 500-800 тысяч долларов
Refresher ~ 120 тысяч долларов в год
Может быть бонус за подписание от 50 до 100 тысяч долларов
Total Comp порядка 400-550 тысяч долларов в год, без учета бонуса за подписание

Что ожидается от E5?

Все тоже, что требуется от Е4 плюс:

Уверенный Ownership конкретного компонента, сервиса или системы. Экспертное end-to-end понимание всего что в ней происходит

Демонстрация постоянно высокого уровня продуктивности на множестве проектов. Track Record успешного завершения крупных проектов

You are an influencer (ты авторитет). Способен проактивно находить проблемы и предлагать улучшения. Добиваться разрешения этих проблем, зачастую без сторонней помощи

Ты ищешь возможность улучшить систему, над которой ты работаешь, чтобы облегчить выкатку новых фичей

Ты помогаешь людям вокруг себя работать лучше и быстрее, определяя что тормозит команду и исправляя это

Способность лидировать небольшие проекты или небольшие команды (включая проведение митингов, написание статусов и тп)

Способность перекидывать задачи на соседние команды и соответсвенно умение строить отношения с этими командами. Умение быть эмпатичным

Помощь в улучшении своей организации( например организация в WhatsApp это WhatsApp Business или WhatsApp Integrity) через рекрутинг, менторинг буткамперов или координацию стажеров


Е5 - терминальный уровень, на нем почетно сидеть всю жизнь

#BigTechLevelsCompensation

Незадолго до моего ухода в WhatsApp Integrity запустили внутреннее соревнование по машинному обучению.

Выгрузили примерно 1 млрд сэмлов с прода за небольшой период времени, вышло чуть больше ТБ данных. Разбили по времени на трейн и тест, 31 декабря подвели итоги.

Победителем оказался я. Текущую метрику с продакшена удалось улучшить почти на 80%. Ещё в ноябре, перед моим уходом, техлид этой команды попросил передать ему код. По словам людей вокруг него сейчас он очень рад, ведь интеграция решения оказалась несложной, а прирост ощутимым

Кажется у него будет неплохая оценка на ревью, а я возможно получу какой то приз, если его отправят. New hire welcome pack я всё ещё не получил

На этой прекрасной ноте я желаю вам всем хорошего нового года

Почти два месяца прошло как я ушел из Фейсбука, но подарки все ещё продолжают приходить. В честь достижения Вотсапом отметки в 2.5 млрд активных пользователей всем сотрудникам отправили подарок: шапочку, термокружку и кофту. Учитывая что вчера было +16, возможно шапочку этой зимой мне поносить не удастся

Меня регулярно спрашивают различных постах здесь в канале и в личных сообщениях почему я ушел из Фейсбука в Блокчейн. Поэтому я решил повторить пост, написанный мною 10 сентября 2021 года в Open Data Science

На днях в Фейсбуке закончился перфоманс ревью. Вышло неплохо - вся моя команда получила минимум exceeds, кому то удалось выбить промо. Очевидно после такого остается только одно. Сегодня я написал заявление на уход из Фейсбука и с середины ноября меня там, как минимум временно, не будет.

Предшествовало этому встреча с менеджементом, по итогам которой меня попросили ответить на вопрос что я хочу со следующего полугодия, пойти по M ветке и перейти на М1 или стать E7. Я попросил две недели на подумать и объявил свое решение.

Решение уйти из Фейсбука было явно не тем, что ожидалось от меня и погрузило менеджмент в минуту молчания

Вместе с уходом можно кратко рассказать что же послужило причиной похода в Фейсбук

#WhyLeftFacebook 1/3

Весной 2020 года передо мной стоял непростой выбор. Фейсбук Лондон - где меня задаунгрейдили на пару левелов, до Е6 или весьма известный финтех в Лондоне, где СЕО будет моим непосредственным боссом, а текущая команда уже порядка 150 человек.

На стороне Финтеха знакомая задача, я немногое в жизни умею делать, но кажется что быть Head of DS у меня получается. Эта работа мне понятна и уже неоднократно в разных местах делана. С другой стороны этот стартап известен тем что топы там не задерживаются надолго.

Несмотря на это, СЕО и вся команда топов с которой я общался мне понравились, но я понимал что СЕО человек весьма непростой. Вариант что через 3-6 месяцев я оттуда вылечу по причине того что либо я им, либо они мне не подойдут был весьма реалистичен, а с учетом переезда в Лондон - это было бы явным проигрышем и ударом по моей репутации

В картинке письмо с финальным офером от финтеха от 23 апреля 2020 года - на мой день рождения. Еще 400 000 фунтов опционами выдавались как sign on

#WhyLeftFacebook 2/3

На стороне Фейсбука была понятная лычка + возможность для меня откалиброваться и понять где я нахожусь относительно мирового уровня. Из минусов - я не люблю писать код, а стафу в новой команде довольно тяжело этого не делать. Кроме того stack WA - это Erlang и Haskell. Сильный даунгрейд тоже не добавлял радости, но что поделать, возможно резюме почти двухлетней давности сыграло здесь роль.
В итоге я выбрал Фейсбук, так это был более надежный вариант, а рисковать на тот момент я не хотел

Первого ноября 2020 года я переехал в Лондон, 9 ноября вышел в Фейсбук и начал работать. Удаленный онбординг вещь не самая приятная, но поначалу было интересно. Новое окружение, новые люди, новая команда, User Data Privacy, которую надо запустить с нуля С энтузиазмом принялся работать, выходило по 12-14 часов в день. Почему так много? Никакой формальной власти ФБ не дает, а результат требует. Значит нужно завоевывать авторитет и заниматься нетворкингом. В закрытых группа ФБ для 6+ в открытую обсуждалось что у ФБ проблема с наймом 6+ со стороны, либо они не идут, либо быстро уходят. Знающие люди говорят что 20% E6+ уходят после первого ревью, а получить meets all многие считают за счастье. Даже не знаю, почему бы это могло быть?

Где то в апреле свершилось то, чего и следовало ожидать, я окончательно убедился что ни M1 ни Е7 мне неинтересны, а интересно быть VP в Facebook, что являлось бы условным аналогом того, кем я был в Х5. К сожалению если в течении пяти лет директорство виделось вполне реальным (но не гарантированным!), то про VP такого понимания и близко не было

В том же месяца я договорился в июле поехать в Россию, пообщаться с корешами и понять где и что я могу интересного сделать. Но в мае на меня вышел рекрутер, который работал на один финтех стартап(теперь то мы знаем что это Blockchain.com), я прошел цикл собеседований и решил присоединиться к ним с середины ноября. Поэтому город пока менять видимо не придется

Очень тепло попрощался с со своим директором в Вотсапе и многими коллегами. С точки зрения организации Фейсбук конечно великое место, какие то вещи я оттуда безусловно положил в свой мешочек знаний.

Все же, почему Блокчейн?

Несколько причин:
1. Редкая возможность придти в стартап, который превращается в большую компанию, но еще ей не стал. Потенциал кристаллизовать что-то работающее из хаоса
2. Власть. Для меня власть это возможность влиять и изменять что-то плохое или неработающее, на хорошее и работающее. Например в ФБ мне категорически не нравилась ситуация с продакт менеджерами, но максимум что я мог, это изменить что-то локально. В том же Х5 мы смогли в какой-то мере повлиять что на HR бренд компании, что на образовательный ландшафт в России, запустив Школу Аналитиков данных, Цифровую Академию и Кафедру на ФизТехе
3. Риск и Динамика. Как-то мы обсуждали с коллегой из WhatsApp что практически ничего не бывает из разряда сделай сегодня, это и хорошо и плохо
4. Интересная тематика компании
5. Возможность заработать много денег
6. Full Remote. Можно работать даже из России
7. Мне понравился мой босс в Блокчейне, уже в конце 90-х он был директором в Майкрософте, затем директором в Гугле, затем основал стартап и продал его ФБ и бстал там директором. Затем снова Директором в Гугле и руководителем офиса в Сиэтле. Скоро начнется 5-й год как он в Blockchain.com


Оригинальный пост в ODS - там тред на 200+ сообщений, обсуждали многие вещи

#WhyLeftFacebook 3/3

Как человек, делавший динамическое ценообразование в нескольких очень больших компаниях, с интересном и удивлением наблюдаю за результатами ценообразования газа в Казахстане.

Например в Алиэкспресс мы ставили ограничение на цену выставленную моделью на бэке, кажется здесь это могло бы помочь

Одним зимним вечером я сидел в Яндексе и общался с ребятами из моей команды. Если мне не изменяет память, я обсуждал что-то с Денисом, который тогда еще был стажером в Яндекс Советника, а затем пошел по наклонной дорожке, получил диплом в MIT и сейчас работает в Нью-Йорке в Two Sigma

Внезапно у меня зазвонил телефон, я взял трубку и услышал голос начальника HR отдела Х5.
Она спросила у меня, Валера, как же так, почему твои сотрудники разрушают HR бренд, который мы с таким трудом создаем?
На мой вопрос что-же случилось она рассказал мне следующую историю

Начальников одного из отделов в моем департаменте отправился выступать онлайн перед студентами какого-то вуза, с собой он прихватил своего коллегу и товарища.

Они рассказывали какими замечательными вещами занимаются в Х5 и отвечали на вопросы студентов.

С каждым вопросом и каждым ответом они становились все грустнее и раздраженнее. Наконец конференция закончилась и инженер спросил у своего начальника:

- Что это за мудаки?
- Скорее всего ебаные гуманитарии, которые нихера не понимают

Оказалось что господа инженеры не выключили микрофон, и если вопрошавший сидел достаточно далеко от него, то мнение начальника отдела услышали все потенциальные будущие коллеги.

Я сдерживая смех ответил что разберусь с этим человеком, проведу беседу, инструктаж и мероприятие для студентов, которое будет призвано это исправить
Отсмеявшись вместе с Денисом минут 10 я позвонил герою дня и стал обсуждать происшествие

Все мероприятия были проведены и сам этот начальник выпалил про мудаков не со зла, в будущем он значительно улучшил свой эмоциональный интеллект и даже стал выступать с лекциями на тему осознанности.
Ну а мы, помимо прочего, ввели правило проверять что микрофон выключен, если ты думаешь что он выключен

Кстати, одной из задач выступления для этого сотрудника было засветиться и подружиться с HR отделом, чтобы они помогали ему с наймом. Первая часть задачи была выполнена с блеском

#Memoir

Некоторые даже писали после этого

Сегодня LinkedIn попросил меня ответь на ряд вопросов, чтобы помочь бороться с неравенством и угнетением

Let’s improve equal access to opportunity
Help promote fairness and diversity on LinkedIn by answering a few demographic questions. We’ll keep your responses confidential and secure

Вопросы были следующие:
1. Цвет моей кожи
2. Пол
3. Сексуальные предпочтения
4. Служил ли я в армии
5. Ухаживаю ли я за старыми, больными и немощными бесплатно
6. Есть ли у меня инвалидность
7. Может из тех с кем я живу кто-то служит в армии?

Надеюсь ответы данные мной, не заставят алгоритмы соцсети пессимизировать выдачу на меня, чтобы достичь равного доступа к возможностям. Но не уверен

Небольшой апдейт по этому посту. Так как инфляция за прошлый и этот год побила рекорды, это повлияло и на оферы. Свежий Офер на E4

Базовая зарплата - 182 тысячи долларов в год
Sign on bonus - 100 тысяч долларов
Initial grant 520 тысяч долларов

Теоретически можно еще отторговать вверх

Рефрешеры и размер бонуса пока еще не поменяли, насколько я знаю

#BigTechLevelsCompensation

Е6 - иначе именуемый Стаффом.
Тот левел на который я пришел в ФБ
Примерная компенсация (берем США за точку отсчета)

Базовая зарплата - 230 - 260 тысяч долларов в год
Бонус - 20% от этого в год
Initial grant 1000-1500 тысяч долларов
Refresher ~ 240 тысяч долларов в год
Бонус за подписание от 50 до 100 тысяч долларов
Total Comp порядка 600-800 тысяч долларов в год

Что ожидается от E6?

Все тоже, что требуется от Е5 плюс:

Играть важнейшую роль при выборе направления и целей для команды, учитывая импакт проекта, качество продукта и инженерную эффективность

Управление как минимум одним крупным и важным проектом в прошлом. Умение управлять проектами и командами

Умение решать технические проблемы такой сложности, которые под силу немногим. Люди вокруг признают это и ищут твоего совета, ты сильный ментор для других инженеров

Обычно именно ты имплементируешь сложнейшие части системы

Способность управлять и координировать роллауты и релизы (включает в себя межкомандную координацию)

Написание и деплой кода высокого качества, с высокой степенью надежности и стабильности

Отличные навыки устной и письменной речи. Способность четко и ясно объяснять технические проблемы, используя данные и аналитику и предоставлять подробную обратную связь и способ решения проблем.

Быть инфлюэнсером на уровне организации

Помощь в найме ребят из буткампа( внутренний будками ФБ) и умение запитчить им команду. Помощь в онбординге новых членов команды, менторинг и поддержка в быстром освоении кодовой базы .


Е6+ используется как отдельное описание уровня, условно есть инженеры и есть инженеры E6+. E6+ принимаю участие в калибровке

#BigTechLevelsCompensation

Сегодня в Лондоне +11. На улице вылезли качки

Вчера собеседовал Staff Engineer из Фейсбука. Сильный парень, 15+ лет опыта дата инженерии, работает в Core бизнесе - рекламной платформе. Кажется эта заметка не врет Из интересного: Сказал что проверил, действительно ли я работал в ФБ, говорит что в среднем из 10 человек, которые утверждали на LinkedIn что работали в ФБ, в реальности оказывается 3-4

#JobInterviewStory

Я почитал недавно статью на хабре про АБ тесты от одной компании
С удивлением обнаружил что там ниспровергается Cuped (точнее определенная формула)

И приводится этот код для проверки
Код из статьи воспроизведен без изменений (число итераций увеличено в 10 раз) в ячейке номер 2

Ячейка 2 выдает следующее
Не попал в 85.07000000000001% случаев; доверительный интервал: [84.36%, 85.76%]
Выглядит и вправду плохо, при ожидаемом уровне в 5% мы наблюдаем уровень ложно положительных результатов многократно выше


Я обратил внимание на то, что на одном и том же датасете считается сontrol before как ковариата и как вычитаемое среднее, к сожалению здесь ошибка и так делать нельзя. Это классический пример переобучения. Примерно как валидироваться на трейне и потом попасть впросак на новом датасете

Правится это следующим образом, вычитаемое среднее считается глобально по всему датасету (например если в а/б тест отправилось 5% юзеров, то среднее будем считаться по всем 100% и можем учесть чуть больший период времени)

В идеальном мире это выглядело бы вот так
Я бы просто знал параметры распределения и использовал их для вычитания среднего, хотя тогда и А/Б не нужен (строчка 8)
Ячейка 3

Допустим я не знаю параметры распределения, но у меня много данных, тогда будет вот так (строчка 4 и 9)
Ячейка 4

Вот как будет это выглядеть в реальной жизни при самом плохом случае, когда мы сравниваем группу А и Б и допустим что никаких других данных у нас нет
Ячейка 5

Вот как будет это выглядеть в реальной жизни при наличии каких то данных, кроме самих групп А и Б или А1 и А2
Ячейка 6

Вы можете позапускать код самостоятельно и убедится что во всех четырех случаях цифры будут около 5% , но пожалуй пристальнее всего стоит смотреть на то как будет в реальной жизни

Также, для сравнения дал пример где накинул очень маленький шум в качестве эффекта, cuped поймал его в половине случаев, без cuped - только в пяти из ста
Ячейка 7 и 8 соответственно

P.S. Кажется я знаю откуда может идти идея ниспровержения. По моему я был один из первых людей, сделавших доклад о Cuped на русском
В моем репозитории Cuped как раз был реализован с этой ошибкой, о чем я знал последние года два, но не придавал значения
Чуть подробнее мы разобрали это в ОДС в Июле 2021 года в этом треде

#ArticleReview