Меня регулярно спрашивают различных постах здесь в канале и в личных сообщениях почему я ушел из Фейсбука в Блокчейн. Поэтому я решил повторить пост, написанный мною 10 сентября 2021 года в Open Data Science

На днях в Фейсбуке закончился перфоманс ревью. Вышло неплохо - вся моя команда получила минимум exceeds, кому то удалось выбить промо. Очевидно после такого остается только одно. Сегодня я написал заявление на уход из Фейсбука и с середины ноября меня там, как минимум временно, не будет.

Предшествовало этому встреча с менеджементом, по итогам которой меня попросили ответить на вопрос что я хочу со следующего полугодия, пойти по M ветке и перейти на М1 или стать E7. Я попросил две недели на подумать и объявил свое решение.

Решение уйти из Фейсбука было явно не тем, что ожидалось от меня и погрузило менеджмент в минуту молчания

Вместе с уходом можно кратко рассказать что же послужило причиной похода в Фейсбук

#WhyLeftFacebook 1/3

Весной 2020 года передо мной стоял непростой выбор. Фейсбук Лондон - где меня задаунгрейдили на пару левелов, до Е6 или весьма известный финтех в Лондоне, где СЕО будет моим непосредственным боссом, а текущая команда уже порядка 150 человек.

На стороне Финтеха знакомая задача, я немногое в жизни умею делать, но кажется что быть Head of DS у меня получается. Эта работа мне понятна и уже неоднократно в разных местах делана. С другой стороны этот стартап известен тем что топы там не задерживаются надолго.

Несмотря на это, СЕО и вся команда топов с которой я общался мне понравились, но я понимал что СЕО человек весьма непростой. Вариант что через 3-6 месяцев я оттуда вылечу по причине того что либо я им, либо они мне не подойдут был весьма реалистичен, а с учетом переезда в Лондон - это было бы явным проигрышем и ударом по моей репутации

В картинке письмо с финальным офером от финтеха от 23 апреля 2020 года - на мой день рождения. Еще 400 000 фунтов опционами выдавались как sign on

#WhyLeftFacebook 2/3

На стороне Фейсбука была понятная лычка + возможность для меня откалиброваться и понять где я нахожусь относительно мирового уровня. Из минусов - я не люблю писать код, а стафу в новой команде довольно тяжело этого не делать. Кроме того stack WA - это Erlang и Haskell. Сильный даунгрейд тоже не добавлял радости, но что поделать, возможно резюме почти двухлетней давности сыграло здесь роль.
В итоге я выбрал Фейсбук, так это был более надежный вариант, а рисковать на тот момент я не хотел

Первого ноября 2020 года я переехал в Лондон, 9 ноября вышел в Фейсбук и начал работать. Удаленный онбординг вещь не самая приятная, но поначалу было интересно. Новое окружение, новые люди, новая команда, User Data Privacy, которую надо запустить с нуля С энтузиазмом принялся работать, выходило по 12-14 часов в день. Почему так много? Никакой формальной власти ФБ не дает, а результат требует. Значит нужно завоевывать авторитет и заниматься нетворкингом. В закрытых группа ФБ для 6+ в открытую обсуждалось что у ФБ проблема с наймом 6+ со стороны, либо они не идут, либо быстро уходят. Знающие люди говорят что 20% E6+ уходят после первого ревью, а получить meets all многие считают за счастье. Даже не знаю, почему бы это могло быть?

Где то в апреле свершилось то, чего и следовало ожидать, я окончательно убедился что ни M1 ни Е7 мне неинтересны, а интересно быть VP в Facebook, что являлось бы условным аналогом того, кем я был в Х5. К сожалению если в течении пяти лет директорство виделось вполне реальным (но не гарантированным!), то про VP такого понимания и близко не было

В том же месяца я договорился в июле поехать в Россию, пообщаться с корешами и понять где и что я могу интересного сделать. Но в мае на меня вышел рекрутер, который работал на один финтех стартап(теперь то мы знаем что это Blockchain.com), я прошел цикл собеседований и решил присоединиться к ним с середины ноября. Поэтому город пока менять видимо не придется

Очень тепло попрощался с со своим директором в Вотсапе и многими коллегами. С точки зрения организации Фейсбук конечно великое место, какие то вещи я оттуда безусловно положил в свой мешочек знаний.

Все же, почему Блокчейн?

Несколько причин:
1. Редкая возможность придти в стартап, который превращается в большую компанию, но еще ей не стал. Потенциал кристаллизовать что-то работающее из хаоса
2. Власть. Для меня власть это возможность влиять и изменять что-то плохое или неработающее, на хорошее и работающее. Например в ФБ мне категорически не нравилась ситуация с продакт менеджерами, но максимум что я мог, это изменить что-то локально. В том же Х5 мы смогли в какой-то мере повлиять что на HR бренд компании, что на образовательный ландшафт в России, запустив Школу Аналитиков данных, Цифровую Академию и Кафедру на ФизТехе
3. Риск и Динамика. Как-то мы обсуждали с коллегой из WhatsApp что практически ничего не бывает из разряда сделай сегодня, это и хорошо и плохо
4. Интересная тематика компании
5. Возможность заработать много денег
6. Full Remote. Можно работать даже из России
7. Мне понравился мой босс в Блокчейне, уже в конце 90-х он был директором в Майкрософте, затем директором в Гугле, затем основал стартап и продал его ФБ и бстал там директором. Затем снова Директором в Гугле и руководителем офиса в Сиэтле. Скоро начнется 5-й год как он в Blockchain.com


Оригинальный пост в ODS - там тред на 200+ сообщений, обсуждали многие вещи

#WhyLeftFacebook 3/3

Как человек, делавший динамическое ценообразование в нескольких очень больших компаниях, с интересном и удивлением наблюдаю за результатами ценообразования газа в Казахстане.

Например в Алиэкспресс мы ставили ограничение на цену выставленную моделью на бэке, кажется здесь это могло бы помочь

Одним зимним вечером я сидел в Яндексе и общался с ребятами из моей команды. Если мне не изменяет память, я обсуждал что-то с Денисом, который тогда еще был стажером в Яндекс Советника, а затем пошел по наклонной дорожке, получил диплом в MIT и сейчас работает в Нью-Йорке в Two Sigma

Внезапно у меня зазвонил телефон, я взял трубку и услышал голос начальника HR отдела Х5.
Она спросила у меня, Валера, как же так, почему твои сотрудники разрушают HR бренд, который мы с таким трудом создаем?
На мой вопрос что-же случилось она рассказал мне следующую историю

Начальников одного из отделов в моем департаменте отправился выступать онлайн перед студентами какого-то вуза, с собой он прихватил своего коллегу и товарища.

Они рассказывали какими замечательными вещами занимаются в Х5 и отвечали на вопросы студентов.

С каждым вопросом и каждым ответом они становились все грустнее и раздраженнее. Наконец конференция закончилась и инженер спросил у своего начальника:

- Что это за мудаки?
- Скорее всего ебаные гуманитарии, которые нихера не понимают

Оказалось что господа инженеры не выключили микрофон, и если вопрошавший сидел достаточно далеко от него, то мнение начальника отдела услышали все потенциальные будущие коллеги.

Я сдерживая смех ответил что разберусь с этим человеком, проведу беседу, инструктаж и мероприятие для студентов, которое будет призвано это исправить
Отсмеявшись вместе с Денисом минут 10 я позвонил герою дня и стал обсуждать происшествие

Все мероприятия были проведены и сам этот начальник выпалил про мудаков не со зла, в будущем он значительно улучшил свой эмоциональный интеллект и даже стал выступать с лекциями на тему осознанности.
Ну а мы, помимо прочего, ввели правило проверять что микрофон выключен, если ты думаешь что он выключен

Кстати, одной из задач выступления для этого сотрудника было засветиться и подружиться с HR отделом, чтобы они помогали ему с наймом. Первая часть задачи была выполнена с блеском

#Memoir

Некоторые даже писали после этого

Сегодня LinkedIn попросил меня ответь на ряд вопросов, чтобы помочь бороться с неравенством и угнетением

Let’s improve equal access to opportunity
Help promote fairness and diversity on LinkedIn by answering a few demographic questions. We’ll keep your responses confidential and secure

Вопросы были следующие:
1. Цвет моей кожи
2. Пол
3. Сексуальные предпочтения
4. Служил ли я в армии
5. Ухаживаю ли я за старыми, больными и немощными бесплатно
6. Есть ли у меня инвалидность
7. Может из тех с кем я живу кто-то служит в армии?

Надеюсь ответы данные мной, не заставят алгоритмы соцсети пессимизировать выдачу на меня, чтобы достичь равного доступа к возможностям. Но не уверен

Небольшой апдейт по этому посту. Так как инфляция за прошлый и этот год побила рекорды, это повлияло и на оферы. Свежий Офер на E4

Базовая зарплата - 182 тысячи долларов в год
Sign on bonus - 100 тысяч долларов
Initial grant 520 тысяч долларов

Теоретически можно еще отторговать вверх

Рефрешеры и размер бонуса пока еще не поменяли, насколько я знаю

#BigTechLevelsCompensation

Е6 - иначе именуемый Стаффом.
Тот левел на который я пришел в ФБ
Примерная компенсация (берем США за точку отсчета)

Базовая зарплата - 230 - 260 тысяч долларов в год
Бонус - 20% от этого в год
Initial grant 1000-1500 тысяч долларов
Refresher ~ 240 тысяч долларов в год
Бонус за подписание от 50 до 100 тысяч долларов
Total Comp порядка 600-800 тысяч долларов в год

Что ожидается от E6?

Все тоже, что требуется от Е5 плюс:

Играть важнейшую роль при выборе направления и целей для команды, учитывая импакт проекта, качество продукта и инженерную эффективность

Управление как минимум одним крупным и важным проектом в прошлом. Умение управлять проектами и командами

Умение решать технические проблемы такой сложности, которые под силу немногим. Люди вокруг признают это и ищут твоего совета, ты сильный ментор для других инженеров

Обычно именно ты имплементируешь сложнейшие части системы

Способность управлять и координировать роллауты и релизы (включает в себя межкомандную координацию)

Написание и деплой кода высокого качества, с высокой степенью надежности и стабильности

Отличные навыки устной и письменной речи. Способность четко и ясно объяснять технические проблемы, используя данные и аналитику и предоставлять подробную обратную связь и способ решения проблем.

Быть инфлюэнсером на уровне организации

Помощь в найме ребят из буткампа( внутренний будками ФБ) и умение запитчить им команду. Помощь в онбординге новых членов команды, менторинг и поддержка в быстром освоении кодовой базы .


Е6+ используется как отдельное описание уровня, условно есть инженеры и есть инженеры E6+. E6+ принимаю участие в калибровке

#BigTechLevelsCompensation

Сегодня в Лондоне +11. На улице вылезли качки

Вчера собеседовал Staff Engineer из Фейсбука. Сильный парень, 15+ лет опыта дата инженерии, работает в Core бизнесе - рекламной платформе. Кажется эта заметка не врет Из интересного: Сказал что проверил, действительно ли я работал в ФБ, говорит что в среднем из 10 человек, которые утверждали на LinkedIn что работали в ФБ, в реальности оказывается 3-4

#JobInterviewStory

Я почитал недавно статью на хабре про АБ тесты от одной компании
С удивлением обнаружил что там ниспровергается Cuped (точнее определенная формула)

И приводится этот код для проверки
Код из статьи воспроизведен без изменений (число итераций увеличено в 10 раз) в ячейке номер 2

Ячейка 2 выдает следующее
Не попал в 85.07000000000001% случаев; доверительный интервал: [84.36%, 85.76%]
Выглядит и вправду плохо, при ожидаемом уровне в 5% мы наблюдаем уровень ложно положительных результатов многократно выше


Я обратил внимание на то, что на одном и том же датасете считается сontrol before как ковариата и как вычитаемое среднее, к сожалению здесь ошибка и так делать нельзя. Это классический пример переобучения. Примерно как валидироваться на трейне и потом попасть впросак на новом датасете

Правится это следующим образом, вычитаемое среднее считается глобально по всему датасету (например если в а/б тест отправилось 5% юзеров, то среднее будем считаться по всем 100% и можем учесть чуть больший период времени)

В идеальном мире это выглядело бы вот так
Я бы просто знал параметры распределения и использовал их для вычитания среднего, хотя тогда и А/Б не нужен (строчка 8)
Ячейка 3

Допустим я не знаю параметры распределения, но у меня много данных, тогда будет вот так (строчка 4 и 9)
Ячейка 4

Вот как будет это выглядеть в реальной жизни при самом плохом случае, когда мы сравниваем группу А и Б и допустим что никаких других данных у нас нет
Ячейка 5

Вот как будет это выглядеть в реальной жизни при наличии каких то данных, кроме самих групп А и Б или А1 и А2
Ячейка 6

Вы можете позапускать код самостоятельно и убедится что во всех четырех случаях цифры будут около 5% , но пожалуй пристальнее всего стоит смотреть на то как будет в реальной жизни

Также, для сравнения дал пример где накинул очень маленький шум в качестве эффекта, cuped поймал его в половине случаев, без cuped - только в пяти из ста
Ячейка 7 и 8 соответственно

P.S. Кажется я знаю откуда может идти идея ниспровержения. По моему я был один из первых людей, сделавших доклад о Cuped на русском
В моем репозитории Cuped как раз был реализован с этой ошибкой, о чем я знал последние года два, но не придавал значения
Чуть подробнее мы разобрали это в ОДС в Июле 2021 года в этом треде

#ArticleReview

Возле дома меня попытался атаковать гусь. Сразу вспомнился Kaggle

У меня есть друг Максим. В начале нашего с ним знакомства, Максим не был мои другом, он был моим руководителем в Яндексе.

В свое время Яндекс купил стартап Советник, который в нужный момент сообщал человеку, что точно такой же товар, который он видит сейчас на определенном сайте, можно купить на другом и дешевле. Пользователям такое предложение обычно нравилось, магазинам, где оно возникало, почему то нет

После покупки стартапа Яндексом, Максим, вместе с командой, перешел, как бы это удивительно не звучало, в Яндекс и стал руководителем Яндекс Советника, где мы с ним и познакомились во время собеседования и затем во время работы.

Именно Максим толкнул меня на скользкую дорожку работы в нескольких местах, когда после моего объявления об уходе в Х5 он спросил: Можешь остаться? И я смог остаться и там и там.
Полтора года спустя Макс ушел из Яндекса на год раньше меня и основал VideoMarket.ai

Сейчас он рулит компанией Dalytics, которая входит в экосистему eCompass.ru и у них в работе несколько новых проектов в сфере разработки аналитических отчетов и инструментов для бизнеса, поэтому он хочет нанять парочку Дата Аналитиков для постоянной, проектной или part-time работы (как вы помните он сам толкнул меня на две работы сразу)

Нужно немного:
– опыт работы с ClickHouse, PostgreSQL, идеально если Greenplum и DBT;
– знание Python, SQL и его диалектов;

По деньгам - 180-200к на руки
Писать можно ему сюда @surkiz

#friends

Одной из задач, стоящих перед мной в Blockchain.com, является подготовка инфраструктуры к росту объемов хранимых и используемых данных, деплоя моделей машинного обучения, работающих как в риалтайме так и по батчам и инфраструктуры для финансовых данных.

Будь я в России, то наверное пошел бы по проторённой дорожке: Hadoop, Postgres, Spark, Clickhouse,Kafka

Но так как я имею преимущество нахождения текущей инфры в хорошем облаке, почему бы этим не воспользоваться?
Тем более что от нескольких друзей я услышал про новый паттерн Data Lakehouse.

В классической истории есть Data Lake где хранится всякое и есть DWH где хранится всякое обработанное, вытащенное и очищенное из Data Lake

Что предлагает Data Lakehouse?
В существующих дата лейках, чтобы использовать какое-то BI или ML приложение, нужно под них налаживать ETL
LakeHouse позволяет всем приложениям (ML, BI, ...) иметь постоянный доступ ко всем данным без отладки ETL каждый раз заного, что гарантирует консистентные данные, собранные из различных источников в даталейке.

ETL встроен в мета слой. Без data management/governance слоя каждая команда к источникам подрубается своими etl процессами и создает свои датамарты, затем непонятно как их поддерживает что создает проблемы с переиспользованием и дупликацией.

Вторая часть приятных вещей - транзакционность, для этого вводится delta tables/files/transaction log/engine/storage layer

Во многих конторах с распределенными офлайн точками есть непобежденная беда с чеками. Где-нибудь в магазинах кассовые аппараты неделю могут быть отключены от сети и чеки долетают только спустя полторы недели в мастер таблицу с чеками, задним числом обновив какие-то партиции в таблицы. Нет унифицированного механизма, как это отслеживать, каждая команда по-своему разрешает такие апдейты, если просто не забивает на них


Из того что я видел, Lakehouse предлагает Google (на Bigquery к которому я подозрительно отношусь), Databricks и AWS
С ребятами из Датабрикс мне советовали встретиться давно, тем более что основатели Датабрикс - создатели Spark. В итоге они сами на меня вышли и на этой неделе я планирую провести с ними уже вторую встречу и послушать их Solution Architect

Мне кажется что вещи, сказанные выше - слишком хороши, чтобы быть правдой, поэтому если вы знаете что то про это, буду рад вашим комментариям

Кстати мне сейчас нужны дата инженеры, заниматься этим и многим другим. RVожно как фул ремоут, так и с релокейтом в Лондоне. Есть офисы в Майами и Буэнос Айресе. Платим мы примерно как ФБ, если говорить про зарплату про и бонус, смотри BigTechLevelsCompensation в дополнение есть криптобонус и опционы, которых мы даем даже чуть больше ФБ в абсолютах и это при текущей оценке! Можно податься здесь

По итогам 2021 года инфляция в ЮК составила 5.1%, в России около 8.4%

Интересно, что эти пять процентов я в Лондоне даже не заметил.
В воскресенье рассказал своему другу из Фейсбука об этих пяти процентах, он удивился и тоже сказал что не заметил этого на ценах

8% в России я очень сильно ощутил на себе что в декабрьский приезд в Москву что в июльский , начиная от такси и ресторанов и заканчивая бытовой техникой, выросло все очень ощутимо

Стоит добавить что сама по себе инфляция показатель условный. Если товары стоили год назад 100 рублей, сейчас 108, но в кармане у меня стало 110 рублей, это лучше, чем если стали стоить 99 рублей, но в кармане 98. Возможно стоит оценивать в связке с ростом ВВП, около 4.5% в РФ, около 6.5% роста в ЮК

https://www.youtube.com/watch?v=PZoueQ9kjCU

Мы захотели провести вторую серию собеседований, постепенно повышая как уровень сложности, так и опытность участников.

На этот раз про System Design

Первое собеседование мы провели с учащимся 11 класса школы в Москве, последнее с тим лидом из Али Бабы
Здесь ссылка на первое интервью, построить систему, выдающую короткие ссылки

#Interview

Е7 - иначе именуемый Senior Staff
Тот левел от которого я ушел в Блокчейн
Примерная компенсация (берем США за точку отсчета)

Базовая зарплата - 250 - 300 тысяч долларов в год
Бонус - 25% от этого в год
Initial grant 2000-3000 тысяч (2-3млн) долларов
Refresher ~ 480 тысяч долларов в год
Бонус за подписание** ~100 - 200 тысяч долларов
Total Comp порядка 800-1400 тысяч долларов в год

Не существует единого шаблона описывающего Е7, (есть описание разных архетипов), но можно попробовать выделить какие-то общие вещи

Что ожидается от E7?

Все тоже, что требуется от Е6 плюс:

Умение детально описать сложную систему и способность эффективно донести технические детали (письменно и устно)

Детальное понимание стратегии и целей организации и компании и как это завязано на ботлнеки со стороны инженеров. Способность изменять цели команды и ставить технические задачи таким образом, чтобы ваша организация становилась более эффективной

Упрощаешь мир вокруг себя. Системы, созданные тобой, хороши как на бумаге, так в разрезе operational cost

Ты осознаешь тренды в индустрии и в компании. Это позволяет избежать неподходящих технологий, дизайна и бизнес решений

Ты определяешь приоритеты для своей организации. Влияешь на нужных людей и лоббируешь хэдкаунт/приоритеты для своих проектов

Ты продвигаешь качество продукта и все что связано с инженерной эффективность в своей организации

Ты невероятно хорош в менторинге, помощи другим, решении конфликтов и коммуникации среди всех инженеров

Ты вплотную работаешь с руководителями разных команд (Engineering Managers) - ты помогаешь им повысить производительность их команд. Ты предоставляешь обратную связь всем командам и организации в целом

Следишь за тем что происходит в индустрии и у конкурентов. Оцениваешь новые технологии, которые могут помочь компании, либо угрожать ей

Ты знаешь как работает компания, как в плане организации, так и технологически. Эти знания позволяют тебе делать то, что под силу немногим.

Ты помогаешь с наймом на лидершип позиции: помогаешь нанимать менеджеров и синьорных инженеров

#BigTechLevelsCompensation

В инстаграмме часто вылезает реклама от Биг Тех компаний, что попасть в них совсем несложно. Не нужно много лет опыта и тяжелого обучения. Вася, Петя, Маша, были грузчиком, учителем, хай скул дропаут и вот, они все же попали в Гугл, ФБ или куда то еще.

И приводят историю успеха. Я посмотрел на несколько подряд и записал, без всякого черри пикинга: Product Designer, Technical Sourcer, Content Strategist, Marketing Inclusion Program Manager, Enterprise Support Tech

Все же когда рекламируют Биг Тех я представляю инженерную/техническую позицию