Вчера собеседовал Staff Engineer из Фейсбука. Сильный парень, 15+ лет опыта дата инженерии, работает в Core бизнесе - рекламной платформе. Кажется эта заметка не врет Из интересного: Сказал что проверил, действительно ли я работал в ФБ, говорит что в среднем из 10 человек, которые утверждали на LinkedIn что работали в ФБ, в реальности оказывается 3-4

#JobInterviewStory

Я почитал недавно статью на хабре про АБ тесты от одной компании
С удивлением обнаружил что там ниспровергается Cuped (точнее определенная формула)

И приводится этот код для проверки
Код из статьи воспроизведен без изменений (число итераций увеличено в 10 раз) в ячейке номер 2

Ячейка 2 выдает следующее
Не попал в 85.07000000000001% случаев; доверительный интервал: [84.36%, 85.76%]
Выглядит и вправду плохо, при ожидаемом уровне в 5% мы наблюдаем уровень ложно положительных результатов многократно выше


Я обратил внимание на то, что на одном и том же датасете считается сontrol before как ковариата и как вычитаемое среднее, к сожалению здесь ошибка и так делать нельзя. Это классический пример переобучения. Примерно как валидироваться на трейне и потом попасть впросак на новом датасете

Правится это следующим образом, вычитаемое среднее считается глобально по всему датасету (например если в а/б тест отправилось 5% юзеров, то среднее будем считаться по всем 100% и можем учесть чуть больший период времени)

В идеальном мире это выглядело бы вот так
Я бы просто знал параметры распределения и использовал их для вычитания среднего, хотя тогда и А/Б не нужен (строчка 8)
Ячейка 3

Допустим я не знаю параметры распределения, но у меня много данных, тогда будет вот так (строчка 4 и 9)
Ячейка 4

Вот как будет это выглядеть в реальной жизни при самом плохом случае, когда мы сравниваем группу А и Б и допустим что никаких других данных у нас нет
Ячейка 5

Вот как будет это выглядеть в реальной жизни при наличии каких то данных, кроме самих групп А и Б или А1 и А2
Ячейка 6

Вы можете позапускать код самостоятельно и убедится что во всех четырех случаях цифры будут около 5% , но пожалуй пристальнее всего стоит смотреть на то как будет в реальной жизни

Также, для сравнения дал пример где накинул очень маленький шум в качестве эффекта, cuped поймал его в половине случаев, без cuped - только в пяти из ста
Ячейка 7 и 8 соответственно

P.S. Кажется я знаю откуда может идти идея ниспровержения. По моему я был один из первых людей, сделавших доклад о Cuped на русском
В моем репозитории Cuped как раз был реализован с этой ошибкой, о чем я знал последние года два, но не придавал значения
Чуть подробнее мы разобрали это в ОДС в Июле 2021 года в этом треде

#ArticleReview

Возле дома меня попытался атаковать гусь. Сразу вспомнился Kaggle

У меня есть друг Максим. В начале нашего с ним знакомства, Максим не был мои другом, он был моим руководителем в Яндексе.

В свое время Яндекс купил стартап Советник, который в нужный момент сообщал человеку, что точно такой же товар, который он видит сейчас на определенном сайте, можно купить на другом и дешевле. Пользователям такое предложение обычно нравилось, магазинам, где оно возникало, почему то нет

После покупки стартапа Яндексом, Максим, вместе с командой, перешел, как бы это удивительно не звучало, в Яндекс и стал руководителем Яндекс Советника, где мы с ним и познакомились во время собеседования и затем во время работы.

Именно Максим толкнул меня на скользкую дорожку работы в нескольких местах, когда после моего объявления об уходе в Х5 он спросил: Можешь остаться? И я смог остаться и там и там.
Полтора года спустя Макс ушел из Яндекса на год раньше меня и основал VideoMarket.ai

Сейчас он рулит компанией Dalytics, которая входит в экосистему eCompass.ru и у них в работе несколько новых проектов в сфере разработки аналитических отчетов и инструментов для бизнеса, поэтому он хочет нанять парочку Дата Аналитиков для постоянной, проектной или part-time работы (как вы помните он сам толкнул меня на две работы сразу)

Нужно немного:
– опыт работы с ClickHouse, PostgreSQL, идеально если Greenplum и DBT;
– знание Python, SQL и его диалектов;

По деньгам - 180-200к на руки
Писать можно ему сюда @surkiz

#friends

Одной из задач, стоящих перед мной в Blockchain.com, является подготовка инфраструктуры к росту объемов хранимых и используемых данных, деплоя моделей машинного обучения, работающих как в риалтайме так и по батчам и инфраструктуры для финансовых данных.

Будь я в России, то наверное пошел бы по проторённой дорожке: Hadoop, Postgres, Spark, Clickhouse,Kafka

Но так как я имею преимущество нахождения текущей инфры в хорошем облаке, почему бы этим не воспользоваться?
Тем более что от нескольких друзей я услышал про новый паттерн Data Lakehouse.

В классической истории есть Data Lake где хранится всякое и есть DWH где хранится всякое обработанное, вытащенное и очищенное из Data Lake

Что предлагает Data Lakehouse?
В существующих дата лейках, чтобы использовать какое-то BI или ML приложение, нужно под них налаживать ETL
LakeHouse позволяет всем приложениям (ML, BI, ...) иметь постоянный доступ ко всем данным без отладки ETL каждый раз заного, что гарантирует консистентные данные, собранные из различных источников в даталейке.

ETL встроен в мета слой. Без data management/governance слоя каждая команда к источникам подрубается своими etl процессами и создает свои датамарты, затем непонятно как их поддерживает что создает проблемы с переиспользованием и дупликацией.

Вторая часть приятных вещей - транзакционность, для этого вводится delta tables/files/transaction log/engine/storage layer

Во многих конторах с распределенными офлайн точками есть непобежденная беда с чеками. Где-нибудь в магазинах кассовые аппараты неделю могут быть отключены от сети и чеки долетают только спустя полторы недели в мастер таблицу с чеками, задним числом обновив какие-то партиции в таблицы. Нет унифицированного механизма, как это отслеживать, каждая команда по-своему разрешает такие апдейты, если просто не забивает на них


Из того что я видел, Lakehouse предлагает Google (на Bigquery к которому я подозрительно отношусь), Databricks и AWS
С ребятами из Датабрикс мне советовали встретиться давно, тем более что основатели Датабрикс - создатели Spark. В итоге они сами на меня вышли и на этой неделе я планирую провести с ними уже вторую встречу и послушать их Solution Architect

Мне кажется что вещи, сказанные выше - слишком хороши, чтобы быть правдой, поэтому если вы знаете что то про это, буду рад вашим комментариям

Кстати мне сейчас нужны дата инженеры, заниматься этим и многим другим. RVожно как фул ремоут, так и с релокейтом в Лондоне. Есть офисы в Майами и Буэнос Айресе. Платим мы примерно как ФБ, если говорить про зарплату про и бонус, смотри BigTechLevelsCompensation в дополнение есть криптобонус и опционы, которых мы даем даже чуть больше ФБ в абсолютах и это при текущей оценке! Можно податься здесь

По итогам 2021 года инфляция в ЮК составила 5.1%, в России около 8.4%

Интересно, что эти пять процентов я в Лондоне даже не заметил.
В воскресенье рассказал своему другу из Фейсбука об этих пяти процентах, он удивился и тоже сказал что не заметил этого на ценах

8% в России я очень сильно ощутил на себе что в декабрьский приезд в Москву что в июльский , начиная от такси и ресторанов и заканчивая бытовой техникой, выросло все очень ощутимо

Стоит добавить что сама по себе инфляция показатель условный. Если товары стоили год назад 100 рублей, сейчас 108, но в кармане у меня стало 110 рублей, это лучше, чем если стали стоить 99 рублей, но в кармане 98. Возможно стоит оценивать в связке с ростом ВВП, около 4.5% в РФ, около 6.5% роста в ЮК

https://www.youtube.com/watch?v=PZoueQ9kjCU

Мы захотели провести вторую серию собеседований, постепенно повышая как уровень сложности, так и опытность участников.

На этот раз про System Design

Первое собеседование мы провели с учащимся 11 класса школы в Москве, последнее с тим лидом из Али Бабы
Здесь ссылка на первое интервью, построить систему, выдающую короткие ссылки

#Interview

Е7 - иначе именуемый Senior Staff
Тот левел от которого я ушел в Блокчейн
Примерная компенсация (берем США за точку отсчета)

Базовая зарплата - 250 - 300 тысяч долларов в год
Бонус - 25% от этого в год
Initial grant 2000-3000 тысяч (2-3млн) долларов
Refresher ~ 480 тысяч долларов в год
Бонус за подписание** ~100 - 200 тысяч долларов
Total Comp порядка 800-1400 тысяч долларов в год

Не существует единого шаблона описывающего Е7, (есть описание разных архетипов), но можно попробовать выделить какие-то общие вещи

Что ожидается от E7?

Все тоже, что требуется от Е6 плюс:

Умение детально описать сложную систему и способность эффективно донести технические детали (письменно и устно)

Детальное понимание стратегии и целей организации и компании и как это завязано на ботлнеки со стороны инженеров. Способность изменять цели команды и ставить технические задачи таким образом, чтобы ваша организация становилась более эффективной

Упрощаешь мир вокруг себя. Системы, созданные тобой, хороши как на бумаге, так в разрезе operational cost

Ты осознаешь тренды в индустрии и в компании. Это позволяет избежать неподходящих технологий, дизайна и бизнес решений

Ты определяешь приоритеты для своей организации. Влияешь на нужных людей и лоббируешь хэдкаунт/приоритеты для своих проектов

Ты продвигаешь качество продукта и все что связано с инженерной эффективность в своей организации

Ты невероятно хорош в менторинге, помощи другим, решении конфликтов и коммуникации среди всех инженеров

Ты вплотную работаешь с руководителями разных команд (Engineering Managers) - ты помогаешь им повысить производительность их команд. Ты предоставляешь обратную связь всем командам и организации в целом

Следишь за тем что происходит в индустрии и у конкурентов. Оцениваешь новые технологии, которые могут помочь компании, либо угрожать ей

Ты знаешь как работает компания, как в плане организации, так и технологически. Эти знания позволяют тебе делать то, что под силу немногим.

Ты помогаешь с наймом на лидершип позиции: помогаешь нанимать менеджеров и синьорных инженеров

#BigTechLevelsCompensation

В инстаграмме часто вылезает реклама от Биг Тех компаний, что попасть в них совсем несложно. Не нужно много лет опыта и тяжелого обучения. Вася, Петя, Маша, были грузчиком, учителем, хай скул дропаут и вот, они все же попали в Гугл, ФБ или куда то еще.

И приводят историю успеха. Я посмотрел на несколько подряд и записал, без всякого черри пикинга: Product Designer, Technical Sourcer, Content Strategist, Marketing Inclusion Program Manager, Enterprise Support Tech

Все же когда рекламируют Биг Тех я представляю инженерную/техническую позицию

Я очень люблю заниматься образовательными активностями, школами, курсами, кафедрами, больше этого я люблю только АБ тесты

На мой взгляд должно быть два варианта обучения.

Первый - бесплатный, с конкурсом и отбором.

Второй - платный, куда может поступить каждый, просто отбор там происходит уже на стадии обучения и умения выдержать ритм, не за счёт уменьшения качества

Хорошим примером второго служит Карпов Курсес и Hard ML

Но сейчас мы поговорим о первом. Ведь сегодня мы открываем прием заявок в школу аналитиков данных МТС

Девять месяцев обучения от практикующих специалистов, на реальных данных и бесплатной инфре.

Все от математики и машинного обучения, до дата инженерии и девопса. Совершенно бесплатно

Можете задавать вопросы здесь или читать описание на сайте

Только что отсобеседовал парня на стажера

Помимо того что готовится в сборную по борьбе 2022, он еще оплатил свое обучение в магистратуре за счет инвестиций в крипту

Однозначно Strong Yes
#JobInterviewStory

В то время как Нью Йорк и Майми борятся за звание крипто столицы, где vэр каждого из городов пытается привлечь все новые бизнесы, сделать законодательство более дружелюбным и даже получать зарплату в биткойнах, Центральный Банк России предлагает запретить все операции связанные с криптой.

Мне кажется что стратегически, в долгосочной перспектике это решение может принести множество проблем и вызвать отставание, которое будет невозможно сократить. Напоминание гонения на кибернетику и генетику в 30-60х годах

С покупкой ещё одной компании в Аргентине, Буэнос-Айрес стал самым большим офисом Blockchain.com по численности сотрудников.

Порядка десяти человек оттуда на неделю прилетели в Лондон, путь неблизкий, 17 часов прямым рейсом, интересно как они себя будут чувствовать сегодня. Из лета +40 прилететь в зиму +10

Видимо придется в будущем нанести ответный визит, говорят там интересно.

Забавный факт, в связи с крайней высокой инфляцией в Аргентине, перформанс ревью и пересмотр зарплаты там проводят каждые три месяца

В канале задали вопрос: Валера, привет! Я видел, ты уже не первый раз писал о том, что важно иметь хорошего босса. А можешь раскрыть, плиз, что ты вкладываешь в понятие «хорошего босса»?

Часто, во время собеседований на управляющие позиции, собеседующие спрашивают, в чем задача менеджера. Правильные ответы (условно) в порядке возрастания по пирамиде Маслоу - нанимать людей, организовывать команду, устранить препятствия, помогать сотрудникам расти.

В моем понимании, хороший руководитель, во-первых имеет все необходимое чтобы этим заниматься. Может помочь с наймом, может помочь с организацией, можно помочь решить проблему и самое важное, у него есть чему научиться. Поэтому имеет смысл задавать себе вопрос, смогу ли я чему-то научиться у этого человека? Если это вообще необходимо

Второе, не менее важное, он делает это в нужный момент. Бывает так, что сотрудник тянется к руководителю и надеется, сейчас то ему помогут наконец вырасти, но руководителю не до того.

Нередко бывает и обратное, руководитель прибегает и радостно объявляет, сейчас я наконец помогу тебе вырасти! А может мне не надо расти, у меня жена, ребенок, хобби, друзья, все что угодно, мне и так хорошо там где я сейчас и вообще я работаю чтобы жить, а не живу чтобы работать. Что ты пристал ко мне

То есть хороший руководитель еще должен понимать желания и потребности своих сотрудников. Сложность же в том, что все это необходимо сочетать с тем что желанием и потребностями компании, в которой эти прекрасные люди работают.

С интересом послушаю мнение других людей на эту тему

На днях помог своему другу поторговаться за офер в Фейсбуке в Лондоне. Достаточно было отправить правильное письмо, и офер из 102/270 превратился в 109/420 (зарплата в год в фунтах, начальный грант). Никаких контр оферов не понадобилось, а еще один друг в Лондоне помешает

Попробую помочь и другим своим друзьям, из Алибабы

Помните пост про Robyn? Им нужен аналитик который поможет это МММ реализовать, 200-300к на руки
Еще ищут Мидла или Синьора для МЛ ценообразования, благо дизайн и прототип с первыми тестами там уже запилен, на 300-500к
Ну и напоследок в МЛ антифрод ищут Мидла или Джуна 150 - 300к

Написать можно мне - @venheads
Обсудим


Update попросили рассказать что написал. Друг ещё даже не вышел и публиковать его письмо я не буду. Тем более каждое письмо зависит от того кто ты, как прошел интервью и куда идёшь, но тем не менее есть один принцип. Ни в коем случае нельзя угрожать, но угроза должна читаться между строк
#JobInterviewStory

Случилось то что должно было случиться

В декабре мой друг, работающий руководителем в одной крупной такси конторе сказал следующее:

Что-то не очень качество выпускников Хард МЛ. Мы тут прособеседовали одного, а он ничего толком по ценообразованию не знает.

Я попросил ФИО и посмотрел сколько баллов у человека за модуль ценообразование, оказалось что около 40, при том что результат в 70 мы считаем так себе, на грани между тройкой и двойкой

Вот сиди и думай теперь, как это решать. Ведь сертификат об успешном окончании модуля мы челу не выдали, что не помешало ему поставить курс себе в резюме

Update Хард мл это https://karpov.courses/ml-hard

Сейчас я провожу по 5-8 собеседований в день. Это простенькие поведенческие интервью, где мне нужно понять несколько вещей

1. Чем человек хочет заниматься и есть ли такие задачи у нас
2. Чем он занимался раньше и что умеет (по его утверждениям)
3. Понять насколько валидно это звучи
4. Оценить насколько хорошо он коммуницирует и говорит по английский
5. Знает ли человек чем занимается контора

Последний пункт оказывается непроходимым для многих

Если зайти на blockchain.com то крупными буквами на 1 скроле экрана там написано следующее:
The world’s most popular way to buy, sell, and trade crypto
Wallet: The Easiest and Most Powerful Crypto Wallet
Exchange: Lightning-Fast Crypto Trading
Institutional: Bespoke crypto lending, trading, and custody for institutions
Explore: Blockchain Data is in Our DNA


Более того, вверху сайта все продублировано плашками: Wallet, Exchange, Explorer ,Institutional
Тридцать секунд - и сразу в общих чертах понятно что делает компания.

Казалось бы, тебе назначили интервью, у тебя первое собеседование в компанию, оно будет длиться тридцать минут, почему бы не зайти на сайт и не посмотреть что делает компания, куда ты собеседуешься, тем более что ты подался через ее сайт!

Но нет, примерно 20% соискателей валятся на этом вопросе. Чего я только не слышал. Что мы предоставляем инфраструктуру, что мы экосистема и много чего еще.

На уточняющий вопрос что же мы конкретное делаем, лишь неловкое молчание и смущенные улыбки. Из 100 человек получивших нет на первом интервью, 80-90 получают его именно после “ответа” на этот вопрос
#JobInterviewStory

Под конец дня, интервью, которое мы записали в декабре с Карпов Курсес
#Interview

Поездка в Москву в декабре была крайне удачной, записали много контента. В том числе это интервью с Романом, где поговорили про обучение и карьеру
#Interview