Какая же библиотека от Фейсбука, без другой библиотеки от Фейсбука, поэтому немного про то, какой функционал добавляет Prophet
Prophet выделяет тренд, сезон, выходные и праздники/спец события

Robyn позволяет использовать окна моделирования разной длины для MMM и для выделения тренда/сезона и прочего через Prophet.
Возникает вопрос, окно какой длины выбирать?
Зависит от многих параметров - например скорость изменения рынка и маркетинговых практик. Скорее всего нет смысл смотреть что было десять лет назад. Что насчет пяти? Двух?

Количество наблюдений на уникальное значение переменной должно бы не менее 10

#ArticleReview Robyn 3/8

В качестве модели выступает регрессия с L2 регуляризацией(Ridge Regression) на зависимую переменную, с рядом ограничений и задачей минимизировать две, а в некоторых случаях три функции потери
Мы можем задать ограничения (constraints) на знак коэффициентов в модели: положительный, отрицательный, никаких ограничений
Независимые переменные делим на три категории и отправляем в модель:
paid_media_vars - собственно реклама, за которую мы платили, к этим переменным еще будут применены различные трансформации, о которых дальше, чтобы оценить эффект насыщения (saturation) и накопления (adstock)
organic_vars - пуши, посты, емейлы. На эти переменные тоже можно наложить трансформации для оценки эффекта насыщения и накопления
context_vars все остальное, активность конкурентов, цены, промо, макроэкономические факторы и тп

Теперь по поводу оценки adstock и saturation
Adstock - скорее всего в реальной жизни реклама имеет не мгновенный, но накопительный эффект, сколько лет прошло, а две мясные котлеты гриль засели в памяти до сих пор
Saturation - каждая следующая единица рекламы начинает приносить меньший эффект, после достижения определенной точки

Для учета Adstock в Робине есть две опции Geometric transformation и Weibull transformation
Первое попроще, использует всего один параметр Тета, но аппроксимирует хуже, второе посложнее и тяжелее объяснить его для нетехнарей, но аппроксимирует лучше. Используется The Weibull survival function
Weibull, как более сложная трансформация требует больше итераций для оптимизации через NeverGrad(о нем позже)

Для Saturation и построения S-curve используют двухпараметрическую функцию Хила (Биохимия входит в нашу жизнь)

#ArticleReview Robyn 4/8

Модель обучается на регрессию целевой переменной. Признаки и их трансформации нам известны, что насчет функции потерь? Их будет как минимум две:
NRMSE-> normalized root-mean-square error - минимизируем
DECOMP.RSSD, decomposition root-sum-square distance - гениальная вещь, в описании значится как Business fit

Есть целая серия Твитов описывающих почему это круто https://twitter.com/hammer_mt/status/1460584503043362820
Допустим вы потратили 80% бюджета на продвижение в моем Телеграм канале, а модель говорит что 80% конверсий/лидов пришло из Инстаграм
Очевидно что доверять нужно моему каналу, а не какой-то там модели.

Возникает вопрос, но разве мы не строим модель для того, чтобы понять где мы делаем неправильно?
Да, но есть два допущения.
1. Мы считаем что бюджет был распределен не совсем случайно и текущая аллокация это неплохой приор от которого можно отталкиваться и итеративно идти в сторону оптимального решения, нечто вроде EM algorithm
2. Если придти к менеджменту и сказать меняем аллокацию всего бюджета в 5 млрд рублей, они могут удивиться и воспротивиться. С другой стороны, если предложить передвинуть его в рамках 3-5% - проблем обычно не возникает

Минимум две функции потерь. Значит мы можем получить бесконечное количество моделей, как же быть? Оптимизация идет посредством пакета Nevergrad, на протяжении большого числа итераций (тысячи - десятки тысяч), отображая итоговые результаты на двумерном графике.

Постафактум можно наблюдать что чем больше итераций произведено, тем ближе к нижнему левому углу находится этот вариант модели. Линией будет отмечен Pareto-front (нельзя что то улучшить, не ухудшив другое)
Финальная модель выбирается пользователем, обычно учитывают следующие параметры:
1. Экспериментальная калибровка -> имеет смысл интегрировать результаты экспериментов, где есть выводы о причинно-следственных связях
2. Бизнес инсайты -> есть уже есть надежный приор по ROI, adstock и тп или бенчмарк - следует сравнить с ними
3. Оценка распределение ROI для платных каналов -> ROAS, чем распределение уже и выше, тем больше наша уверенность в результатах

При калибровке мы добавляем еще одну функцию потерь, Mape -> Mean absolute percentage error, оцениваем разницу между фактом и прогнозом MMM
Калибровку с вливанием в модель данных от экспериментов стоит проводить на регулярной основе
Результаты от экспериментов для калибровки должны быть на том же уровне гранулярности что и МММ, с высокой уверенностью (Robyn на текущий момент на вход принимает только точечные оценки)

#ArticleReview Robyn 6/8

Впредь я не буду делать таких больших и подробных разборов, кажется они не совсем вписываются в тематику моего канала

Думаю вы догадались что это реклама и прямо сейчас мои товарищи Серж и Виталий ищут аналитика в Алиэкспресс, который поможет оптимизировать многомиллиардные маркетинговые бюджеты и Robyn - один из возможных подходов

Если вам это интересно, можно написать сразу мне
Условия вакансии в комментарии

Е5 - иначе именуемый синьором.
Примерная компенсация (берем США за точку отсчета)

Базовая зарплата - 180 - 220 тысяч долларов в год
Бонус - 15% от этого в год
Initial grant 500-800 тысяч долларов
Refresher ~ 120 тысяч долларов в год
Может быть бонус за подписание от 50 до 100 тысяч долларов
Total Comp порядка 400-550 тысяч долларов в год, без учета бонуса за подписание

Что ожидается от E5?

Все тоже, что требуется от Е4 плюс:

Уверенный Ownership конкретного компонента, сервиса или системы. Экспертное end-to-end понимание всего что в ней происходит

Демонстрация постоянно высокого уровня продуктивности на множестве проектов. Track Record успешного завершения крупных проектов

You are an influencer (ты авторитет). Способен проактивно находить проблемы и предлагать улучшения. Добиваться разрешения этих проблем, зачастую без сторонней помощи

Ты ищешь возможность улучшить систему, над которой ты работаешь, чтобы облегчить выкатку новых фичей

Ты помогаешь людям вокруг себя работать лучше и быстрее, определяя что тормозит команду и исправляя это

Способность лидировать небольшие проекты или небольшие команды (включая проведение митингов, написание статусов и тп)

Способность перекидывать задачи на соседние команды и соответсвенно умение строить отношения с этими командами. Умение быть эмпатичным

Помощь в улучшении своей организации( например организация в WhatsApp это WhatsApp Business или WhatsApp Integrity) через рекрутинг, менторинг буткамперов или координацию стажеров


Е5 - терминальный уровень, на нем почетно сидеть всю жизнь

#BigTechLevelsCompensation

Незадолго до моего ухода в WhatsApp Integrity запустили внутреннее соревнование по машинному обучению.

Выгрузили примерно 1 млрд сэмлов с прода за небольшой период времени, вышло чуть больше ТБ данных. Разбили по времени на трейн и тест, 31 декабря подвели итоги.

Победителем оказался я. Текущую метрику с продакшена удалось улучшить почти на 80%. Ещё в ноябре, перед моим уходом, техлид этой команды попросил передать ему код. По словам людей вокруг него сейчас он очень рад, ведь интеграция решения оказалась несложной, а прирост ощутимым

Кажется у него будет неплохая оценка на ревью, а я возможно получу какой то приз, если его отправят. New hire welcome pack я всё ещё не получил

На этой прекрасной ноте я желаю вам всем хорошего нового года

Почти два месяца прошло как я ушел из Фейсбука, но подарки все ещё продолжают приходить. В честь достижения Вотсапом отметки в 2.5 млрд активных пользователей всем сотрудникам отправили подарок: шапочку, термокружку и кофту. Учитывая что вчера было +16, возможно шапочку этой зимой мне поносить не удастся

Меня регулярно спрашивают различных постах здесь в канале и в личных сообщениях почему я ушел из Фейсбука в Блокчейн. Поэтому я решил повторить пост, написанный мною 10 сентября 2021 года в Open Data Science

На днях в Фейсбуке закончился перфоманс ревью. Вышло неплохо - вся моя команда получила минимум exceeds, кому то удалось выбить промо. Очевидно после такого остается только одно. Сегодня я написал заявление на уход из Фейсбука и с середины ноября меня там, как минимум временно, не будет.

Предшествовало этому встреча с менеджементом, по итогам которой меня попросили ответить на вопрос что я хочу со следующего полугодия, пойти по M ветке и перейти на М1 или стать E7. Я попросил две недели на подумать и объявил свое решение.

Решение уйти из Фейсбука было явно не тем, что ожидалось от меня и погрузило менеджмент в минуту молчания

Вместе с уходом можно кратко рассказать что же послужило причиной похода в Фейсбук

#WhyLeftFacebook 1/3

Весной 2020 года передо мной стоял непростой выбор. Фейсбук Лондон - где меня задаунгрейдили на пару левелов, до Е6 или весьма известный финтех в Лондоне, где СЕО будет моим непосредственным боссом, а текущая команда уже порядка 150 человек.

На стороне Финтеха знакомая задача, я немногое в жизни умею делать, но кажется что быть Head of DS у меня получается. Эта работа мне понятна и уже неоднократно в разных местах делана. С другой стороны этот стартап известен тем что топы там не задерживаются надолго.

Несмотря на это, СЕО и вся команда топов с которой я общался мне понравились, но я понимал что СЕО человек весьма непростой. Вариант что через 3-6 месяцев я оттуда вылечу по причине того что либо я им, либо они мне не подойдут был весьма реалистичен, а с учетом переезда в Лондон - это было бы явным проигрышем и ударом по моей репутации

В картинке письмо с финальным офером от финтеха от 23 апреля 2020 года - на мой день рождения. Еще 400 000 фунтов опционами выдавались как sign on

#WhyLeftFacebook 2/3

На стороне Фейсбука была понятная лычка + возможность для меня откалиброваться и понять где я нахожусь относительно мирового уровня. Из минусов - я не люблю писать код, а стафу в новой команде довольно тяжело этого не делать. Кроме того stack WA - это Erlang и Haskell. Сильный даунгрейд тоже не добавлял радости, но что поделать, возможно резюме почти двухлетней давности сыграло здесь роль.
В итоге я выбрал Фейсбук, так это был более надежный вариант, а рисковать на тот момент я не хотел

Первого ноября 2020 года я переехал в Лондон, 9 ноября вышел в Фейсбук и начал работать. Удаленный онбординг вещь не самая приятная, но поначалу было интересно. Новое окружение, новые люди, новая команда, User Data Privacy, которую надо запустить с нуля С энтузиазмом принялся работать, выходило по 12-14 часов в день. Почему так много? Никакой формальной власти ФБ не дает, а результат требует. Значит нужно завоевывать авторитет и заниматься нетворкингом. В закрытых группа ФБ для 6+ в открытую обсуждалось что у ФБ проблема с наймом 6+ со стороны, либо они не идут, либо быстро уходят. Знающие люди говорят что 20% E6+ уходят после первого ревью, а получить meets all многие считают за счастье. Даже не знаю, почему бы это могло быть?

Где то в апреле свершилось то, чего и следовало ожидать, я окончательно убедился что ни M1 ни Е7 мне неинтересны, а интересно быть VP в Facebook, что являлось бы условным аналогом того, кем я был в Х5. К сожалению если в течении пяти лет директорство виделось вполне реальным (но не гарантированным!), то про VP такого понимания и близко не было

В том же месяца я договорился в июле поехать в Россию, пообщаться с корешами и понять где и что я могу интересного сделать. Но в мае на меня вышел рекрутер, который работал на один финтех стартап(теперь то мы знаем что это Blockchain.com), я прошел цикл собеседований и решил присоединиться к ним с середины ноября. Поэтому город пока менять видимо не придется

Очень тепло попрощался с со своим директором в Вотсапе и многими коллегами. С точки зрения организации Фейсбук конечно великое место, какие то вещи я оттуда безусловно положил в свой мешочек знаний.

Все же, почему Блокчейн?

Несколько причин:
1. Редкая возможность придти в стартап, который превращается в большую компанию, но еще ей не стал. Потенциал кристаллизовать что-то работающее из хаоса
2. Власть. Для меня власть это возможность влиять и изменять что-то плохое или неработающее, на хорошее и работающее. Например в ФБ мне категорически не нравилась ситуация с продакт менеджерами, но максимум что я мог, это изменить что-то локально. В том же Х5 мы смогли в какой-то мере повлиять что на HR бренд компании, что на образовательный ландшафт в России, запустив Школу Аналитиков данных, Цифровую Академию и Кафедру на ФизТехе
3. Риск и Динамика. Как-то мы обсуждали с коллегой из WhatsApp что практически ничего не бывает из разряда сделай сегодня, это и хорошо и плохо
4. Интересная тематика компании
5. Возможность заработать много денег
6. Full Remote. Можно работать даже из России
7. Мне понравился мой босс в Блокчейне, уже в конце 90-х он был директором в Майкрософте, затем директором в Гугле, затем основал стартап и продал его ФБ и бстал там директором. Затем снова Директором в Гугле и руководителем офиса в Сиэтле. Скоро начнется 5-й год как он в Blockchain.com


Оригинальный пост в ODS - там тред на 200+ сообщений, обсуждали многие вещи

#WhyLeftFacebook 3/3

Как человек, делавший динамическое ценообразование в нескольких очень больших компаниях, с интересном и удивлением наблюдаю за результатами ценообразования газа в Казахстане.

Например в Алиэкспресс мы ставили ограничение на цену выставленную моделью на бэке, кажется здесь это могло бы помочь