Пост с монте карло ноутбуком 🎁

Какое-то время назад я учился у ребят из EXPF (experiment fest) что мне дало очень много полезности и вообще новых знаний по экспериментам, и как я писал ранее их ноутбуки и лекции я беру за основу в построении библиотеки по АБ тестам (конечно много дорабатываю, но в любом случае). В общем всем советую туда пойти отучиться. ❤️

Единственное что в ноутбуке с оценкой мощности через монте карло который со мной там пошерили закралась ошибка , а именно вместо случайной перемешки с повторением , там был случайный выбор из группы, что половинило оцениваемую мощность теста. 🌚

Поправил, шерю его с вами (вверху). Вдруг пригодится. Там внутри через монте карло оценивается t-test на примере двух выборок, но вы можете на его место подставить любой ваc интересующий тест (Манн Уитни например).💡

Да , забыл, если ещё такого нужно, кидайте реакции

Хочу поделиться с вами своей маленькой радостью. 😊

Вчера вечером выпустил в Бета версию первую мной написанную библиотеку по Экспериментам , назвал её Gett Lab 🧪

Захотелось назвать именно так а не как нибудь с припиской ab tests , потому что планирую что мы уйдем дальше чем просто АБ тесты, а еще будем заниматься тестированием гипотез при помощи инструментов Causual Inference , про них тоже буду писать здесь. ✅

Да, наверное это не повод прям гордиться с собой, так как Валерий Бабушкин недавно поднял систему АБ тестов за 4 часа, но я не Валерий Бабушкин, поэтому я всё равно доволен 😂
Ну и списываю ещё на то что я всё таки вообще что-то разрабатываю в первый раз, поэтому когда нибудь постараюсь уложиться в его тайминг, но это не точно 😁

Вообще зачем я решил в это впрячься ?

Да я знаю есть опен сорс решения, но во первых у нас метрики специфичные, во вторых я планирую потом использовать эту библиотеку для нашей системы АБ тестирования (аминь 🙏🏻) и мне кажется для таких глобальных масштабов надо знать от а до я что под капотом. Ну и в третьих всё таки это наша собственная библиотека и я думаю что учитывая этот факт остальные члены команды будут с большим желанием туда коммитить , чем сходу загорелся наш джун и уже почти начал пилить модули для А/А тестов (Артур, если читаешь , то знай что ты красавчик🔥)

Немного полезности для вас 🛎

Что бы этот пост все таки принес для вас хоть какую то полезность , добавлю что в Gett Lab я не стал использовать z-test из statsmodels ибо он у меня жутко сбоил 🚫, как само p-value , так и конф интервалы.(кто с ним работает, обратите внимание) В итоге я решил вытащить формулу из учебника 📚и переписать ее вручную, единственное что заюзал функцию cdf из scipy для расчёта p-value. Если кому надо вырезку из кода, пишите в личку. Не буду здесь этим спамить.
Также если интересно что и как там сбоит, пишите комменты, поделюсь с вами горьким опытом. 😐

Крутой мемчик на тему HIPPO (Highest Paid Person Opinion) , что бы все поняли о чем речь, напомню что HIPPO это концепция принятия решений когда всегда прав начальник, и не важно что там твои данные, ресёрчи и АБ тесты говорят 😂

У кого то есть такое? Признавайтесь)

Всем привет 👋🏻

Хотел выйти на связь и сказать что в ближайшие пару недель публиковать ничего не буду, не потому что бросаю канал, нет , а просто уехал в отпуск и решил устроить ретрит от аналитики (убрал все телеграмм каналы в архив и убираю свои пальцы от приложения линкедина 😂)🏝️

В общем не теряйте меня, как вернусь обязательно буду стараться радовать вас интересным контентом, ну а пока вот вам кусочек кипрского чилла в ленту , обнял приподнял 🤗

Как вы знаете, я работаю в Gett, бОльшая часть бизнеса и сотрудников у которого находится в Израиле, и я думаю все слышали что сейчас происходит в этом регионе 😕

В связи с этим компания запустила волонтёрские классы в Израиле для заказа такси для волонтёрских нужд, доставка воды, вещей для беженцев, ну и перевозка самих волонтёров. Все заказы осуществляют водители волонтеры , которые могут зарегистрироваться на сайте Gett. Но тут есть небольшая проблема , что таких водителей по сравнению с водителями Gett не так уж и много, около 200 активных в час, в связи с чем диспатч не всегда случается, так как водители иногда далеко и получается что волонтер тратит время ища машину которую он/она скорее всего не найдёт… Хотя есть други службы к которым он мог бы обратиться 🚕

Что бы сэкономить время волонтерам , было решено собрать дэш в табло с «лайв» данными волонтерских водителей, что бы юзер мог понять есть ли где то более менее рядом с ним подходящие ему/ей машины и не тратил время для поиска машины если рядом ее нет или же наоборот попытался если что то катается неподалеку… ✅

В общем рад что компания запускает такие инициативы для помощи людям и надеюсь наш дэшик 📊 принесет волонтерам пользу и позволит им оказаться быстрее там где им следует быть ❤️

Последнее время заинтересовала тема экспериментов , где объекты не добавляются в группы с течением времени, а фиксируются и держатся до его окончания. Кажется что такие штуки популярны в реальных лабораториях , в связи с чем я начал искать книжки в которых рассказываются в целом про эксперименты (Design of experiments) , а не только АБ тесты.

Наткнулся на вот эту подборку , от платформы для как раз лабораторных экспериментов Synthace . 🧪

Отдельно хочу выделить книжку Statistics for Experimenters , в этой подборке пишут что она охватывает самые важные и основные вещи и достаточно readable для начинающих, что тоже немало важно. А главное бесплатная 💰 (Ссылка на книжку) Так что если хотите узнать больше эксперименты то начать можно с неё , я так наверное и сделаю 🤔

Research plan для Quantitative UX Research

Продолжаю читать Quantitative User Experience Research 📖, и хотел с вами поделиться планом по исследованиям который там описан следующим образом :

1. Уточнить вопрос на который мы хотим ответить нашим исследованием.

2. Определить источники данных

3. Разобраться какие есть способы найти ответ на интересующий нас вопрос.

4. Оценить сколько нам потребуется времени на ресёрч.

5. Поделиться сроками со стейкхолдерами.

6. Собрать первый тестовый набор данных для ресёрча, и попробовать проанализировать.

7. Собрать весь набор данных , почистить его.

8. Построить стат модель или анализ

9. Повторить шаги 6-8 , если нужно (например если данные кривые или стат метод не работает)

10. Оформить первоначальные результаты.

11. Обсудить их со стейкхолдерами

12. Итерировать с шага 10 (или шагов 8, 6, 3, 2 или 1 по необходимости)

Мне план в целом нравится , но хочу добавить свои 5 копеек.
Как будто имеет смысл пункт 6 (Собрать первый тестовый набор данных для ресёрча, и попробовать проанализировать.) переставить до пункта поделиться сроками со стейкхолдерами, потому что если окажется что ваш изначальный подход к анализу не работает, сроки могут сильно удлиниться 😄

А вы как думаете? (пишите в комментах) 🤔

Но а так хорошая шпаргалка которую неплохо бы иметь перед началом большого ресёрча 🧐

Кажется что все крайне очевидно, но бывает что как-то закрутишься в данных и какой то важный этап да пропустишь 😁

Хотел поделиться кое каким лайфхаком для чтения книжек на англе (не совсем про аналитику)

Какое-то время назад при чтении книжек в iBooks 📖 на IPhone обнаружил классную фичу при помощи которой можно переводить незнакомые слова на русский , не выходя из приложения (скрин прикрепил) . Может кому-то прибавит удобства в чтении иностранной литературы. 😊

Ну или я просто такой отсталый и о ней не догадывался 😁

Всё, всем хороших выходных ❤️

Да, UX Quantitive Researcher перспективная , новая профессия говорили они 😂

Поясню, в посте ниже очевидно боту не особо важно насколько комфортный у вас там интерфейс с вашими АБ тестами (самому немного страшно)

P.S. для тех кто в танке, сегодня у Open AI (ChatGPT ) Dev Day , можете почитать все новости в канале с которого репостнул, а их я вам скажу достаточно много, хотя бы то что Open AI сделал свою версию App Store для ИИ онлайн ассистентов.

Показали пример бота, в которого загрузили PDF-файл билетов, GPT его прочитала, посмотрела, прикинула даты поездки и нашла аппартаменты на Airbnb, котоыре подходят под даты.

AB tests: Fixed Horizon и Sequential approaches 🧪

Сегодня делал ликбез своим сокомандникам по Sequential approach в АБ тестах, и пока всё не забыл решил поделиться с вами.

Во первых что это такое?

В АБ тестах выделяют несколько подходов для проведения и анализа, а именно:

1 ) Fixed Horizon 🏞️
Наиболее популярный подход для анализа АБ тестов. Мы делаем дизайн АБ теста, считаем сколько надо дней что бы достичь желаемого нами эффекта и забываем про него на то самое количество дней пока не соберётся требуемое количество людей в группах. Для анализа таких тестов используются такие известные методы как z-test, t-test, бутстрап и так далее.

2) Sequential 🪜
Этот подход тоже популярен, но скорее уже у крупных корпораций и их систем АБ тестирования. Данный подход позволяет следить и оценивать стат значимость в режиме "реального" времени. Тут используются менее популярные в народе методы для анализа результатов, а именно, mSPRT, GSPRT, GST и так далее.

➕ Плюс Sequential достаточно очевиден, вы сможете раньше принять решение об успехе или провале эксперимента если оно случиться, чем в случае Fix Horizon, где до определённого момента ни ни.

Опытные экспериментаторы среди вас скажут: "Эй, ну подожди, можно же использовать Fixed Horizon подход для проверки стат значимости по дням, но просто нужно корректировать альфу." 😎

А я вам отвечу: "Да, можно. Но вы потеряете в мощности по сравнению с Sequential, если всё время будете корректировать альфу." 🤓


В подтверждении моих слов прикрепляю скриншот из блога Spotify (смотрите над постом), где ребята сравнивали между собой различные методы. (ссылка на статью)

На самом деле у Sequential есть свои значимые минусы, но тема плюсов и минусов требует отдельного поста.

Да и вообще история с Sequential она достаточно обширная и одним постом не получиться ограничиться. Если интересно про Sequential testing, ставьте 🔥.

Пишите вопросы в комментариях может есть какие-то вещи которые хотелось знать прям конкретно.

⚡ Вакансия Product Analyst/ Scientist в Open AI

Похоже рано нам друзья вешать наши Юпитер ноутбуки на гвоздь 😂

Open AI открыла вакансию продуктово аналитика / дата сайентиста. 🤖

Человеку вкратце предстоит заниматься следующим :

-- Выявлять точки роста
-- Дизайнить и анализировать их первые АБ тесты
-- Дизайнить метрики для продуктов
-- Строить дэшборды

Я думаю многие среди вас узнали здесь свои задачи 😉

Но стоит отметить, что среди требований которых помогут выделиться есть понимание/опыт Large Language Models / Gen AI , опыт в UX research , так что в целом становиться понятно куда нужно развиваться что бы оставаться в тренде 🤓

В общем мой месседж здесь такой : раскисать не стоит 💪, если уж Open AI ищет себе продуктового аналитика, то лет 10 ещё я надеюсь АБ тесты подизайним 😁

Cсылка на вакансию тут , кому стало интересно и чувствует в себе силы, ознакомьтесь и подавайтесь 💪

Всем хорошего вечера ❤️

И да забыл, делитесь новостью с друзьями аналитиками, может кому то эта новость поднимет настроение 😁

Жиза 🥲

Sequential подход в АБ тестировании , классический SPRT 🧪

Ранее в этом посте я написал небольшое введение в целом о том какие бывают подходы к анализу и проведению АБ тестов. В этом же посте я попробую сконцентрироваться на конкретном методе, а именно классическом SPRT в Sequential тестировании и провести по нему небольшой ликбез. 🤓

Напоминаю про Sequential 🛝

Как я писал ранее основное преимущество Sequential по сравнению с Fixed Horizon в том что 1й дает возможность проверять результаты АБ теста ранее определённого срока. Так вот метод SPRT позволяет анализировать результат ,можно сказать, в режиме реального времени (если ваша дата инфраструктура вам это позволяет конечно 🙈).

Так , товарищи продакт менеджеры , дальше немного техники 😄

Как используя SPRT принимать решения?

В отличии от привычных нам t-test, z-tests в SPRT для принятия решения считаем статистику (likelihood ratio test) за тот период котором вы хотите понять есть ли стат значимое изменение или нет (каждую минуту /час/ день и так далее) и сравниваемся не с одним показателем (p-value с аlpha) , а сразу с двумя показателями которые рассчитаны на основе ваших ошибок первого (alpha) и второго рода (beta) .

Таким образом получается некий коридор для принятия решений :

• нижняя граница 📉, пересечение которой сигнализирует вам о том что есть стат значимое изменение (отвергаем H_0, тест заканчивается)

• верхняя граница 📈, пересечение которой сигнализирует вам о том что сказать что стат значимое изменение есть вы не можете. (принимаем H_0, тест заканчивается)

• движение внутри коридора 🟰, означающее что тест надо продолжать и принять или отвергнуть гипотезу об отсутствии разницы между двумя группами мы пока что не можем.

На самом деле такой подход с коридором не слишком оптимален, потому что непонятно было когда всё таки правильно будет остановить тест, если он уже достаточно долго колышется внутри коридора, в связи c этим появился mSPRT который учёл эти недостатки. 🤨

Так, я думаю очевидно, что тут не хватает продолжения про mSPRT , но что бы все успели переварить информацию выше и всё не смешалось, ⏰ я поставил таймер на вечер сегодня для отправки поста про mSPRT , так что картина сложится ❤️ .

Также рад буду если поделитесь постом с друзьями, им ,я надеюсь, полезная информация, а мне мотивация дальше писать ☺️

Ну и конечно ссылка на paper откуда я эту всю ерунду взял 😄

Sequential подход в АБ тестировании, mSPRT 🧪

Перед тем, как перейти к mSPRT, хочу напомнить вам, что этот тест является одним из самых популярных в Sequential тестировании. Он лежит в основе платформ, таких как Optimizely, Netflix, Uber и Amplitude. Так что, если вы когда-либо столкнетесь с Sequential тестированием, вероятно, это будет именно mSPRT. 🤔

Напоминание о проблеме SPRT 🤦‍♂️

Как мы обсуждали в предыдущем посте , у SPRT был существенный недостаток: было неясно, когда остановить тест, если он слишком долго находится в коридоре без пересечения границ для опровержения или подтверждения гипотезы.

В чем отличие mSPRT от классического подхода?

В целом, сам метод сильно напоминает своего предшественника. Однако, в отличие от классического подхода, mSPRT учитывает максимальное количество данных, которые вы можете собрать. Другими словами, когда наступает час X, тест информирует вас, аналогично хорошему старому Fixed Horizon, статистически значимо ли ваше изменение или нет.

Пояснительная бригада 🫡

В модифицированном методе во время тестирования у нас все так же есть наш SPRT со своими границами. Если статистика в течение эксперимента пересекает их, мы останавливаем тест. Кроме того, учитывается что делать, если данных для выборок больше нет. Когда тест достигает определенного количества наблюдений, mSPRT сообщает нам, можем ли мы отвергнуть нулевую гипотезу или нет, в то время как классический метод просто ждал бы, пока вы подадите ему еще объектов в ваши выборки. 👨‍🍳

🙅‍♂️Основным ограничением этого метода является невозможность тестирования метрик отношения (средний чек и подобных).

Если вы захотите подробнее ознакомиться с семейством методов SPRT , то вот ссылки на материалы:

Paper в котором очень подробно рассказывается про mSPRT, что под капотом и так далее

Paper в котором неплохой обзор на классический SPRT и даётся ссылка на основную статью

Статья от Spotify в которой сравнивается mSPRT с другими методами Sequential testing

Если вам всё ещё нравится читать про Sequential testing, то ставьте 🔥 , и я расскажу про ещё один очень популярный метод GST (group sequential tests) , который использует Spotify 💣

📹 Неплохое видео про то как надо выбирать метрики (для проекта, фичи, продукта) с Mengying Li (Notion Data science Leadership, ex Meta, ex Microsoft). (Длительность 30 минут)

Я бы сказал видео будет полезно скорее для людей которые начинают свой путь в аналитике , но можно посмотреть и более опытным специалистам что бы освежить в памяти детали этого процесса , а также продакт менеджерам.

В целом в ролике охватывают все концепции по чуть чуть, а именно:
декомпозируем миссию , не забываем про мощность в экспериментах , leading, lagging metrics и так далее.
Но наверное это и неплохо , так как можно выцепить что то интересное и идти копать дальше уже самому.

Наверная главная мысль которая во мне откликнулась в этом ролике: «Сначала думаем о миссии (проекта , фичи и так далее), а потом выбираем метрики, если запутались в метриках, вспоминаем миссию» 👏

*миссия имеется в виду то зачем мы это делаем

В общем всем кому было бы интересно освежить в памяти или ознакомиться с тем как выбирать метрики enjoy 😊

Фраза которая сделала мой день 😂

"To call in the statistician after the experiment is done may be no more than asking him to perform a post-mortem examination: he may be able to say what the experiment died of."
/Ronald Fisher/

Перевод на русский:

«Звать статистика после проведенного эксперимента это не более чем предложить ему сделать посмертное вскрытие , и он возможно скажет от чего умер ваш эксперимент»
/ Рональд Фишер /

Фраза особо применима к компаниям где нет своей аналитической платформы, как у меня 😄

Вы знаете кому это отправить 😎

Вакансия Product analyst Кипр (Gett)

Всем привет ! 👋

У нас тут открылась вакансия Middle Product analyst в Marketplace на Кипре 🏝 . Поможем и перевезём 🌎

Какие задачи предстоит решать 📈:
+ ресёрчи,
+ эдхоки
+ дэшборды
+ АБ тесты (их не так много тут, но я развиваю сейчас Causual Inference и в 2024 экспериментов должно стать больше).
+ я надеюсь что вы мне будете помогать разрабатывать нашу библиотеку для экспериментов.

Нужно что бы у человека 🤓 :
+ был опыт , хотя бы 2 года в аналитике
+ хороший английский ибо где-то половина ваших стейкхолдеров будут не русскоговорящие совсем.
+ были знания в статистике, за эту секцию интервью отвечаю я, так что если вы подадитесь и пройдёте скрининг, то велика вероятность нам с вами встретиться в зуме 😅
+ были навыки в Python и SQL это понятно
+ были навыки в BI , не особо важно я думаю какой

Из плюсов для вас от работы в Gett :
+ во первых вы будете работать и анализировать сразу несколько рынков UK & Israel , то есть получите опыт работы в международной компании со всеми её приколами .

+ Gett лидер в Израиле и входит в топ 10 компаний в сфере ride hailing в UK. Если вы решите в дальнейшем искать работу в UK , вам будет сильно проще (проверял на себе, менеджер который меня собеседовал в CandyCrush знал Gett, что позволило пройти скриннинг)

+ Пожить на Кипре. Тоже я считаю интересный опыт.

Если вас заинтересовало, скидывайте мне резюме на английском сюда @DVars