Хотелки ✍

У меня знаете есть несколько хотелок , которые есть желание реализовать за своё пребывание в Gett, начну от большего и приду к меньшему:

1) У нас есть Feature rollout система которая помогает раскатывать фичи на группу в определённых сегментах, как бы что уже хорошо, но под неё нет аналитической системы, что бы можно было запускать тест и оно всё автоматически считало по выбранным метрикам и что бы правильно с точки зрения статистики 🥸 Это наверное номер 1 что хочется сделать. 💯

2) Хочу что бы у нас появилась Global Holdout группа. Если кто не знает, то это сохранение части вашей аудитории девственно чистой (без фичей) в течении квартала-полугода, что бы потом можно было понять как ваши фичи повлияли на метрики в течении периода и оценить совокупное влияние ваших фичей. Мне кажется это сильно нам помогло бы даже с точки зрения репортинга 📈

3) Было бы круто добавить бакеты 🗑 в нашу Feature rollout систему. Это позволило бы перезапускать эксперименты, если мы не уверены в наших результатах по текущему АБ тесту, без вреда для наших пользователей. Мне кажется полезная штука, так как порой бывает что раскатали фичу, что-то поломалось но вот знаете вот так вот совсем чуть чуть - немного повлияло на UX и вот эта вся история (бесит конечно) , а так у нас есть ещё одна корзина свежих нетронутых юзеров. Или когда p-value = 0.05. В этом случае если зареранить эксперимент есть способ посчитать совокупный p-value по 2м экспериментам который придаст уверенности вашим результатам и поможет принять взвешенное решение. (вот вам ещё google sheet Рона Кохави где он это всё дело считает)

А какие у вас есть хотелки на работе?)😅

Пообедали с подписчиком 🍕

Сегодня созванивались с подписчиком этого канала во время обеда, он пока что в раздумьях насчёт перехода в аналитику и в целом ему хотелось изнутри понять в чём вообще заключается работа , какие задачи, мои будни и так далее. По мимо этих моментов поговорили про управление командой и вообще карьере (у человека есть опыт руководства) , он поделился со мной своими взглядом на вещи. В общем отлично пообщались 😊

Я это всё к чему, если у вас есть какие-то вопросы или что-то хотите обсудить по теме аналитики-АБ тестов, не стесняйтесь , пишите в личку, буду рад пообщаться. Для меня это тоже своего рода развитие и может мне что-то интересное расскажите. Но конечно по возможности и загрузке 👍

На всякий случай подпишу что это бесплатно 😂

Почему считать MDE и мощность после эксперимента не имеет смысла и это в целом плохая идея ? 🤌 (часть 1)

Пока был в дороге , успел прочитать и разобрать research paper на тему если по русски: "Почему делать power analysis после проведённого эксперимента не нужно ?" Напоминаю что под Power analysis в индустрии подразумевают расчёт Minimum Detectable Effect (писал про него ранее в этом посте) и расчёт мощности.

Так вот собственно основные хайлайты статьи почему после проведённого эксперимента проводить этот вид анализа не нужно :

• Один из способов применения power analysis для анализа результата эксперимента не стат значимого изменения – расчёт вероятности отклонить нулевую гипотезу при полученных результатах . Данный подход используется для подтверждения нулевой гипотезы , аля если мы наблюдаем высокую мощность для нашего изменения , но всё равно видим что результат не стат значим, то нулевая гипотеза верна (разницы между двумя группами нет). В статье же доказывается что получить высокую мощность при большом p-value для одного и того же эффекта в принципе невозможно, так как мощность по сути напрямую зависит от p-value. – в целом никогда этим и не занимался 🤔

• Второй способ уже поинтереснее, порой мы считаем MDE на полученных не стат значимых результатах эксперимента , таким образом мы хотим сделать вывод что чем меньше у нас MDE, тем больше мы имеем подтверждение того что разницы между двумя группами на самом деле нет.
Так вот, в статье доказывается что данное утверждение не имеет смысла, так как возможна ситуация когда мы сравниваем два эксперимента и оба результата не стат значимы и у 1го эксперимента может быть MDE ниже чем у 2го, то есть следуя вышеупомянутой логике можно сделать вывод что результаты первого эксперимента свидетельствуют в пользу нулевой гипотезы больше чем результаты второго.
Данный вывод будет ложным, так как p-value 1го эксперимента может были меньше чем p-value второго (как мы помним p-value и мощность линейно зависят друг от друга) , что означает что ситуация на самом деле обратная. 1ый эксперимент наоборот меньше свидетельствует об отсутствии изменения, чем 2й эксперимент. Что опровергает вышеописанную гипотезу об статистическом выводе 🚫

Так ребят, это немного новый для меня формат, поэтому если хотите что бы продолжал разбирать для вас статьи , ставьте 🐳 (Сама статья выше 🔝)

К этому посту будет вторая часть где пойдёт речь о сравнении конф интервалов и MDE а также общий вывод, оставайтесь на связи 😊

Пост с монте карло ноутбуком 🎁

Какое-то время назад я учился у ребят из EXPF (experiment fest) что мне дало очень много полезности и вообще новых знаний по экспериментам, и как я писал ранее их ноутбуки и лекции я беру за основу в построении библиотеки по АБ тестам (конечно много дорабатываю, но в любом случае). В общем всем советую туда пойти отучиться. ❤️

Единственное что в ноутбуке с оценкой мощности через монте карло который со мной там пошерили закралась ошибка , а именно вместо случайной перемешки с повторением , там был случайный выбор из группы, что половинило оцениваемую мощность теста. 🌚

Поправил, шерю его с вами (вверху). Вдруг пригодится. Там внутри через монте карло оценивается t-test на примере двух выборок, но вы можете на его место подставить любой ваc интересующий тест (Манн Уитни например).💡

Да , забыл, если ещё такого нужно, кидайте реакции

Хочу поделиться с вами своей маленькой радостью. 😊

Вчера вечером выпустил в Бета версию первую мной написанную библиотеку по Экспериментам , назвал её Gett Lab 🧪

Захотелось назвать именно так а не как нибудь с припиской ab tests , потому что планирую что мы уйдем дальше чем просто АБ тесты, а еще будем заниматься тестированием гипотез при помощи инструментов Causual Inference , про них тоже буду писать здесь. ✅

Да, наверное это не повод прям гордиться с собой, так как Валерий Бабушкин недавно поднял систему АБ тестов за 4 часа, но я не Валерий Бабушкин, поэтому я всё равно доволен 😂
Ну и списываю ещё на то что я всё таки вообще что-то разрабатываю в первый раз, поэтому когда нибудь постараюсь уложиться в его тайминг, но это не точно 😁

Вообще зачем я решил в это впрячься ?

Да я знаю есть опен сорс решения, но во первых у нас метрики специфичные, во вторых я планирую потом использовать эту библиотеку для нашей системы АБ тестирования (аминь 🙏🏻) и мне кажется для таких глобальных масштабов надо знать от а до я что под капотом. Ну и в третьих всё таки это наша собственная библиотека и я думаю что учитывая этот факт остальные члены команды будут с большим желанием туда коммитить , чем сходу загорелся наш джун и уже почти начал пилить модули для А/А тестов (Артур, если читаешь , то знай что ты красавчик🔥)

Немного полезности для вас 🛎

Что бы этот пост все таки принес для вас хоть какую то полезность , добавлю что в Gett Lab я не стал использовать z-test из statsmodels ибо он у меня жутко сбоил 🚫, как само p-value , так и конф интервалы.(кто с ним работает, обратите внимание) В итоге я решил вытащить формулу из учебника 📚и переписать ее вручную, единственное что заюзал функцию cdf из scipy для расчёта p-value. Если кому надо вырезку из кода, пишите в личку. Не буду здесь этим спамить.
Также если интересно что и как там сбоит, пишите комменты, поделюсь с вами горьким опытом. 😐

Крутой мемчик на тему HIPPO (Highest Paid Person Opinion) , что бы все поняли о чем речь, напомню что HIPPO это концепция принятия решений когда всегда прав начальник, и не важно что там твои данные, ресёрчи и АБ тесты говорят 😂

У кого то есть такое? Признавайтесь)

Всем привет 👋🏻

Хотел выйти на связь и сказать что в ближайшие пару недель публиковать ничего не буду, не потому что бросаю канал, нет , а просто уехал в отпуск и решил устроить ретрит от аналитики (убрал все телеграмм каналы в архив и убираю свои пальцы от приложения линкедина 😂)🏝️

В общем не теряйте меня, как вернусь обязательно буду стараться радовать вас интересным контентом, ну а пока вот вам кусочек кипрского чилла в ленту , обнял приподнял 🤗

Как вы знаете, я работаю в Gett, бОльшая часть бизнеса и сотрудников у которого находится в Израиле, и я думаю все слышали что сейчас происходит в этом регионе 😕

В связи с этим компания запустила волонтёрские классы в Израиле для заказа такси для волонтёрских нужд, доставка воды, вещей для беженцев, ну и перевозка самих волонтёров. Все заказы осуществляют водители волонтеры , которые могут зарегистрироваться на сайте Gett. Но тут есть небольшая проблема , что таких водителей по сравнению с водителями Gett не так уж и много, около 200 активных в час, в связи с чем диспатч не всегда случается, так как водители иногда далеко и получается что волонтер тратит время ища машину которую он/она скорее всего не найдёт… Хотя есть други службы к которым он мог бы обратиться 🚕

Что бы сэкономить время волонтерам , было решено собрать дэш в табло с «лайв» данными волонтерских водителей, что бы юзер мог понять есть ли где то более менее рядом с ним подходящие ему/ей машины и не тратил время для поиска машины если рядом ее нет или же наоборот попытался если что то катается неподалеку… ✅

В общем рад что компания запускает такие инициативы для помощи людям и надеюсь наш дэшик 📊 принесет волонтерам пользу и позволит им оказаться быстрее там где им следует быть ❤️

Последнее время заинтересовала тема экспериментов , где объекты не добавляются в группы с течением времени, а фиксируются и держатся до его окончания. Кажется что такие штуки популярны в реальных лабораториях , в связи с чем я начал искать книжки в которых рассказываются в целом про эксперименты (Design of experiments) , а не только АБ тесты.

Наткнулся на вот эту подборку , от платформы для как раз лабораторных экспериментов Synthace . 🧪

Отдельно хочу выделить книжку Statistics for Experimenters , в этой подборке пишут что она охватывает самые важные и основные вещи и достаточно readable для начинающих, что тоже немало важно. А главное бесплатная 💰 (Ссылка на книжку) Так что если хотите узнать больше эксперименты то начать можно с неё , я так наверное и сделаю 🤔

Research plan для Quantitative UX Research

Продолжаю читать Quantitative User Experience Research 📖, и хотел с вами поделиться планом по исследованиям который там описан следующим образом :

1. Уточнить вопрос на который мы хотим ответить нашим исследованием.

2. Определить источники данных

3. Разобраться какие есть способы найти ответ на интересующий нас вопрос.

4. Оценить сколько нам потребуется времени на ресёрч.

5. Поделиться сроками со стейкхолдерами.

6. Собрать первый тестовый набор данных для ресёрча, и попробовать проанализировать.

7. Собрать весь набор данных , почистить его.

8. Построить стат модель или анализ

9. Повторить шаги 6-8 , если нужно (например если данные кривые или стат метод не работает)

10. Оформить первоначальные результаты.

11. Обсудить их со стейкхолдерами

12. Итерировать с шага 10 (или шагов 8, 6, 3, 2 или 1 по необходимости)

Мне план в целом нравится , но хочу добавить свои 5 копеек.
Как будто имеет смысл пункт 6 (Собрать первый тестовый набор данных для ресёрча, и попробовать проанализировать.) переставить до пункта поделиться сроками со стейкхолдерами, потому что если окажется что ваш изначальный подход к анализу не работает, сроки могут сильно удлиниться 😄

А вы как думаете? (пишите в комментах) 🤔

Но а так хорошая шпаргалка которую неплохо бы иметь перед началом большого ресёрча 🧐

Кажется что все крайне очевидно, но бывает что как-то закрутишься в данных и какой то важный этап да пропустишь 😁

Хотел поделиться кое каким лайфхаком для чтения книжек на англе (не совсем про аналитику)

Какое-то время назад при чтении книжек в iBooks 📖 на IPhone обнаружил классную фичу при помощи которой можно переводить незнакомые слова на русский , не выходя из приложения (скрин прикрепил) . Может кому-то прибавит удобства в чтении иностранной литературы. 😊

Ну или я просто такой отсталый и о ней не догадывался 😁

Всё, всем хороших выходных ❤️

Да, UX Quantitive Researcher перспективная , новая профессия говорили они 😂

Поясню, в посте ниже очевидно боту не особо важно насколько комфортный у вас там интерфейс с вашими АБ тестами (самому немного страшно)

P.S. для тех кто в танке, сегодня у Open AI (ChatGPT ) Dev Day , можете почитать все новости в канале с которого репостнул, а их я вам скажу достаточно много, хотя бы то что Open AI сделал свою версию App Store для ИИ онлайн ассистентов.

Показали пример бота, в которого загрузили PDF-файл билетов, GPT его прочитала, посмотрела, прикинула даты поездки и нашла аппартаменты на Airbnb, котоыре подходят под даты.

AB tests: Fixed Horizon и Sequential approaches 🧪

Сегодня делал ликбез своим сокомандникам по Sequential approach в АБ тестах, и пока всё не забыл решил поделиться с вами.

Во первых что это такое?

В АБ тестах выделяют несколько подходов для проведения и анализа, а именно:

1 ) Fixed Horizon 🏞️
Наиболее популярный подход для анализа АБ тестов. Мы делаем дизайн АБ теста, считаем сколько надо дней что бы достичь желаемого нами эффекта и забываем про него на то самое количество дней пока не соберётся требуемое количество людей в группах. Для анализа таких тестов используются такие известные методы как z-test, t-test, бутстрап и так далее.

2) Sequential 🪜
Этот подход тоже популярен, но скорее уже у крупных корпораций и их систем АБ тестирования. Данный подход позволяет следить и оценивать стат значимость в режиме "реального" времени. Тут используются менее популярные в народе методы для анализа результатов, а именно, mSPRT, GSPRT, GST и так далее.

➕ Плюс Sequential достаточно очевиден, вы сможете раньше принять решение об успехе или провале эксперимента если оно случиться, чем в случае Fix Horizon, где до определённого момента ни ни.

Опытные экспериментаторы среди вас скажут: "Эй, ну подожди, можно же использовать Fixed Horizon подход для проверки стат значимости по дням, но просто нужно корректировать альфу." 😎

А я вам отвечу: "Да, можно. Но вы потеряете в мощности по сравнению с Sequential, если всё время будете корректировать альфу." 🤓


В подтверждении моих слов прикрепляю скриншот из блога Spotify (смотрите над постом), где ребята сравнивали между собой различные методы. (ссылка на статью)

На самом деле у Sequential есть свои значимые минусы, но тема плюсов и минусов требует отдельного поста.

Да и вообще история с Sequential она достаточно обширная и одним постом не получиться ограничиться. Если интересно про Sequential testing, ставьте 🔥.

Пишите вопросы в комментариях может есть какие-то вещи которые хотелось знать прям конкретно.

⚡ Вакансия Product Analyst/ Scientist в Open AI

Похоже рано нам друзья вешать наши Юпитер ноутбуки на гвоздь 😂

Open AI открыла вакансию продуктово аналитика / дата сайентиста. 🤖

Человеку вкратце предстоит заниматься следующим :

-- Выявлять точки роста
-- Дизайнить и анализировать их первые АБ тесты
-- Дизайнить метрики для продуктов
-- Строить дэшборды

Я думаю многие среди вас узнали здесь свои задачи 😉

Но стоит отметить, что среди требований которых помогут выделиться есть понимание/опыт Large Language Models / Gen AI , опыт в UX research , так что в целом становиться понятно куда нужно развиваться что бы оставаться в тренде 🤓

В общем мой месседж здесь такой : раскисать не стоит 💪, если уж Open AI ищет себе продуктового аналитика, то лет 10 ещё я надеюсь АБ тесты подизайним 😁

Cсылка на вакансию тут , кому стало интересно и чувствует в себе силы, ознакомьтесь и подавайтесь 💪

Всем хорошего вечера ❤️

И да забыл, делитесь новостью с друзьями аналитиками, может кому то эта новость поднимет настроение 😁

Жиза 🥲