⚡ Вакансия Product Analyst/ Scientist в Open AI

Похоже рано нам друзья вешать наши Юпитер ноутбуки на гвоздь 😂

Open AI открыла вакансию продуктово аналитика / дата сайентиста. 🤖

Человеку вкратце предстоит заниматься следующим :

-- Выявлять точки роста
-- Дизайнить и анализировать их первые АБ тесты
-- Дизайнить метрики для продуктов
-- Строить дэшборды

Я думаю многие среди вас узнали здесь свои задачи 😉

Но стоит отметить, что среди требований которых помогут выделиться есть понимание/опыт Large Language Models / Gen AI , опыт в UX research , так что в целом становиться понятно куда нужно развиваться что бы оставаться в тренде 🤓

В общем мой месседж здесь такой : раскисать не стоит 💪, если уж Open AI ищет себе продуктового аналитика, то лет 10 ещё я надеюсь АБ тесты подизайним 😁

Cсылка на вакансию тут , кому стало интересно и чувствует в себе силы, ознакомьтесь и подавайтесь 💪

Всем хорошего вечера ❤️

И да забыл, делитесь новостью с друзьями аналитиками, может кому то эта новость поднимет настроение 😁

Жиза 🥲

Sequential подход в АБ тестировании , классический SPRT 🧪

Ранее в этом посте я написал небольшое введение в целом о том какие бывают подходы к анализу и проведению АБ тестов. В этом же посте я попробую сконцентрироваться на конкретном методе, а именно классическом SPRT в Sequential тестировании и провести по нему небольшой ликбез. 🤓

Напоминаю про Sequential 🛝

Как я писал ранее основное преимущество Sequential по сравнению с Fixed Horizon в том что 1й дает возможность проверять результаты АБ теста ранее определённого срока. Так вот метод SPRT позволяет анализировать результат ,можно сказать, в режиме реального времени (если ваша дата инфраструктура вам это позволяет конечно 🙈).

Так , товарищи продакт менеджеры , дальше немного техники 😄

Как используя SPRT принимать решения?

В отличии от привычных нам t-test, z-tests в SPRT для принятия решения считаем статистику (likelihood ratio test) за тот период котором вы хотите понять есть ли стат значимое изменение или нет (каждую минуту /час/ день и так далее) и сравниваемся не с одним показателем (p-value с аlpha) , а сразу с двумя показателями которые рассчитаны на основе ваших ошибок первого (alpha) и второго рода (beta) .

Таким образом получается некий коридор для принятия решений :

• нижняя граница 📉, пересечение которой сигнализирует вам о том что есть стат значимое изменение (отвергаем H_0, тест заканчивается)

• верхняя граница 📈, пересечение которой сигнализирует вам о том что сказать что стат значимое изменение есть вы не можете. (принимаем H_0, тест заканчивается)

• движение внутри коридора 🟰, означающее что тест надо продолжать и принять или отвергнуть гипотезу об отсутствии разницы между двумя группами мы пока что не можем.

На самом деле такой подход с коридором не слишком оптимален, потому что непонятно было когда всё таки правильно будет остановить тест, если он уже достаточно долго колышется внутри коридора, в связи c этим появился mSPRT который учёл эти недостатки. 🤨

Так, я думаю очевидно, что тут не хватает продолжения про mSPRT , но что бы все успели переварить информацию выше и всё не смешалось, ⏰ я поставил таймер на вечер сегодня для отправки поста про mSPRT , так что картина сложится ❤️ .

Также рад буду если поделитесь постом с друзьями, им ,я надеюсь, полезная информация, а мне мотивация дальше писать ☺️

Ну и конечно ссылка на paper откуда я эту всю ерунду взял 😄

Sequential подход в АБ тестировании, mSPRT 🧪

Перед тем, как перейти к mSPRT, хочу напомнить вам, что этот тест является одним из самых популярных в Sequential тестировании. Он лежит в основе платформ, таких как Optimizely, Netflix, Uber и Amplitude. Так что, если вы когда-либо столкнетесь с Sequential тестированием, вероятно, это будет именно mSPRT. 🤔

Напоминание о проблеме SPRT 🤦‍♂️

Как мы обсуждали в предыдущем посте , у SPRT был существенный недостаток: было неясно, когда остановить тест, если он слишком долго находится в коридоре без пересечения границ для опровержения или подтверждения гипотезы.

В чем отличие mSPRT от классического подхода?

В целом, сам метод сильно напоминает своего предшественника. Однако, в отличие от классического подхода, mSPRT учитывает максимальное количество данных, которые вы можете собрать. Другими словами, когда наступает час X, тест информирует вас, аналогично хорошему старому Fixed Horizon, статистически значимо ли ваше изменение или нет.

Пояснительная бригада 🫡

В модифицированном методе во время тестирования у нас все так же есть наш SPRT со своими границами. Если статистика в течение эксперимента пересекает их, мы останавливаем тест. Кроме того, учитывается что делать, если данных для выборок больше нет. Когда тест достигает определенного количества наблюдений, mSPRT сообщает нам, можем ли мы отвергнуть нулевую гипотезу или нет, в то время как классический метод просто ждал бы, пока вы подадите ему еще объектов в ваши выборки. 👨‍🍳

🙅‍♂️Основным ограничением этого метода является невозможность тестирования метрик отношения (средний чек и подобных).

Если вы захотите подробнее ознакомиться с семейством методов SPRT , то вот ссылки на материалы:

Paper в котором очень подробно рассказывается про mSPRT, что под капотом и так далее

Paper в котором неплохой обзор на классический SPRT и даётся ссылка на основную статью

Статья от Spotify в которой сравнивается mSPRT с другими методами Sequential testing

Если вам всё ещё нравится читать про Sequential testing, то ставьте 🔥 , и я расскажу про ещё один очень популярный метод GST (group sequential tests) , который использует Spotify 💣

📹 Неплохое видео про то как надо выбирать метрики (для проекта, фичи, продукта) с Mengying Li (Notion Data science Leadership, ex Meta, ex Microsoft). (Длительность 30 минут)

Я бы сказал видео будет полезно скорее для людей которые начинают свой путь в аналитике , но можно посмотреть и более опытным специалистам что бы освежить в памяти детали этого процесса , а также продакт менеджерам.

В целом в ролике охватывают все концепции по чуть чуть, а именно:
декомпозируем миссию , не забываем про мощность в экспериментах , leading, lagging metrics и так далее.
Но наверное это и неплохо , так как можно выцепить что то интересное и идти копать дальше уже самому.

Наверная главная мысль которая во мне откликнулась в этом ролике: «Сначала думаем о миссии (проекта , фичи и так далее), а потом выбираем метрики, если запутались в метриках, вспоминаем миссию» 👏

*миссия имеется в виду то зачем мы это делаем

В общем всем кому было бы интересно освежить в памяти или ознакомиться с тем как выбирать метрики enjoy 😊

Фраза которая сделала мой день 😂

"To call in the statistician after the experiment is done may be no more than asking him to perform a post-mortem examination: he may be able to say what the experiment died of."
/Ronald Fisher/

Перевод на русский:

«Звать статистика после проведенного эксперимента это не более чем предложить ему сделать посмертное вскрытие , и он возможно скажет от чего умер ваш эксперимент»
/ Рональд Фишер /

Фраза особо применима к компаниям где нет своей аналитической платформы, как у меня 😄

Вы знаете кому это отправить 😎

Вакансия Product analyst Кипр (Gett)

Всем привет ! 👋

У нас тут открылась вакансия Middle Product analyst в Marketplace на Кипре 🏝 . Поможем и перевезём 🌎

Какие задачи предстоит решать 📈:
+ ресёрчи,
+ эдхоки
+ дэшборды
+ АБ тесты (их не так много тут, но я развиваю сейчас Causual Inference и в 2024 экспериментов должно стать больше).
+ я надеюсь что вы мне будете помогать разрабатывать нашу библиотеку для экспериментов.

Нужно что бы у человека 🤓 :
+ был опыт , хотя бы 2 года в аналитике
+ хороший английский ибо где-то половина ваших стейкхолдеров будут не русскоговорящие совсем.
+ были знания в статистике, за эту секцию интервью отвечаю я, так что если вы подадитесь и пройдёте скрининг, то велика вероятность нам с вами встретиться в зуме 😅
+ были навыки в Python и SQL это понятно
+ были навыки в BI , не особо важно я думаю какой

Из плюсов для вас от работы в Gett :
+ во первых вы будете работать и анализировать сразу несколько рынков UK & Israel , то есть получите опыт работы в международной компании со всеми её приколами .

+ Gett лидер в Израиле и входит в топ 10 компаний в сфере ride hailing в UK. Если вы решите в дальнейшем искать работу в UK , вам будет сильно проще (проверял на себе, менеджер который меня собеседовал в CandyCrush знал Gett, что позволило пройти скриннинг)

+ Пожить на Кипре. Тоже я считаю интересный опыт.

Если вас заинтересовало, скидывайте мне резюме на английском сюда @DVars

Честный и понятный метод оценки кумулятивного эффекта от ваших фичей (Holdback experiments) 🧪

Ранее в этом посте упоминал про то что хочу добавить в своей компании возможность делать Holdback experiments, давайте разберемся что же это такое ?

На самом деле логика Holdback experiments, довольно простая, а именно :

1) вы выделяете некую часть пользователей, которая не подвергается изменениям в течении определённого периода времени. 🍕

2) когда это определённое количество времени подходит к концу , вы бьёте этот кусочек(который вы держали долгое количество времени без изменений) пополам и на одну часть катите все ваши фичи , а другую оставляете все также без изменений.

3) спустя некоторое количество времени вы делаете сравнение этих двух групп, доверительный интервал разницы будет кумулятивный эффект от ваших фичей.

📈 P.S. по мимо кумулятивного эффекта мне кажется можно выжать еще кое что из этих экспериментов , а именно понимание что ваши фичи дали с точки зрения влияния на результаты квартала (репортинг). В этом случае надо сравнить маленькую группу полностью с большой группой, которую вы подвергали изменениям. Как по мне такая информация тоже будет полезным бонусом к кумулятивному эффекту от фичей 🤔

📖 Если вас заинтересовали данные виды экспериментов , то предлагаю прочесть следующие статьи :

Опыт Disney
Опыт Spotify

Ну и ставьте 🔥 если было интересно

Conference on digital experimentation MIT 2023 🧪

Недавно узнал что MIT каждый год проводит конференцию по экспериментам (CODE) , и вот последняя была в конце ноября 2023 года и уже появились видео докладов на Youtube.

Я пока посмотреть ещё не успел, только изучил темы докладов этого года, а они вот следующие :

1. Hema Yoganarasimhan – Professor, University of Washington “A Bias Correction Approach for Interference in Ranking Experiments”

2. Martin Tingley – Netflix, “A Tale of Complexity: Report from the Causal Inference and Digital Experimentation Roundtable (CIDER)”

3. Jorge Guzman – Gantcher Associate Professor of Business, Columbia University & NBER, “Climate change framing and innovator attention”

4. Peng Ding – Associate Professor, UC Berkeley “Causal Inference in Network Experiments: Regression-Based Analysis and Design-Based Properties”

5. Панельная дискуссия среди специалистов (Principal DS Manager Microsoft ,Principal Applied Scientist, Amazon, Director of Data, Grow Therapy и так далее)

6. Панельная дискуссия по GEN AI (не знаю что здесь , возможно применения к экспериментам ? )

Вообще судя по темам, всё меньше обсуждаются обычные АБ тесты и фокус смещается в сторону Causual Inference. Надеюсь мне удалось организовать вам досуг 😄

Всем хороших выходных 🤗

Не забывайте делиться постом с друзьями , которые интересуются АБ тестами / экспериментами 😉

Англоязычное комьюнити по экспериментам в Slack 🌼

Эксклюзивчик для вас дорогие читатели.😏

Откопал одно живое англоязычное комьюнити (там порядка 1000 человек) в Slack, где сидят профессионалы в сфере экспериментов (вот вижу Ронни Кохави там активно что-то пишет) , обсуждают всякий новый контент , делятся кто чем занимается в своих компаниях, рассказывают о предстоящих митапах, в общем всё как мы любим.

Я сам зарегался и получил туда доступ только сегодня, если хотите ко мне присоединиться, вот ссылка : https://testandlearn.community/

Всем хороших выходных 😉

Сессии по Causual inference от Scott Cunningham 📼(автор книжки Causual Inference Mixtape, Professor of economics)

Судя по тому что многие из вас middle и Senior аналитики, я думаю этот человек особо в представлении не нуждается, но в двух словах, Scott один из самых видных популяризаторов Causual inference подхода к анализу данных.

После двухгодичного перерыва, Scott анонсировал весенние сессии по Causual Inference.

Программа будет состоять из 3х частей :

Causual Inference 1. (Feb 3,4, 10,11 )
Где будет рассказывать про : potential outcomes, randomization, selection bias, causal graphs,, matching, propensity scores, regression, heterogenous treatment effects, instrumental variables, and regression discontinuity design.

Causual Inference 2. (Mar 16,17, 23, 24 )
Где будет рассказывать про difference in diff, его дизайн, применение и так далее.

Causual Inference 3. (Apr 6,7 )
Где будет рассказывать про synthetic control, его дизайн, применение и так далее.

Также Scott обещает лабораторные работы , домашние задания и все в таком роде.

Теперь о ценах , мне очень понравилось как он выстроил ценовую политику, а именно:

1. Билет стоит 1$ , для людей из стран с низким доходом (low income countries , например из Индии)

2. Билет стоит 50$ , для students, predocs, postdocs, residents of middle income countries, unemployed folks.

3. Для всех остальных 560$ что тоже на самом деле не много, как я считаю.

Насчет вводных для того что бы чувствовать себя комфортно на обучении, мне кажется нужно знать более менее нормально Тервер, Статистику и из моделей регрессию. Он вроде об этом не пишет, но я могу сделать такой вывод прочитав его книгу.

Вот тут ссылка на его пост с анонсом по обучению, там он все более детально рассказывает.

Продуктовый консалтинг 📊

Один из плюсов, которое дает ведение своего канала, это знакомство с интересными людьми (да даже с такой небольшой аудиторией как у меня 😄).

Так вот, какое то время назад ко мне постучался в личку читатель моего канала. Этим читателем был Кирилл (руководитель в одном из продуктов в Альфа банке). Написал он мне не просто так, познакомиться , а с предложением поучаствовать в их ,с его друзьями, консалтинговом агентстве для Medium business , а именно помогать по аналитическим запросам клиентов (АБ тесты: процесс, анализ, помощь с выстраиванием отдела аналитики, и так далее ).

Данное предложение мне показалось достаточно интересной возможностью для приключения и я конечно же согласился 😄

Вместе с ребятами мы будем консультировать по продуктовым: разработке, дизайну ,менеджменту и аналитике.

В общем и целом , если у кого то из вас или у ваших знакомых есть запросы по :

1. Дизайну , то помогать будет Павел Карпов, Head of design VK cloud

2. Разработке ,то помогать будет Дмитрий Макаркин , Tech Lead в Alfa bank

3. Продуктовому менеджменту , то помогать будет Кирилл Добринов, Руководитель цифрового продукта в Alfa bank

4. Аналитике, ну тут уже запросы будет покрывать ваш покорный слуга 🧐

Прорабатывать запросы будем командой, что бы закрывать их более комплексно 😊

Если вас заинтересовало, или есть знакомые кому это могло бы быть интересно, вот ссылка где подробнее написано о нашем предприятии 😎

Важно: за рекомендации, готовы поделиться 10-15% от вознаграждения

Итоги и рефлексия по 2023 году

Ну что, дорогой читатель, настало время подвести мои итоги уходящего года, вспомнить что сделали и чего удалось достичь.

Начнём ▶️

1. 6 января мы переехали с семьей на Кипр, в Никосию🏝️
Резкое начало года, однако, в этот раз я надеюсь переезжать не будем никуда 😄

2. Вместе с командой от оценок всех метрик t-test и выбора срока в 2 недели на все эксперименты , мы пришли к новой библиотеке по АБ тестам и выверенному процессу проведения экспериментов(с базой знаний), где прод менеджеры понимают почему нельзя проверять тест каждый день и мы узнаем что нужен тест когда в Jira создается эпик, то есть заранее 🔥

3. Разобрались что АБ тесты у нас есть не только в продукте, но и в Маркетинге и Операциях и ситуация там даже хуже чем была у нас какое то время назад. Провели образовательные сессии, получили credit на допуск к их тестам и сотрудничество в 2024.🍾

4. Вернулся к ведению канала и начал писать на Linked In. Чему на самом деле очень рад, потому что удалось узнать много интересных и крутых людей на обеих платформах 💯

5.Я получил повышение и теперь по помимо своих задач аналитика, должен буду помочь с тестами Операциям и Маркетингу. Тут мне придется не только анализировать но и менеджить, предстоит интересный вызов 🤓

6. Присоединился к ребятам в продуктовый консалтинг 💪


Наверное это все чем могу похвастаться в 2023, но мне кажется, что год получился плодотворным ❤️

Хотел сказать спасибо всем кто помог случиться этим 6ти пунктам и всем кто читает этот канал🙏🏻

Как говорится дальше - больше, по планам на 2024 сделаю отдельный пост, их много 😄 , но уже в 2024

Не уверен что выйду на связь ранее 2024 , поэтому, с Новым годом, дорогой читатель, желаю что бы все твои планы в 2024 сбылись и даже больше 🎄❤️🍾

AI для Quant UX research митап 🤖

Всем привет, уже в 2024 🍾

Хотел коротко поделиться с вами, что сегодня в 22:00 по Москве состоится митап/серия подкаста про использование AI для Quant UX research , главным гостем будет Dr. Nick Fine , где он расскажет как он использует AI для исследований.

Как я понимаю, он считается супер крутым спецом в User Experience Research, поэтому я точно подключусь, а если и вы решите оторваться от сериалов и оливье и захотите ко мне присоединиться, то вот ссылка на митап

Всем хороших каникул 👋😊

Планы по развитию на 2024 🗓️

Всем привет,

Я какое-то время думал, чем же я хочу заняться в 2024 году, что бы развиться как спец и к концу года не прийти к выводу, что он у меня ушел в пустую. 🤔

Хочу поделиться своим неким планом, к которому я пришел 🤝

Начнем с курсов 👨‍💻

В плане курсов хочу посвятить время базе, а именно углубить знание по статистике и терверу.

1. 20 января у меня начнется курс от MIT на edX по тер веру. Эта онлайн программа полностью повторяет on campus курс в самом MIT, и он предполагает уже базовые знания по Тер веру и поможет их систематизировать и углубить. Длится 4 месяца

2. К апрелю начнется курс от MIT по статистике, вводные такие же как и в курсе по терверу, углубленный курс реплицирующий on campus курс по статистике от MIT. Длится тоже 4 месяца.

И вот уже 8 месяцев заняты 😂

3. Хочу взять курс по ML , пока не решил какой (вот коллега рекомендовал Start ML от Karpov courses). Я если честно в нем не шарю. Могу только в регрессии и поверхностно копировать и юзать чужой код. 🤷🏼‍♂️ Но есть вероятность что буду разбирать и учить сам по книжкам, но пока не знаю как пойдет. Посоветуйте что нибудь пож 🙏🏻

Книжки которые буду читать 📚

Параллельно с курсами, буду читать книжки на другие темы, отличные от курсов, в этом году планирую посвятить время UX, ибо понимаю что это мой Gap. А также Decision algorithms, Game theory. (Последние два буду изучать после курсов от MIT)

1. Дизайн привычных вещей (Дон Норман) , книжка которая номер 1 среди рекомендаций книжек по UX.

2. Не заставляйте меня думать (Стив Круг), книжка номер 2 среди всех рекомендованных книжек по UX 😄

3. Hooked (Nir Eyal), туда же про UX. Книжка про подход к дизайну продукта что бы создавать у людей привычку.

4. Jobs to be done playbook (Jim Kalbach), книжка про создание продукта учитывая реальные потребности пользователя.

5. Decision making algorithms , MIT press , видел, что несколько солидных спецов рекомендовали ее, труд серьезный, 700 страниц. Вообще тема занимательная.

6. Game theory: An introduction (Steven Tadelis) , советовали на реддите, если зайдет, продолжу изучать тему дальше.

7. Field experiments (Geberd and Green) очень советовали книжку по экспериментам в социальных и политических-экономических сферах.

8. Just enough Research и Interviewing user , книжки прям конкретно как делать качественные исследования.

В целом по книжкам пока все, что хочется точно почитать, поизучать. Скорее всего я не прочту это всё, но если не съем, как говорится , то понадкусываю 😂

Понятно что еще будут небольшие ресерч пэйперы, какие-то статьи и так далее, но это как говорится по мере поступления 😄

А какие у вас планы по развитию на 2024 ? 🧐

Топ 20 видео по АБ тестам за всё время

Рон Кохави (ex. VP of Experiments in Microsoft) собрал google sheet со ссылками на топ по популярности видео по АБ тестам, которые лежат на youtube (вкладка 12/17/2023). Также в колонке I он оставил свои комменты к этим видео:

⚪белое - всё ок
🔴 красное - bullshit
🟠оранжевое - есть вопросы

В общем, если что то захотите глянуть на youtube по АБ тестам, вот вам список 😉

Залог крепких отношений 😂
Всем хорошей недели 👋

Почему аналитики так любят AБ тесты и в чем проблема ресерчей? 🤔

Недавно закончил один ресёрч и на меня тут навеяло.

Вообще в целом если послушать, почитать исследователей , все кайфуют от рандомизированных экспериментов ( не только в IT) и по максимуму стараются их использовать для проверки своих гипотез (если половине лягушек дать таблетки, они будут прыгать выше ?).

Так почему АБ тесты стараются утилизировать по максимуму ? 🧪

Дело в том что рандомизированные эксперименты эта штука которая нас освобождает от Selection bias( как по мне самый поганый bias), то есть благодаря рандомизации и закону больших чисел , если мы соберем достаточно пользователей то у нас будет «одинаковое» представление в группах каждого фактора который влияет на исследуемую нами метрику. Таким образом единственная разница между двумя группами будет изменение которое мы добавили в тестовую группу.

Но очень часто бывает так что мы не можем провести эксперимент, потому что ,например, хотим понять влияние особенности какой либо группы клиентов на интересующую нас метрику. И тут нам приходится делать «исследование».

Как делается исследование?📊

Мы ,например, можем начать подбирать, как мы думаем, идентичных пользователей , где единственное отличие от исследуемых пользователей будет наличие особенности , сравнивать их, и получить какой-то эффект на количество покупок, и на основе этого сделать вывод, что да, исследуемый нами фактор влияет на метрику или мы не можем сказать что он влияет (ну там p-value, конф интервалы, вы меня поняли).

Так в чем же проблема ?🥸

Проблема как раз заключается в том что когда мы делаем те самые подборы похожих клиентов или же добавляем контрольные переменные в нашу регрессию, мы - аналитики делаем это во много исходя из нашего domain knowledge. И как вы понимаете всегда есть вероятность что мы что-то упускаем.

Пример ⁉️

Мы хотим проверить есть ли влияния наличия машины у клиента на количество покупок в нашем сервисе.
Мы подбираем похожих друг на друга клиентов исходя из их возраста , пола , и на самом деле упускаем тот момент в каких городах живут наши клиенты, а этот фактор оказывается значимым для нашей метрики (например люди из Москвы имеют больше машин и по какой то причине покупают больше чем люди из Питера ).
Вуаля , сравниваем группу клиентов с машиной и без , получаем значимое влияние наличие машины на количество покупок. Начинаем привлекать больше людей с машинами в Питере и наша метрика не растет, потраченный маркетинговый бюджет, очередной Lay off 😄

Конечно пример упрощенный, но таким фактором может быть что угодно скрытое от ваших глаз или даже баз данных. Причем есть ситуации когда принятие во внимание фактора меняет знак эффекта. 😱

Какой вывод из этого надо сделать? 🤔

Качество проводимого вами исследования напрямую зависит от вашего знания доменной области, наука уже придумала ряд методов что бы приблизить качество исследований к условиям рандомизированных экспериментов , но скажем есть куда стремиться.

Рекомендации

Для продактов🙋‍♂️ - если вы видите такого типа исследования как я описал выше, не стесняйтесь, спросите - какие ваш аналитик учел факторы при подборе схожих пользователей? Возможно вы владеете какими то знаниями которые помогут улучшить качество исследования.

Для аналитиков 🤓- перед началом исследования желательно обговорить факторы которые вы принимаете во внимания при анализе, возможно именно эта коммуникация сэкономит денег компании и вам времени.

Вопрос: Кто как справляется с таким родом проблем ?

Бонус 🎁 : есть очень крутой эконометрист Joshua Angrist (человек который придумал Instrumental Variables и получил Нобелевку), вот ссылка на очень понятный его курс по основам эконометрики, / Causal inference он короткий но в формате кунг фу, наслаждайтесь 😂

Сегодня узнал, что канал попал в список ресурсов, которые аналитики отметили как полезные в исследовании New HR 🍾

Спасибо большое друзья, что читаете и делитесь впечатлениями ❤️

Ссылка на полный список полезных ресурсов тут 🤗

Свежая статья от Netflix 🖥 про использование Sequential AB testing для тестирования новых версий сборок на пользователях


Я думаю все из вас то там то здесь слышали про использование АБ тестов непосредственно в тестировании новых версий сборок перед раскаткой на всю аудиторию. Так вот , ребята из Netflix выпустили статью где они рассказывают как используют Sequential методы для тестирования новых сборок на своих пользователях. Про дизайн таких экспериментов они пишут больше здесь.

В целом надо ли делать или не делать АБ тесты новых сборок , вопрос спорный и наверное всё таки зависит от многих факторов внутри продукта, зрелость , размер аудитории (Нетфликсу, по их словам, надо пару часов держать такие эксперименты что бы задетектить критические изменения в их метриках например, ну то есть Not a big deal 😄).

Но в целом если интересно узнать что-то в этом направлении то в качестве отправной точки мне кажется эти статьи вполне подойдут 😊