Еще мне стало интересно, стала ли модель работать лучше в плане написания кода, поэтому с помощью нее провел сравнение квази-экспериментов с t-test. Вот код на GitHub, который получился после первого промыта и к чему я пришел после ряда исправлений. Интересно смотреть на размышления модели - там не весь процесс, но выглядит интересно.

В целом, заметно, что модель стала умнее, выдает гораздо более длинные и сложные ответы. При этом суть работы не сильно поменялась, она все так же совершает ошибки, и требует дебагов. При этом, весь этот код получилось сгенерировать примерно за час, сам бы я потратил кратно больше времени. Использовать определено стоит, но в разумных пределах и понимая те задачи, с которыми модель хорошо справляется.

А по поводу сравнения t-test с diff-in-diff и casual impact - видно, что FPR у квази-экспериментов выше, но выше и мощность. По поводу корректности выводов по мощности есть сомнения, и вероятно здесь играет роль специфика сгенерированных данных. Для чистоты эксперимента, я бы проверил эти методы на реальных данных.

📚 Рассказываю, как готовиться к секции по A/B-тестам

Почти всегда про A/B-тесты спрашивают в рамках продуктовых кейсов, поэтому первый совет - изучите продукт компании, в которую вы собеседуетесь. Подумайте, с какими типами данных и метриками там работают, какие проблемы и задачи могут появляться в экспериментах. Где-то очень мало данных и нужно использовать методы сокращения дисперсии, где-то основные метрики - ratio и надо знать, как с ними работать. А где-то вообще невозможно провести классический тест, например, из-за сильных сетевых эффектов и используют квази-эксперименты.

Повторите общий пайплайн проведения A/B и базу. Начиная от того, а зачем они вообще нужны до основ дизайна эксперимента и их анализа. Несколько раз, собеседуя синьеров, сталкивался с ситуацией, когда мне не могли объяснить как рассчитать размер выборки и убеждали, что в целом можно и на всех раскатить без A/B (иногда действительно можно, но это не тот случай). Везде конечно по-разному, и вряд ли красным флагом будет то, что вы не помните наизусть формулу для расчета размера выборки, но знать параметры из нее и в целом понимать основные статистические концепты, связанные с A/B, - важно.

Закончите подготовку разбором основных проблем, связанных с проведением A/B и тем, что с ними делать. Основные мне известные - ошибка подглядывания (не подглядывать или использовать последовательное тестирование), Sample ratio mismatch (лечить сплитовалку или искать проблемы в данных), network effects (тут могут помочь switchback, разделение по гео и квази-эксперименты). Стоит также не забыть про АА-тесты. И конечно ускорение тестов тоже, про это достаточно часто спрашивают (хотя бы стратификацию и CUPED знать стоит).

И напоследок - можно прочитать много статей, посмотреть кучу докладов, но понимание приходит все-таки на практике. Здесь совет для джунов, у которых ее пока не было - сделайте проект по анализу A/B, проведите моделирование и посмотрите как работают разные стат тесты и почему важно считать размер выборки для A/B. Можно найти много открытых данных и проанализировать их или просто попросить ChatGPT написать код для их генерации. Так вы покажете свою заинтересованность и наличие практического опыта, что будет жирным плюсом в глазах собеседующего, да и сами будете чувствовать себя гораздо увереннее.


Что почитать:

- Про проблемы в АБ, ratio-метрики, ошибку подглядывания и много чего еще читаем в статье от ozon.
- Плей-лист от Emma Ding на YouTube с разбором ключевых вопросов про АБ на собеседовании.
- И ее статья на medium.
- Материалы для погружения в базу АБ приводил вот в этом посте, а здесь разбирал методы ускорения, точно можно найти что-то полезное для себя, если есть желание освежить знания или закрыть пробелы.

Всем успехов на собеседованиях и зеленых тестов!

🔥 Через неделю буду проходить публичное собеседование на senior аналитика в Авито

Я периодически публикую материалы про прохождение собеседований, а теперь на личном примере покажу, как это происходит.

Вообще, при подготовке к собесам, я пересмотрел много публичных интервью и знаю, что это некоторым образом успокаивает и придает уверенности в собственных силах. Думаю это связанно с тем, что немного снижается уровень неопределенности - увидев, что примерно тебя ждет, уже не так страшно самому. Решил, что это отличный способ вернуть то, что помогло мне, сообществу и помочь кому-то увереннее пройти собес и получить работу мечты (у Авито, кстати, как раз будет weekend offer, возможно это оно и есть).

Разбирать будем реальный продуктовый кейс (мне так сказали, нет причин не верить ребятам), и даже немного затронем ML. У Авито есть отличная статья на Хабр про найм аналитиков и матрица компетенций, с которой очень рекомендую ознакомиться. Как раз на senior позиции и выше требуется ML и это может стать отличной точкой роста для вас, если вы думаете, а куда расти то дальше.

Держите ссылку на регистрацию на timepad, приходите 3 октября на трансляцию, будет интересно!

Чтож, умные слова сказаны, теперь суровая правда - это мое первое такое публичное появление, и страшно что кабздец. Но от это не менее интересно) Так что пожелайте успехов и приходите на трансляцию!

Наткнулся в LinkedIn на пост про полный бесплатный доступ к платформе курсов Maven Analytics. Такая щедрость на образование продлится до 31 октября.

Я увидел эту платформу в первый раз, но выглядит достаточно годно (на Reddit вроде тоже нашел хорошие отзывы). Там у них куча курсов про аналитику, data science, ML и всё с этим связанное. Есть еще курсы про карьеру, собеседования и всё такое, так что если вам актуально, попробовать глянуть пока бесплатно кажется стоит.

Держите ссылку - https://mavenanalytics.io/open-campus