Аналитик сюра
1.05K subscribers
264 photos
55 links
Пишу про продуктовую аналитику, A/B-тесты, ML, образование и карьеру. И немного про жизнь цифрового кочевника.

Работаю старшим продуктовым аналитиком в inDrive.

Для связи: @yubal42
LinkedIn: https://www.linkedin.com/in/yuriybalandin
Download Telegram
Расскажу про Танжер - один из городов, в которых я жил в Марокко.

Это город на стыке атлантического океана и средиземного моря, порт у берега Гибралтарского пролива. Представьте - вы сидите со стаканом мятного чая у стен Касбы (про это дальше), вокруг вас летают и кричат чайки, доносится шум океанских волн, а напротив, через пролив, видны берега Испании (я представил и захотелось обратно). Здесь же я в первый раз увидел океан, так что впечатления самые положительные.

Танжер - один из наиболее космополитичных городов из-за близости к Испании. В начале 20 века был международной зоной, под протекторатом Франции, Британии и Испании. Для интересующихся историей - первая мировая могла начаться несколько раньше из-за происходящих тут событий, подробнее читайте про Танжерский кризис. Еще один (мой любимый факт) - Марокко ценится за свои мандарины, а в английском мандарин - tangerine, как раз потому что именно из Танжера их когда-то давно завезли в Европу.

Что же интересного тут можно посмотреть? Начать определенно стоит с Медины и Касбы. Поясняю за лексику. Медина - это старый арабский город внутри почти в каждом большом городе в Марокко. Это лабиринты из узких улиц, местные рынки, лавочки, мечети и дворцы. Касба - крепость, может быть построена как очень давно берберами, так и во время испанского или португальского протектората. При первом знакомстве выглядит это все интересно и хаотично (да и откровенно пованивает). Обычно медины имеют один общий оттенок, в Танжере и Касабланке - белый, в Фесе - песочный, в Марракеше - персиковый. В совокупности, вся местная жизнь, арабская архитектура, запахи и звуки создают незабываемую атмосферу, в которой хоть раз стоит побывать. Медина Танжера - пожалуй самая чистая и понятная, с влиянием на архитектуру французов и испанцев.

Еще тут есть музеи искусства, которые часто располагаются в дворцах или крутых особняках, и неожиданно - музей в бывшем Американском посольстве. А вот в мечети в Марокко иностранцев не пускают. Из интересного - тут они немного другой формы, в отличие от тех, которые я видел в Турции и Эмиратах. Очень нравится замечать такие небольшие отличия в культурах разных стран.

Ну и марокканский мятный чай - это просто любовь. Тут есть 100 летнее кафе на утесе , где подают только чай. В общем пить чай и смотреть на океан - это прям кайф.

Получилось больше, чем я думал, так что про еще несколько интересных мест расскажу в следующем посте. А Танжер очень крутой, определено советую хотя бы на несколько дней сюда приехать.
❤6
Сначала ты спокойно себе учишь статистику, SQL и АБ-тесты, а потом почему-то приходится общаться с людьми, ходить на созвоны, проявлять лидерство и тому подобное. И софт скиллы начинают играть все большую роль с ростом по карьере, чем кажется на момент ее начала и изучения хард скиллов.

Может показаться, что аналитика данных идеальна для интроверта - сидишь и считаешь себе что-то, никого не трогаешь. Но нет. Даже в самом начале карьеры софт скиллы важны. Ты можешь быть самым крутым выпускником физтеха, пройти все курсы по Hard ML, но на пути к успеху будет стоять behavioral интервью, которое тоже надо пройти, и оно не менее важное. При этом, если вы продемонстрируете больше уверенности в себе, крутых социальных навыков и хорошо впишетесь в команду , то велики шансы получить оффер вместо человека, который немного лучше вас показал себя на тех. собесе (это не значит, что к тех. собесам не стоит готовиться, а полагаться только на харизму).

Признаюсь, я не до конца понимаю как развивать в себе некоторые софт скиллы, потому что сам как раз из интровертов. Я хотел обучать модельки в ноутбуках, классифицировать собачек и кошечек и жить счастливо. Суровая реальность однако требует несколько другого, и на работе неожиданно надо ходить и договариваться с несколькими командами, проявлять проактивность, лидерские качества и так далее.

В карусели - софт скиллы, которые мне кажутся важными в работе продуктового аналитика.

Поделитесь в комментариях, работали ли вы как-то над собой, чтобы прям развивать софт скиллы и что для этого делали? Мне кажется, с опытом работы и на примере старших коллег софт скиллы развиваются достаточно естественно, но есть ощущение, что все равно можно на это как-то повлиять.
❤9👍1
Если в вашей компании нет продвинутой АБ-платформы или вам надо проанализировать сложный эксперимент, вы напишите код сами или воспользуетесь готовым инструментом?

Из плюсов использовать готовое:
- Умные люди уже сделали это за вас и не надо тратить время на написание аналогичного кода
- Есть инструменты, которые покрывают почти весь процесс проведения АБ, причем написаны они достаточно хорошо и им можно доверять

Из минусов:
- Один инструмент может покрывать не все нужные вам этапы работы с тестом
- Нужно все равно дописывать какие-то вещи связанные с загрузкой и обработкой именно ваших данных
- Некоторые методы для анализа и ускорения тестов не реализованы
- Отсутствие гибкости

Делитесь в комментариях, вы потратите несколько часов или дней, чтобы автоматизировать анализ АБ тестов самим или просто воспользуетесь готовым решением?

А вот и две python библиотеки, которые можно попробовать:

🏺Ambrosia
Библиотека от MTS для дизайна, сплитования и подсчета результатов.
- Гайд на Хабр
- GitHub

🧮 Abacus
Библиотека от GlowByte с аналогичными возможностями.
- Пример использования на Хабр
- GitHub
❤4👍3🔥1
Мои попытки увидеть Арарат во всей красе пока никак не увенчаются успехом.

Лучшее место для этого - Хор Вирап. Помимо монастыря, из которого начало распространяться христианство по Армении, это ближайшее место до Арарата и границы с Турцией.

Многие не знают, но Арарат, главный символ Армении, уже больше ста лет принадлежит Турции. За это можно сказать спасибо Ленину, который передал его Ататюрку в 1921 году на обещание сделать турцию коммунистической (как понимаете, не удалось).

В общем, сегодня я побывал тут в четвертый раз, но видна была только нижняя половина (до этого в основном видел только туман). Фото с вершиной с другой смотровой площадки. А ещё тут аисты живут.

А вообще, Арарат прекрасен, как и остальная природа Армении. Отличное место, чтобы встретиться с родными, если вы не живете в России, поесть и насладиться природой. Последние фото из Дилижана, Севана и Нораванка, мои любимые места.
❤8
Неочевидная причина, почему ваши А/Б-тесты могут быть некорректными.

Sample Ratio Mismatch (SRM) - когда отношение вариантов не равняется тому, которое вы задавали. Например, вы планировали распределение в тесте - 50/50, а в итоговых данных - 45/55. Это достаточно частая проблема, от которой страдают даже топовые компании, например, в LinkedIn порядка 10% тестов имели SRM, в Microsoft - 6%.

Почему это плохо? Некорректное распределение - это симптом того, что в вашем тесте что-то не так. Одно из основных предположений для корректного эксперимента - пользователи должны распределяться по вариантам независимо и случайно. Если нарушается распределение, то вероятно на ваш тест влияют какие-то переменные, вызывая разницу в том, какие и как пользователи попадают в группы. Это в свою очередь будет влиять на итоговую метрику. Тем самым, эксперимент становится недостоверным.

Перед тем как искать причины необходимо понять, что проблема вообще есть. Для обнаружения считают p-value с использованием chi-square тест. Вот калькулятор, который в этом поможет.

Ряд проблем, которые могут вызывать SRM:
- Некорректность сплитования
- Ломается код в одном из вариантов, из-за чего пользователи не попадают в тест
- Проблемы с логами и данными в целом
- Некорректный анализ данных при подсчете результатов

На картинке причины, которые могут появляться на каждом из этапов эксперимента, взято из стати ExP.

Как же найти причину?
- Посмотреть на сегменты. Возможно проблема есть для одного браузера или только для новых пользователей.
- Посмотреть на SRM в динамике. Сразу ли начались проблемы в тесте или появились начиная с какого-то момента?
- Попросить разработчиков проверить код распределения вариантов и реализацию новой фичи.

Более подробно про SRM можно почитать в блоге Microsoft и в статье от ExP.

Встречались ли вы с такой проблемой и как ее решали? И на каком уровне значимости вы определяете, что проблема есть? Делитесь в комментариях!
👍4❤3
Моя главная боль аналитика - боль в спине (на втором месте стабильно идет качество данных).

Постоянная работа за компьютером в целом не очень полезна, а когда ты на удаленке, при этом без постоянного обустроенного рабочего места, то больно вдвойне (буквально). Один из минусов жизни цифрового кочевника - отсутствие почти во всех Airbnb нормальных стульев и столов, а возить их с собой несколько проблематично.

Решил наконец-то сделать подарок своей шее и купил подставку под ноутбук, клавиатуру и мышь, надеюсь это хоть немного поможет. Хотя все еще иногда нахожу себя сидящим на кухне или на диване просто с ноутбуком (совсем отвык от клавиатуры и мыши, пока непривычно).

Из того, что мне помогает - ежедневная недолгая гимнастика (того, что болит сильнее, в основном шеи) и ежедневные прогулки. А из плюсов жизни цифрового кочевника - возможность жить на море или у гор и после рабочего дня смотреть на закаты, а на выходных ходить в горы. Как-то мне это ближе, чем серый Питер (хотя он тоже прекрасен). А вот работать на улице не очень, в основном из-за солнца, иногда прилетают всякие осы, да и жарко бывает. Хотя встать, размять шею, постоять на балконе со стаканом чая, с видом на море и горы - кайф.

Есть ли у кого-то такие же проблемы с болью в спине? Поделитесь, что вы с этим делаете? Кажется, что только жесткая дисциплина и постоянные физические упражнения помогают, но на это не всегда есть силы.
👍10