Забавное наблюдение из статистики моего первого поста про поиск работы на LinkedIn.

Он набрал около 50к просмотров, кажется достаточная выборка, чтобы провести небольшое исследование рынка. На скрине - топ профессий людей, которые его увидели.

Причем это явно не моя основная аудитория (у меня в основном аналитики в контактах), так что тут явно поработали рекомендательные алгоритмы LinkedIn. При условии, что они хорошо работают (а я думаю, что хорошо) и рекомендуют ищущим работу людям посты именно про это, можем понять кто именно больше всего заинтересован в поиске - инженеры, qa, фронты, продакты и проджекты.

Выводы я бы сделал такие:
- возможно распределение таково, просто потому что это распределение профессий в целом и Software Engineer, QA, Frontend - банально самые распространенные в it (что в целом логично)
- либо это действительно профессии, которые наиболее заинтересованы в поиске прямо сейчас и их больше всего на рынке
- такое распределение случайно сложилось из-за особенностей рекомендаций LinkedIn и моих контактов

Было бы интересно знать статистику рынка по профессиям и демографиям в риал тайм. Наверное в LinkedIn аналитиком работать достаточно прикольно - они то как раз могут видеть эту общую картину. Я думаю в действительности некоторый микс из моих выводов, на это повлияли и рекомендации, и кол-во людей каждого Job Title, которые в свою очередь рождают спрос/предложение. Так что не удивительно, если профессии, где больше всего людей, и ищут работу в больших количествах.

Как аналитику подготовиться к техническому собеседованию?

Это третья и заключительная часть про поиск работы. В предыдущих двух (раз, два) рассказал про то, что нужно сделать до начала поиска, резюме, LinkedIn и отклики на вакансии.

Чтож, вы написали отличное резюме, откликнулись на вакансию мечты, прошли HR-скрининг и теперь вас ждут на технической части (или нескольких). Ниже материалы, которые использовал для подготовки я. 

📝 Несколько общих полезных ресурсов

- Статья от Авито с матрицей компетенций
- Статья от Яндекса про найм аналитиков. Там же можно найти много материалов для подготовки к алгоритмам. 
- StrataScratch. На мой взгляд один из лучших ресурсов для нарешивания задач по всем темам от топовых зарубежных компаний.
- Подборка тестовых заданий от Pavel Bukhtik. 

🔢 Теорвер и статистика

- Cheat sheets от StrataScratch: раз, два
- Курс, чтобы подтянуть знания от khanacademy
- Практика на StrataScratch

💻 SQL

Для изучения (и повторения):
- Классный курс от @KarpovCourses
- Хороший интерактивный курс с практикой

Для практики: 
- Задачи по SQL на leetcode
- Задачи по SQL на StrataScratch

🐍 Python 

При подготовке я бы сделал упор на нарешивание задач:

- GitHub с примерами
- Практика на StrataScratch

🎯 А/Б-тесты

Про А/Б-тесты рассказывал в двух предыдущих постах (раз, два), там найдете все необходимые ресурсы для подготовки.
Общий совет: разберитесь во всем пайплайне проведения теста - от гипотезы и дизайна до подведения итогов. Повторите про проверку гипотез, уровень значимости, мощность, p-value и стат. тесты. Вспомните про проблему подглядывания, как рассчитывать размер выборки и потом переходите к более продвинутым темам.

#career

Продуктовые кейсы

Называться это может по-разному, например Product Sense, Metric/Business Case, либо без какого-то определенного названия, а просто одна из аналитических секций (такие есть, например, в Яндекс и Авито).

Здесь вам предложат продуктовую задачу, это может быть какая-то аномалия в данных (упала метрика и надо погенерить из-за чего), предложат гипотезу и попросят поразмышлять о том, стоит ли ее катить, или попросят придумать метрику. Часто на этой секции также проверяют знание статистики, А/Б-тестов, метрик продукта и оценивают насколько вы вообще умеете в продуктовое мышление и problem solving.

Так как же проходить такие секции?
- Во-первых, выучить техническую составляющую - статистику, A/B-тесты и метрики.
- Во-вторых, развивайте насмотренность - наблюдайте как с такими задачами справляются продукты в вашем продукте, читайте блоги, смотрите разборы на YouTube, посмотрите на примеры таких заданий в сборнике тестовых в посте выше.
- В-третьих, составьте для себя фреймворк, по которому будете отвечать на вопросы такого типа и практикуйтесь.

Мой фреймворк примерно такой:
1. Определить проблему. На этом этапе важно задать как можно больше уточняющих вопросов, чтобы быть максимально в контексте задачи. Не надо сразу бросаться в генерацию рандомных гипотез.
2. В чем финальная цель? На этом этапе необходимо понять чего мы хотим достичь и как это измерить. То есть, надо определиться с целевой метрикой успеха, вспомогательными метриками и guardrail метриками, которые мы не должны уронить.
3. Теперь, в зависимости от задачи, начинается либо процесс генерации гипотез, либо ваш рассказ о том, как проводить A/B-тест (либо что-то вместо него, когда он не возможен).
4. В итоге, необходимо прийти к конечному ответу, будь то ответ на то, почему что-то случилось с метрикой, или запускать новую фичу или нет. Не забываем связать это с предыдущими пунктами. Тут также можно пообсуждать альтернативные варианты, последствия вашего принятого решения, влияние на другие метрики и так далее.

Чтобы более подробно во все это погрузиться, советую посмотреть вот эти видео на YouTube:
- Раз
- Два (пример из меты)
- Три (пример из lyft)
- Четыре (пример из linkedin)

Пример таких вопросов на StrataScratch

Последний, возможно очевидный, но важный совет: перед собесом обязательно изучите продукт и отрасль компании, в которую вы собеседуетесь. С большой долей вероятности, кейс из именно такой сферы вам могут предложить на собесе. То есть, если вы идете собеседоваться в Яндекс Поиск, то подумайте о том, какой метрикой можно оценить качество поиска, если это Uber - поймите как работает продукт со стороны пользователя и водителя и так далее. Это может сильно помочь в прохождении секции и выделить вас на фоне других кандидатов.

#career

💪 Нужен ли ML аналитикам?

Перед тем как стать продуктовым аналитиком, я собирался стать дата-сайентистом и усиленно изучал машинное обучение. Потом вдруг оказалось, что код в ноутбуках особо не нужен, а нужны сложные работающие и поддерживаемые сервисы. А для этого нужны уже ML-инженеры. Но потом оказалось, что на самом деле компаниям нужны не супер крутые нейронки или бустинги, а получать прибыль и иметь для этого инструменты. И машинное обучение - лишь один из них.

Поэтому если вы сейчас аналитик, то я бы предложил относиться к ML как к классному и полезному в некоторых задачах инструменту. Это определенно не то, что стоит начать изучать сразу после базового питона и sql. Если посмотреть на развитие аналитики в разных компаниях, то к использованию ML приходят далеко не в самом начале. Главное в начале - иметь надежное хранилище данных, настроенную отчетность, платформу для А/Б-тестов и аналитиков, которые стабильно будут приносить продукту инсайты, которые помогут ему расти.

Тем не менее, в какой-то момент карьеры и зрелости компании можно задуматься о том, что ML все-таки полезно иметь в своем арсенале. Прогнознные модели финансовых показателей, сегментации, предсказание оттока, да даже продвинутые эксперименты (CUPAC и вот это все) и Casual Impact - это то, что определенно приносит пользу бизнесу. А для реализации не всегда нужен именно ML-инженер, вероятно Data Engineer вместе с аналитиком может настроить хорошие базовые пайплайны и поддержку моделей.

В некоторых компаниях в вакансиях продуктовых аналитиков уже сейчас в требования входит знание ML (но в основном это скорее желательно, а не обязательно). Мне лично нравится потенциальная эволюция продуктовых аналитиков в то, что в Meta называют Product Data Scientist - аналитик со знаниями ML и хорошо разбирающийся в экспериментах.

Так что кажется пока что ML все еще не необходимость, но полезный скилл, который выделит вас на фоне коллег и откроет вам больше возможностей. Ну и как же круто - вы можете немного побыть волшебником и попредсказывать будущее ✨

Чтобы начать, я бы посоветовал курсы на kaggle - там можно быстро понять основы и попробовать ML на практике. Вот курс с введением в ML.
А для чуть более глубокого понимания есть недавно переработанная специализация от Andrew Ng на Coursera, ставшая уже классикой.

А что вы думаете о необходимости знания ML аналитикам? Делитесь в комментариях!

#ml