Сначала ты спокойно себе учишь статистику, SQL и АБ-тесты, а потом почему-то приходится общаться с людьми, ходить на созвоны, проявлять лидерство и тому подобное. И софт скиллы начинают играть все большую роль с ростом по карьере, чем кажется на момент ее начала и изучения хард скиллов.
Может показаться, что аналитика данных идеальна для интроверта - сидишь и считаешь себе что-то, никого не трогаешь. Но нет. Даже в самом начале карьеры софт скиллы важны. Ты можешь быть самым крутым выпускником физтеха, пройти все курсы по Hard ML, но на пути к успеху будет стоять behavioral интервью, которое тоже надо пройти, и оно не менее важное. При этом, если вы продемонстрируете больше уверенности в себе, крутых социальных навыков и хорошо впишетесь в команду , то велики шансы получить оффер вместо человека, который немного лучше вас показал себя на тех. собесе (это не значит, что к тех. собесам не стоит готовиться, а полагаться только на харизму).
Признаюсь, я не до конца понимаю как развивать в себе некоторые софт скиллы, потому что сам как раз из интровертов. Я хотел обучать модельки в ноутбуках, классифицировать собачек и кошечек и жить счастливо. Суровая реальность однако требует несколько другого, и на работе неожиданно надо ходить и договариваться с несколькими командами, проявлять проактивность, лидерские качества и так далее.
В карусели - софт скиллы, которые мне кажутся важными в работе продуктового аналитика.
Поделитесь в комментариях, работали ли вы как-то над собой, чтобы прям развивать софт скиллы и что для этого делали? Мне кажется, с опытом работы и на примере старших коллег софт скиллы развиваются достаточно естественно, но есть ощущение, что все равно можно на это как-то повлиять.
Может показаться, что аналитика данных идеальна для интроверта - сидишь и считаешь себе что-то, никого не трогаешь. Но нет. Даже в самом начале карьеры софт скиллы важны. Ты можешь быть самым крутым выпускником физтеха, пройти все курсы по Hard ML, но на пути к успеху будет стоять behavioral интервью, которое тоже надо пройти, и оно не менее важное. При этом, если вы продемонстрируете больше уверенности в себе, крутых социальных навыков и хорошо впишетесь в команду , то велики шансы получить оффер вместо человека, который немного лучше вас показал себя на тех. собесе (это не значит, что к тех. собесам не стоит готовиться, а полагаться только на харизму).
Признаюсь, я не до конца понимаю как развивать в себе некоторые софт скиллы, потому что сам как раз из интровертов. Я хотел обучать модельки в ноутбуках, классифицировать собачек и кошечек и жить счастливо. Суровая реальность однако требует несколько другого, и на работе неожиданно надо ходить и договариваться с несколькими командами, проявлять проактивность, лидерские качества и так далее.
В карусели - софт скиллы, которые мне кажутся важными в работе продуктового аналитика.
Поделитесь в комментариях, работали ли вы как-то над собой, чтобы прям развивать софт скиллы и что для этого делали? Мне кажется, с опытом работы и на примере старших коллег софт скиллы развиваются достаточно естественно, но есть ощущение, что все равно можно на это как-то повлиять.
❤9👍1
Если в вашей компании нет продвинутой АБ-платформы или вам надо проанализировать сложный эксперимент, вы напишите код сами или воспользуетесь готовым инструментом?
Из плюсов использовать готовое:
- Умные люди уже сделали это за вас и не надо тратить время на написание аналогичного кода
- Есть инструменты, которые покрывают почти весь процесс проведения АБ, причем написаны они достаточно хорошо и им можно доверять
Из минусов:
- Один инструмент может покрывать не все нужные вам этапы работы с тестом
- Нужно все равно дописывать какие-то вещи связанные с загрузкой и обработкой именно ваших данных
- Некоторые методы для анализа и ускорения тестов не реализованы
- Отсутствие гибкости
Делитесь в комментариях, вы потратите несколько часов или дней, чтобы автоматизировать анализ АБ тестов самим или просто воспользуетесь готовым решением?
А вот и две python библиотеки, которые можно попробовать:
🏺Ambrosia
Библиотека от MTS для дизайна, сплитования и подсчета результатов.
- Гайд на Хабр
- GitHub
🧮 Abacus
Библиотека от GlowByte с аналогичными возможностями.
- Пример использования на Хабр
- GitHub
Из плюсов использовать готовое:
- Умные люди уже сделали это за вас и не надо тратить время на написание аналогичного кода
- Есть инструменты, которые покрывают почти весь процесс проведения АБ, причем написаны они достаточно хорошо и им можно доверять
Из минусов:
- Один инструмент может покрывать не все нужные вам этапы работы с тестом
- Нужно все равно дописывать какие-то вещи связанные с загрузкой и обработкой именно ваших данных
- Некоторые методы для анализа и ускорения тестов не реализованы
- Отсутствие гибкости
Делитесь в комментариях, вы потратите несколько часов или дней, чтобы автоматизировать анализ АБ тестов самим или просто воспользуетесь готовым решением?
А вот и две python библиотеки, которые можно попробовать:
🏺Ambrosia
Библиотека от MTS для дизайна, сплитования и подсчета результатов.
- Гайд на Хабр
- GitHub
🧮 Abacus
Библиотека от GlowByte с аналогичными возможностями.
- Пример использования на Хабр
- GitHub
❤4👍3🔥1
Мои попытки увидеть Арарат во всей красе пока никак не увенчаются успехом.
Лучшее место для этого - Хор Вирап. Помимо монастыря, из которого начало распространяться христианство по Армении, это ближайшее место до Арарата и границы с Турцией.
Многие не знают, но Арарат, главный символ Армении, уже больше ста лет принадлежит Турции. За это можно сказать спасибо Ленину, который передал его Ататюрку в 1921 году на обещание сделать турцию коммунистической (как понимаете, не удалось).
В общем, сегодня я побывал тут в четвертый раз, но видна была только нижняя половина (до этого в основном видел только туман). Фото с вершиной с другой смотровой площадки. А ещё тут аисты живут.
А вообще, Арарат прекрасен, как и остальная природа Армении. Отличное место, чтобы встретиться с родными, если вы не живете в России, поесть и насладиться природой. Последние фото из Дилижана, Севана и Нораванка, мои любимые места.
Лучшее место для этого - Хор Вирап. Помимо монастыря, из которого начало распространяться христианство по Армении, это ближайшее место до Арарата и границы с Турцией.
Многие не знают, но Арарат, главный символ Армении, уже больше ста лет принадлежит Турции. За это можно сказать спасибо Ленину, который передал его Ататюрку в 1921 году на обещание сделать турцию коммунистической (как понимаете, не удалось).
В общем, сегодня я побывал тут в четвертый раз, но видна была только нижняя половина (до этого в основном видел только туман). Фото с вершиной с другой смотровой площадки. А ещё тут аисты живут.
А вообще, Арарат прекрасен, как и остальная природа Армении. Отличное место, чтобы встретиться с родными, если вы не живете в России, поесть и насладиться природой. Последние фото из Дилижана, Севана и Нораванка, мои любимые места.
❤8
Неочевидная причина, почему ваши А/Б-тесты могут быть некорректными.
Sample Ratio Mismatch (SRM) - когда отношение вариантов не равняется тому, которое вы задавали. Например, вы планировали распределение в тесте - 50/50, а в итоговых данных - 45/55. Это достаточно частая проблема, от которой страдают даже топовые компании, например, в LinkedIn порядка 10% тестов имели SRM, в Microsoft - 6%.
Почему это плохо? Некорректное распределение - это симптом того, что в вашем тесте что-то не так. Одно из основных предположений для корректного эксперимента - пользователи должны распределяться по вариантам независимо и случайно. Если нарушается распределение, то вероятно на ваш тест влияют какие-то переменные, вызывая разницу в том, какие и как пользователи попадают в группы. Это в свою очередь будет влиять на итоговую метрику. Тем самым, эксперимент становится недостоверным.
Перед тем как искать причины необходимо понять, что проблема вообще есть. Для обнаружения считают p-value с использованием chi-square тест. Вот калькулятор, который в этом поможет.
Ряд проблем, которые могут вызывать SRM:
- Некорректность сплитования
- Ломается код в одном из вариантов, из-за чего пользователи не попадают в тест
- Проблемы с логами и данными в целом
- Некорректный анализ данных при подсчете результатов
На картинке причины, которые могут появляться на каждом из этапов эксперимента, взято из стати ExP.
Как же найти причину?
- Посмотреть на сегменты. Возможно проблема есть для одного браузера или только для новых пользователей.
- Посмотреть на SRM в динамике. Сразу ли начались проблемы в тесте или появились начиная с какого-то момента?
- Попросить разработчиков проверить код распределения вариантов и реализацию новой фичи.
Более подробно про SRM можно почитать в блоге Microsoft и в статье от ExP.
Встречались ли вы с такой проблемой и как ее решали? И на каком уровне значимости вы определяете, что проблема есть? Делитесь в комментариях!
Sample Ratio Mismatch (SRM) - когда отношение вариантов не равняется тому, которое вы задавали. Например, вы планировали распределение в тесте - 50/50, а в итоговых данных - 45/55. Это достаточно частая проблема, от которой страдают даже топовые компании, например, в LinkedIn порядка 10% тестов имели SRM, в Microsoft - 6%.
Почему это плохо? Некорректное распределение - это симптом того, что в вашем тесте что-то не так. Одно из основных предположений для корректного эксперимента - пользователи должны распределяться по вариантам независимо и случайно. Если нарушается распределение, то вероятно на ваш тест влияют какие-то переменные, вызывая разницу в том, какие и как пользователи попадают в группы. Это в свою очередь будет влиять на итоговую метрику. Тем самым, эксперимент становится недостоверным.
Перед тем как искать причины необходимо понять, что проблема вообще есть. Для обнаружения считают p-value с использованием chi-square тест. Вот калькулятор, который в этом поможет.
Ряд проблем, которые могут вызывать SRM:
- Некорректность сплитования
- Ломается код в одном из вариантов, из-за чего пользователи не попадают в тест
- Проблемы с логами и данными в целом
- Некорректный анализ данных при подсчете результатов
На картинке причины, которые могут появляться на каждом из этапов эксперимента, взято из стати ExP.
Как же найти причину?
- Посмотреть на сегменты. Возможно проблема есть для одного браузера или только для новых пользователей.
- Посмотреть на SRM в динамике. Сразу ли начались проблемы в тесте или появились начиная с какого-то момента?
- Попросить разработчиков проверить код распределения вариантов и реализацию новой фичи.
Более подробно про SRM можно почитать в блоге Microsoft и в статье от ExP.
Встречались ли вы с такой проблемой и как ее решали? И на каком уровне значимости вы определяете, что проблема есть? Делитесь в комментариях!
👍4❤3
Моя главная боль аналитика - боль в спине (на втором месте стабильно идет качество данных).
Постоянная работа за компьютером в целом не очень полезна, а когда ты на удаленке, при этом без постоянного обустроенного рабочего места, то больно вдвойне (буквально). Один из минусов жизни цифрового кочевника - отсутствие почти во всех Airbnb нормальных стульев и столов, а возить их с собой несколько проблематично.
Решил наконец-то сделать подарок своей шее и купил подставку под ноутбук, клавиатуру и мышь, надеюсь это хоть немного поможет. Хотя все еще иногда нахожу себя сидящим на кухне или на диване просто с ноутбуком (совсем отвык от клавиатуры и мыши, пока непривычно).
Из того, что мне помогает - ежедневная недолгая гимнастика (того, что болит сильнее, в основном шеи) и ежедневные прогулки. А из плюсов жизни цифрового кочевника - возможность жить на море или у гор и после рабочего дня смотреть на закаты, а на выходных ходить в горы. Как-то мне это ближе, чем серый Питер (хотя он тоже прекрасен). А вот работать на улице не очень, в основном из-за солнца, иногда прилетают всякие осы, да и жарко бывает. Хотя встать, размять шею, постоять на балконе со стаканом чая, с видом на море и горы - кайф.
Есть ли у кого-то такие же проблемы с болью в спине? Поделитесь, что вы с этим делаете? Кажется, что только жесткая дисциплина и постоянные физические упражнения помогают, но на это не всегда есть силы.
Постоянная работа за компьютером в целом не очень полезна, а когда ты на удаленке, при этом без постоянного обустроенного рабочего места, то больно вдвойне (буквально). Один из минусов жизни цифрового кочевника - отсутствие почти во всех Airbnb нормальных стульев и столов, а возить их с собой несколько проблематично.
Решил наконец-то сделать подарок своей шее и купил подставку под ноутбук, клавиатуру и мышь, надеюсь это хоть немного поможет. Хотя все еще иногда нахожу себя сидящим на кухне или на диване просто с ноутбуком (совсем отвык от клавиатуры и мыши, пока непривычно).
Из того, что мне помогает - ежедневная недолгая гимнастика (того, что болит сильнее, в основном шеи) и ежедневные прогулки. А из плюсов жизни цифрового кочевника - возможность жить на море или у гор и после рабочего дня смотреть на закаты, а на выходных ходить в горы. Как-то мне это ближе, чем серый Питер (хотя он тоже прекрасен). А вот работать на улице не очень, в основном из-за солнца, иногда прилетают всякие осы, да и жарко бывает. Хотя встать, размять шею, постоять на балконе со стаканом чая, с видом на море и горы - кайф.
Есть ли у кого-то такие же проблемы с болью в спине? Поделитесь, что вы с этим делаете? Кажется, что только жесткая дисциплина и постоянные физические упражнения помогают, но на это не всегда есть силы.
👍10
Наконец добрался до ChatGPT 4o и нахожусь в абсолютном восторге от того, как с ее помощью теперь можно учить языки и готовиться к интервью в зарубежные компании.
Общее впечатление - это действительно выглядит как магия 🪄. И с одной стороны я понимаю, что под капотом всего этого лежит перемножение матриц и подсчет градиентов, но осмыслить то, как это натренировали и сделали из этого такой крутой и сложный продукт все равно не могу.
В целом, теперь у вас в кармане личный репетитор (бесплатный) языка, который может понять ваш уровень, составить план изучения и помогать вам действительно учиться говорить. Понятно, почему акции Дуолинго так резко упали (сова наверное сейчас очень злится).
И для подготовки к интервью это тоже бесценный инструмент. Потенциально, помимо практики всех технических скиллов, теперь вы можете попросить его побыть рекрутером из big tech, показать вакансию и провести mock собеседование. Что еще более круто, об модель можно без стеснения прорабатывать все, что связано с самопрезентаций, behavioral частью и soft скилами. И для меня, пока не имевшего большого опыта прохождения интервью на английском, это было бы супер важным. Причем, тебя ведь не просто слушают, но могут поправлять и помогать корректно на вопросы отвечать.
Причем, я намеренно употребил слово инструмент. Все еще не считаю, что ChatGPT пока может заменить ни учителей языка, ни нормальные моки с фидбэком от старших коллег. Мне кажется, в курсах и работе с человеком ты в основном платишь за свою мотивацию и хорошо укомплектованный материал. А бесплатного материала уже сейчас есть тонны, и без должной мотивации, с ChtaGPT или без него, что-то изучить все так же очень сложно. А пока за вау эффект и новые возможности определенно лайк, ждем полную раскатку всех новых фичей (и играемся с ними, пока машины не захватили мир).
Что думаете о новой версии? Будете использовать? Какие еще классные варианты применения можете предложить?
Общее впечатление - это действительно выглядит как магия 🪄. И с одной стороны я понимаю, что под капотом всего этого лежит перемножение матриц и подсчет градиентов, но осмыслить то, как это натренировали и сделали из этого такой крутой и сложный продукт все равно не могу.
В целом, теперь у вас в кармане личный репетитор (бесплатный) языка, который может понять ваш уровень, составить план изучения и помогать вам действительно учиться говорить. Понятно, почему акции Дуолинго так резко упали (сова наверное сейчас очень злится).
И для подготовки к интервью это тоже бесценный инструмент. Потенциально, помимо практики всех технических скиллов, теперь вы можете попросить его побыть рекрутером из big tech, показать вакансию и провести mock собеседование. Что еще более круто, об модель можно без стеснения прорабатывать все, что связано с самопрезентаций, behavioral частью и soft скилами. И для меня, пока не имевшего большого опыта прохождения интервью на английском, это было бы супер важным. Причем, тебя ведь не просто слушают, но могут поправлять и помогать корректно на вопросы отвечать.
Причем, я намеренно употребил слово инструмент. Все еще не считаю, что ChatGPT пока может заменить ни учителей языка, ни нормальные моки с фидбэком от старших коллег. Мне кажется, в курсах и работе с человеком ты в основном платишь за свою мотивацию и хорошо укомплектованный материал. А бесплатного материала уже сейчас есть тонны, и без должной мотивации, с ChtaGPT или без него, что-то изучить все так же очень сложно. А пока за вау эффект и новые возможности определенно лайк, ждем полную раскатку всех новых фичей (и играемся с ними, пока машины не захватили мир).
Что думаете о новой версии? Будете использовать? Какие еще классные варианты применения можете предложить?
❤5
Как бы я начал учить ML с нуля (уже будучи аналитиком).
Машинное обучение - это скилл для аналитика далеко не первой необходимости, но он определенно может стать следующим этапом развития после того, как вы стали крепким джуном или мидлом.
Почему оно полезно:
- Вы можете решать больше бизнесовых задач (а иногда и лучше).
- Вы развиваетесь и повышаете свою стоимость на рынке и грейд (вот матрица компетенции от Авито, где одно из требований к сеньору как раз знание ML).
- Это просто прикольно и интересно. Вы действительно можете в некотором смысле предсказывать будущее, без карт таро и тому подобного. Еще это можно использовать в своих хобби и интересах - я мечтаю когда-нибудь найти время (и силы) и попробовать использовать ML в астрофизике (физическое образование не отпускает до конца) или для задач, связанных с распознаванием животных или в сфере естественных наук.
Итак, как бы действовал я. Не все материалы здесь бесплатные, но их стоимость сильно меньше, чем больших курсов по ML. Понятно, что можно найти и абсолютно бесплатные курсы и материалы, но в этом подборке я себе такой цели не ставлю, а просто привожу ресурсы, которые считаю полезными.
Начал бы с Kaggle, там есть небольшие бесплатные курсы, которые быстро и хорошо рассказывают на практике, как это ваше ML устроено. После чего в упражнениях можно сразу его потрогать и понять а надо ли:
- Intro to ML
- Intermediate ML
- Feature engineering
- Time series
- ML explainability
- Intro to DL
После этого я бы прошел ставшую классической специализацию по ML от Andrew Ng, которая недавно обновилась и стала актуальной.
На этом моменте у вас уже должно быть достаточно знаний, чтобы начать применять ML на практике. А только так и можно что-то выучить (бездумное прохождение курсов работает не очень, проверено на себе). Входные условия задачи - вы уже аналитик, поэтому просто начните применять ML на работе - попробуйте использовать кластеризацию при очередном исследовании, сделайте прогнозы метрик, ускорьте A/B-тест с помощью ML, примените Casual Inferance, когда A/B невозможен.
Если на работе почему-то применить ML не получается, то сделайте свой пет проект, главное - больше практики:
- Идеи для пет проектов
- Статья от ODS на хабр
Дополнительно могу порекоммендовать отличную книгу Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow
Также для каждой главы есть ноутбук с кодом на Github и упражнения.
DataCamp - много интерактивных курсов по всему, что связано с ML (и не только). Не бесплатно, но может быть полезно для практики, вот подборка курсов для того, чтобы стать специалистом по ML.
А для закрепления теории есть классный учебник по ML от Яндекса, но там нужна некоторая математическая подготовка.
Машинное обучение - это скилл для аналитика далеко не первой необходимости, но он определенно может стать следующим этапом развития после того, как вы стали крепким джуном или мидлом.
Почему оно полезно:
- Вы можете решать больше бизнесовых задач (а иногда и лучше).
- Вы развиваетесь и повышаете свою стоимость на рынке и грейд (вот матрица компетенции от Авито, где одно из требований к сеньору как раз знание ML).
- Это просто прикольно и интересно. Вы действительно можете в некотором смысле предсказывать будущее, без карт таро и тому подобного. Еще это можно использовать в своих хобби и интересах - я мечтаю когда-нибудь найти время (и силы) и попробовать использовать ML в астрофизике (физическое образование не отпускает до конца) или для задач, связанных с распознаванием животных или в сфере естественных наук.
Итак, как бы действовал я. Не все материалы здесь бесплатные, но их стоимость сильно меньше, чем больших курсов по ML. Понятно, что можно найти и абсолютно бесплатные курсы и материалы, но в этом подборке я себе такой цели не ставлю, а просто привожу ресурсы, которые считаю полезными.
Начал бы с Kaggle, там есть небольшие бесплатные курсы, которые быстро и хорошо рассказывают на практике, как это ваше ML устроено. После чего в упражнениях можно сразу его потрогать и понять а надо ли:
- Intro to ML
- Intermediate ML
- Feature engineering
- Time series
- ML explainability
- Intro to DL
После этого я бы прошел ставшую классической специализацию по ML от Andrew Ng, которая недавно обновилась и стала актуальной.
На этом моменте у вас уже должно быть достаточно знаний, чтобы начать применять ML на практике. А только так и можно что-то выучить (бездумное прохождение курсов работает не очень, проверено на себе). Входные условия задачи - вы уже аналитик, поэтому просто начните применять ML на работе - попробуйте использовать кластеризацию при очередном исследовании, сделайте прогнозы метрик, ускорьте A/B-тест с помощью ML, примените Casual Inferance, когда A/B невозможен.
Если на работе почему-то применить ML не получается, то сделайте свой пет проект, главное - больше практики:
- Идеи для пет проектов
- Статья от ODS на хабр
Дополнительно могу порекоммендовать отличную книгу Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow
Также для каждой главы есть ноутбук с кодом на Github и упражнения.
DataCamp - много интерактивных курсов по всему, что связано с ML (и не только). Не бесплатно, но может быть полезно для практики, вот подборка курсов для того, чтобы стать специалистом по ML.
А для закрепления теории есть классный учебник по ML от Яндекса, но там нужна некоторая математическая подготовка.
❤10👍4