Для тех, кто хочет на майских продолжить что-то изучать, а не есть шашлыки (вообще не осуждаю, а всецело понимаю), рекомендую начать следить за Ron Kohavi и поизучать контент от него. Он один из самых известных спикеров в сфере экспериментов, отвечал за них в Microsoft и Airbnb. Что можно посмотреть:
- Прочитать его книгу Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing (на русском - Доверительное А/Б-тестирование), которую как раз можно осилить за несколько дней.
- Подписаться на него в LinkedIn и почитать его посты, вот топ. Он еще иногда приходит в комментарии под чужие посты про А/Б-тесты и пишет, что это бред и оно не так работает, это забавно читать (при этом объясняет как делать правильно).
- Посмотреть выпуск подкаста с его участием - ссылка на youtube. Он там очень классно рассказывает про культуру экспериментов в bigtech, основные ошибки и много чего другого. Меня зацепило, что кол-во успешных экспериментов в его практике - порядка 10%. Понятно, что это большие компании, где много гипотез проверено, и наверное этот процент варьируется в зависимости от зреслости продукта, сферы, команды и тд, но все равно заставляет задуматься о качесте принятия решения в том продукте, где работаешь. Про это еще есть интересное исследование от Optimizely, тоже советую ознакомиться. В общем теперь, когда я слышу от кого-то про долю успешных экспериментов порядка 80%, то начинаю сильно сомневаться.
В общем, я бы пока что подписался (если вы еще не) на него в LinkedIn и за поеданием шашлыка послушал подкаст, а все остальное оставил на потом, отдыхать тоже надо. И всем хороших майских🏖
- Прочитать его книгу Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing (на русском - Доверительное А/Б-тестирование), которую как раз можно осилить за несколько дней.
- Подписаться на него в LinkedIn и почитать его посты, вот топ. Он еще иногда приходит в комментарии под чужие посты про А/Б-тесты и пишет, что это бред и оно не так работает, это забавно читать (при этом объясняет как делать правильно).
- Посмотреть выпуск подкаста с его участием - ссылка на youtube. Он там очень классно рассказывает про культуру экспериментов в bigtech, основные ошибки и много чего другого. Меня зацепило, что кол-во успешных экспериментов в его практике - порядка 10%. Понятно, что это большие компании, где много гипотез проверено, и наверное этот процент варьируется в зависимости от зреслости продукта, сферы, команды и тд, но все равно заставляет задуматься о качесте принятия решения в том продукте, где работаешь. Про это еще есть интересное исследование от Optimizely, тоже советую ознакомиться. В общем теперь, когда я слышу от кого-то про долю успешных экспериментов порядка 80%, то начинаю сильно сомневаться.
В общем, я бы пока что подписался (если вы еще не) на него в LinkedIn и за поеданием шашлыка послушал подкаст, а все остальное оставил на потом, отдыхать тоже надо. И всем хороших майских
Please open Telegram to view this post
VIEW IN TELEGRAM
YouTube
The ultimate guide to A/B testing | Ronny Kohavi (Airbnb, Microsoft, Amazon)
Ronny Kohavi, PhD, is a consultant, teacher, and leading expert on the art and science of A/B testing. Previously, Ronny was Vice President and Technical Fellow at Airbnb, Technical Fellow and corporate VP at Microsoft (where he led the Experimentation Platform…
👍8❤5
Расскажу про Танжер - один из городов, в которых я жил в Марокко.
Это город на стыке атлантического океана и средиземного моря, порт у берега Гибралтарского пролива. Представьте - вы сидите со стаканом мятного чая у стен Касбы (про это дальше), вокруг вас летают и кричат чайки, доносится шум океанских волн, а напротив, через пролив, видны берега Испании (я представил и захотелось обратно). Здесь же я в первый раз увидел океан, так что впечатления самые положительные.
Танжер - один из наиболее космополитичных городов из-за близости к Испании. В начале 20 века был международной зоной, под протекторатом Франции, Британии и Испании. Для интересующихся историей - первая мировая могла начаться несколько раньше из-за происходящих тут событий, подробнее читайте про Танжерский кризис. Еще один (мой любимый факт) - Марокко ценится за свои мандарины, а в английском мандарин - tangerine, как раз потому что именно из Танжера их когда-то давно завезли в Европу.
Что же интересного тут можно посмотреть? Начать определенно стоит с Медины и Касбы. Поясняю за лексику. Медина - это старый арабский город внутри почти в каждом большом городе в Марокко. Это лабиринты из узких улиц, местные рынки, лавочки, мечети и дворцы. Касба - крепость, может быть построена как очень давно берберами, так и во время испанского или португальского протектората. При первом знакомстве выглядит это все интересно и хаотично (да и откровенно пованивает). Обычно медины имеют один общий оттенок, в Танжере и Касабланке - белый, в Фесе - песочный, в Марракеше - персиковый. В совокупности, вся местная жизнь, арабская архитектура, запахи и звуки создают незабываемую атмосферу, в которой хоть раз стоит побывать. Медина Танжера - пожалуй самая чистая и понятная, с влиянием на архитектуру французов и испанцев.
Еще тут есть музеи искусства, которые часто располагаются в дворцах или крутых особняках, и неожиданно - музей в бывшем Американском посольстве. А вот в мечети в Марокко иностранцев не пускают. Из интересного - тут они немного другой формы, в отличие от тех, которые я видел в Турции и Эмиратах. Очень нравится замечать такие небольшие отличия в культурах разных стран.
Ну и марокканский мятный чай - это просто любовь. Тут есть 100 летнее кафе на утесе , где подают только чай. В общем пить чай и смотреть на океан - это прям кайф.
Получилось больше, чем я думал, так что про еще несколько интересных мест расскажу в следующем посте. А Танжер очень крутой, определено советую хотя бы на несколько дней сюда приехать.
Это город на стыке атлантического океана и средиземного моря, порт у берега Гибралтарского пролива. Представьте - вы сидите со стаканом мятного чая у стен Касбы (про это дальше), вокруг вас летают и кричат чайки, доносится шум океанских волн, а напротив, через пролив, видны берега Испании (я представил и захотелось обратно). Здесь же я в первый раз увидел океан, так что впечатления самые положительные.
Танжер - один из наиболее космополитичных городов из-за близости к Испании. В начале 20 века был международной зоной, под протекторатом Франции, Британии и Испании. Для интересующихся историей - первая мировая могла начаться несколько раньше из-за происходящих тут событий, подробнее читайте про Танжерский кризис. Еще один (мой любимый факт) - Марокко ценится за свои мандарины, а в английском мандарин - tangerine, как раз потому что именно из Танжера их когда-то давно завезли в Европу.
Что же интересного тут можно посмотреть? Начать определенно стоит с Медины и Касбы. Поясняю за лексику. Медина - это старый арабский город внутри почти в каждом большом городе в Марокко. Это лабиринты из узких улиц, местные рынки, лавочки, мечети и дворцы. Касба - крепость, может быть построена как очень давно берберами, так и во время испанского или португальского протектората. При первом знакомстве выглядит это все интересно и хаотично (да и откровенно пованивает). Обычно медины имеют один общий оттенок, в Танжере и Касабланке - белый, в Фесе - песочный, в Марракеше - персиковый. В совокупности, вся местная жизнь, арабская архитектура, запахи и звуки создают незабываемую атмосферу, в которой хоть раз стоит побывать. Медина Танжера - пожалуй самая чистая и понятная, с влиянием на архитектуру французов и испанцев.
Еще тут есть музеи искусства, которые часто располагаются в дворцах или крутых особняках, и неожиданно - музей в бывшем Американском посольстве. А вот в мечети в Марокко иностранцев не пускают. Из интересного - тут они немного другой формы, в отличие от тех, которые я видел в Турции и Эмиратах. Очень нравится замечать такие небольшие отличия в культурах разных стран.
Ну и марокканский мятный чай - это просто любовь. Тут есть 100 летнее кафе на утесе , где подают только чай. В общем пить чай и смотреть на океан - это прям кайф.
Получилось больше, чем я думал, так что про еще несколько интересных мест расскажу в следующем посте. А Танжер очень крутой, определено советую хотя бы на несколько дней сюда приехать.
❤6
Сначала ты спокойно себе учишь статистику, SQL и АБ-тесты, а потом почему-то приходится общаться с людьми, ходить на созвоны, проявлять лидерство и тому подобное. И софт скиллы начинают играть все большую роль с ростом по карьере, чем кажется на момент ее начала и изучения хард скиллов.
Может показаться, что аналитика данных идеальна для интроверта - сидишь и считаешь себе что-то, никого не трогаешь. Но нет. Даже в самом начале карьеры софт скиллы важны. Ты можешь быть самым крутым выпускником физтеха, пройти все курсы по Hard ML, но на пути к успеху будет стоять behavioral интервью, которое тоже надо пройти, и оно не менее важное. При этом, если вы продемонстрируете больше уверенности в себе, крутых социальных навыков и хорошо впишетесь в команду , то велики шансы получить оффер вместо человека, который немного лучше вас показал себя на тех. собесе (это не значит, что к тех. собесам не стоит готовиться, а полагаться только на харизму).
Признаюсь, я не до конца понимаю как развивать в себе некоторые софт скиллы, потому что сам как раз из интровертов. Я хотел обучать модельки в ноутбуках, классифицировать собачек и кошечек и жить счастливо. Суровая реальность однако требует несколько другого, и на работе неожиданно надо ходить и договариваться с несколькими командами, проявлять проактивность, лидерские качества и так далее.
В карусели - софт скиллы, которые мне кажутся важными в работе продуктового аналитика.
Поделитесь в комментариях, работали ли вы как-то над собой, чтобы прям развивать софт скиллы и что для этого делали? Мне кажется, с опытом работы и на примере старших коллег софт скиллы развиваются достаточно естественно, но есть ощущение, что все равно можно на это как-то повлиять.
Может показаться, что аналитика данных идеальна для интроверта - сидишь и считаешь себе что-то, никого не трогаешь. Но нет. Даже в самом начале карьеры софт скиллы важны. Ты можешь быть самым крутым выпускником физтеха, пройти все курсы по Hard ML, но на пути к успеху будет стоять behavioral интервью, которое тоже надо пройти, и оно не менее важное. При этом, если вы продемонстрируете больше уверенности в себе, крутых социальных навыков и хорошо впишетесь в команду , то велики шансы получить оффер вместо человека, который немного лучше вас показал себя на тех. собесе (это не значит, что к тех. собесам не стоит готовиться, а полагаться только на харизму).
Признаюсь, я не до конца понимаю как развивать в себе некоторые софт скиллы, потому что сам как раз из интровертов. Я хотел обучать модельки в ноутбуках, классифицировать собачек и кошечек и жить счастливо. Суровая реальность однако требует несколько другого, и на работе неожиданно надо ходить и договариваться с несколькими командами, проявлять проактивность, лидерские качества и так далее.
В карусели - софт скиллы, которые мне кажутся важными в работе продуктового аналитика.
Поделитесь в комментариях, работали ли вы как-то над собой, чтобы прям развивать софт скиллы и что для этого делали? Мне кажется, с опытом работы и на примере старших коллег софт скиллы развиваются достаточно естественно, но есть ощущение, что все равно можно на это как-то повлиять.
❤9👍1
Если в вашей компании нет продвинутой АБ-платформы или вам надо проанализировать сложный эксперимент, вы напишите код сами или воспользуетесь готовым инструментом?
Из плюсов использовать готовое:
- Умные люди уже сделали это за вас и не надо тратить время на написание аналогичного кода
- Есть инструменты, которые покрывают почти весь процесс проведения АБ, причем написаны они достаточно хорошо и им можно доверять
Из минусов:
- Один инструмент может покрывать не все нужные вам этапы работы с тестом
- Нужно все равно дописывать какие-то вещи связанные с загрузкой и обработкой именно ваших данных
- Некоторые методы для анализа и ускорения тестов не реализованы
- Отсутствие гибкости
Делитесь в комментариях, вы потратите несколько часов или дней, чтобы автоматизировать анализ АБ тестов самим или просто воспользуетесь готовым решением?
А вот и две python библиотеки, которые можно попробовать:
🏺Ambrosia
Библиотека от MTS для дизайна, сплитования и подсчета результатов.
- Гайд на Хабр
- GitHub
🧮 Abacus
Библиотека от GlowByte с аналогичными возможностями.
- Пример использования на Хабр
- GitHub
Из плюсов использовать готовое:
- Умные люди уже сделали это за вас и не надо тратить время на написание аналогичного кода
- Есть инструменты, которые покрывают почти весь процесс проведения АБ, причем написаны они достаточно хорошо и им можно доверять
Из минусов:
- Один инструмент может покрывать не все нужные вам этапы работы с тестом
- Нужно все равно дописывать какие-то вещи связанные с загрузкой и обработкой именно ваших данных
- Некоторые методы для анализа и ускорения тестов не реализованы
- Отсутствие гибкости
Делитесь в комментариях, вы потратите несколько часов или дней, чтобы автоматизировать анализ АБ тестов самим или просто воспользуетесь готовым решением?
А вот и две python библиотеки, которые можно попробовать:
🏺Ambrosia
Библиотека от MTS для дизайна, сплитования и подсчета результатов.
- Гайд на Хабр
- GitHub
🧮 Abacus
Библиотека от GlowByte с аналогичными возможностями.
- Пример использования на Хабр
- GitHub
❤4👍3🔥1
Мои попытки увидеть Арарат во всей красе пока никак не увенчаются успехом.
Лучшее место для этого - Хор Вирап. Помимо монастыря, из которого начало распространяться христианство по Армении, это ближайшее место до Арарата и границы с Турцией.
Многие не знают, но Арарат, главный символ Армении, уже больше ста лет принадлежит Турции. За это можно сказать спасибо Ленину, который передал его Ататюрку в 1921 году на обещание сделать турцию коммунистической (как понимаете, не удалось).
В общем, сегодня я побывал тут в четвертый раз, но видна была только нижняя половина (до этого в основном видел только туман). Фото с вершиной с другой смотровой площадки. А ещё тут аисты живут.
А вообще, Арарат прекрасен, как и остальная природа Армении. Отличное место, чтобы встретиться с родными, если вы не живете в России, поесть и насладиться природой. Последние фото из Дилижана, Севана и Нораванка, мои любимые места.
Лучшее место для этого - Хор Вирап. Помимо монастыря, из которого начало распространяться христианство по Армении, это ближайшее место до Арарата и границы с Турцией.
Многие не знают, но Арарат, главный символ Армении, уже больше ста лет принадлежит Турции. За это можно сказать спасибо Ленину, который передал его Ататюрку в 1921 году на обещание сделать турцию коммунистической (как понимаете, не удалось).
В общем, сегодня я побывал тут в четвертый раз, но видна была только нижняя половина (до этого в основном видел только туман). Фото с вершиной с другой смотровой площадки. А ещё тут аисты живут.
А вообще, Арарат прекрасен, как и остальная природа Армении. Отличное место, чтобы встретиться с родными, если вы не живете в России, поесть и насладиться природой. Последние фото из Дилижана, Севана и Нораванка, мои любимые места.
❤8