Друзья, всем привет!👋🏻

Нашёл классный бесплатный ресурс с заданиями на различные языки программирования, все это запаковано в игровой формат, по уровням сложности. Сервис предназначен для оттачивания навыков в кодинге. 🎮

На ресурсе много интересных и нетривиальных заданий (Python, SQL, GO, C++ и тд) все что душе угодно. 🤩

Единственный минус, он полностью на англ и не подходит для людей которые начинают прямо с нуля, а все таки ориентирован на пользователей, которые уже обладают определенной базой.

Также хотел добавить, что задачки с этого ресурса порой встречаются на собеседованиях, у меня например так было с OZON.


https://www.codewars.com

Бесплатно тренируем SQL + помимо задачек есть ещё замечательный электронный учебник)

для многих известный ресурс, но вдруг кто- то не знает)

P.S. есть упражнения на оконные функции 🤫

https://www.sql-ex.ru/?Lang=0

Друзья, всем привет! Пост по мероприятиям :

1) На Data yoga грядёт марафон по анализу данных , начинается он 15го марта.
Обещают, что мероприятие будет полезно как начинающим так и опытным специалистам.
Важно сказать что будут не только лекции, но и практические задания, решив которые вы получите фидбек, что уже очень круто)

2) Этой весной открывает свои двери Школа Менеджеров Яндекса по трём направлениям:

• Управление продуктами и проектами

• Маркетинг

• Продуктовая аналитика

Приём заданий заканчивается 29 марта, поэтому поторопитесь.

Оба мероприятия бесплатные, так что дерзайте ✊🏻

Ссылка на ШМЯ

https://academy.yandex.ru/schools/management?utm_source=academy&utm_medium=smm&utm_campaign=management&utm_content=anons


Ссылка на DataYoga
https://dataliteracy.ru/speakdata

Всем привет!

На днях команда матемаркетинга проводила вебинар по продуктовой аналитике. Пост с ссылкой на запись и доску в Miro (с очень большим количеством крутого бесплатного контента) ниже. 😊
На случай если по каким-то причинам пропустили)

В пятницу, мы провели вебинар, на котором поделились ссылками на множество бесплатных материалов для продуктовых аналитиков - более 230 курсов, лонгридов, тренажеров, блогов и емких статей.

Ссылка на доску Miro
Запись вебинара

Если есть, что добавить - присылайте в личку @a_nikushin (отвечу не сразу, сразу предупреждаю)

Всем привет, хотел поделиться с вами книжкой по SQL. Да, согласен, название вызывающее , но по сути в книге описаны основы работы с базами данных и рассказывается не только как писать запросы, но и в целом на пальцах объясняется как создаются бд, каким образом администрируются и тд 🤔

В общем с дата инженерами общаться после прочтения должно стать легче, ненамного конечно, но разницу заметите точно😄

И в целом полезность таких знаний в том, что если хорошо разобрать материал в книге, то вас сложно будет удивить чем либо в теме БД (по крайней мере в реляционных, NOSQL немного другая история) 🧑🏻‍💻

Всем, привет!

В данный момент я работаю в веб сервисе и мы с командой столкнулись с проблемой с точки зрения взращивания продуктовых метрик, а именно периодического изменения качества трафика, который гонит нам маркетинг. 🧑🏻‍💻

Собственно в чем проблема:
разный трафик с точки зрения качества по разному себя ведёт внутри сервиса, то есть в продукте мы ничего не меняли, а метрики (например: конверсии, Retention) просели потому что изменилось качество трафика.

В app(приложении) такая проблема возникает реже ибо что бы попасть в продукт его надо установить (приложить некие усилия/ потратить время 1-2 мин), то есть пользователь который зашёл в сервис более мотивирован в нем что то делать, чем человек который просто кликнул на ссылку и попал на страницу в браузере (затрат времени 1-2 секунды).🤯

Пока из способов борьбы, из того что удалось придумать - это включать в когорту для расчета Retention не по старту сессии а по совершению целевого действия. Посмотрим что из этого выйдет.🤔

Может кто-то ещё сталкивался с такими проблемами? Буду рад если поделитесь опытом и способами решения 🙂

Всем, привет!

Нашел отчет Appsflyer по бенчмарку Retention в моб приложениях от 2020 года по отраслям и странам. Excel приложил.

Всем привет!

Пост по книгам, недавно лазил по просторам инета и навёл прицел на следующие книги:

1) Тёмные данные (практическое руководство по принятию решений в мире недостающих данных), Дэвид Хелд.

2) Байесовская статистика, Уилл Курт. Если в двух словах, как работать с данными при помощи байесовской статистики 📚

Вроде названия достаточно интересные, и книжки в сети рекомендуют 🤔
Может кто-то что-то из этого читал? Буду благодарен за отзыв 🙂

С последнего поста уже прошло 2 года 😁

Время летит конечно незаметно , ладно, постараюсь без сантиментов.

Хочу обновить дату последнего поста что бы канал не выглядел мёртвым и постараюсь писать чаще чем раз в два года 😂

Вашему вниманию предлагаю серию подкаста с Роном Кохави (одна из самых популярных фигур АБ тестирования на текущий момент) ex VP of experimentation в Microsoft /Airbnb / Amazon . Да и в целом дядька с юмором. В этом выпуске он рассуждает про то как развивал культуру АБ тестирования в вышеупомянутых компаниях, немного рефлексирует и немного касается подводных камней в экспериментах которые он встречал на своём карьерном пути.
Язык конечно английский, но вроде можно субтитры русские включить, Надеюсь вам понравится.
Сылка на подкаст

Моя любимая часть этого выпуска, когда Ронни Кохави рассказывал о своих первых днях в Microsoft (это был примерно 2008 год) и про диалог с одним из топ-менеджеров, которым он поделился с интервьюером:

-- Топ-менеджер: Хорошо, Ронни, у тебя есть должность партнера в нашей компании, так что тебе решать, что делать. Итак, каковы ваши планы?
-- Ронни Кохави: Я считаю, что нам нужно создать платформу для экспериментов, потому что, исходя из моего опыта работы с Amazon, примерно 80 % новых идей терпят неудачу.
-- Топ-менеджер: Нет, ну такого у нас точно нет, у нас ПМы лучше.

Если вы посмотрите видео, то узнаете, что топ-менеджер Microsoft был прав, у них процент провала оказался 66 % . 😂

Я последние два года много читаю книжек, решаю задачки и занимаюсь на курсах связанных с мат дисциплинами. Какое то время писал всё в тетрадке , но в конце концов устал от того что через месяц не могу разобрать свой же почерк 😂

В итоге я стал иcпользовать Jupyter Notebooks для конспектов , решения задачек и так далее. Однозначно решает вышеупомянутые проблемы и ещё можно графики красивые строить, закидывать на гитхаб для хранения, а также есть мотивация сразу разбираться как можно посчитать то или иное в разных в библиотеках (мне кстати это сильно помогло когда я писал библиотеку для эксперимент дизайна в своей компании).

Единственная загвоздка была в том как отображать математические символы/знаки что бы это выглядело читабельно и симпатично. Тут на помощь мне пришёл Latex , ниже прикрепляю пару ссылок которые много раз меня выручали в этом вопросе :

+ Базовые мат символы
+ Как писать матрицы

Напоминаю что бы красота заработала надо переключить ячейку в режим Markdown и начинать запись c $ и заканчивать $ , то есть вот так : $\beta$ вы получите красивый знак Беты когда выполните ячейку.

#обучалка
По заявкам сделаю серию постов об обучалках/книгах которые я проходил, прохожу и буду проходить.

Дело в том что я по образованию экономист / финансист , который не сильно в ходе своего обучения в универе вкладывался в статистику, и работая продуктовым аналитиком по началу я пользовался принципом тут там посмотрел, вроде посчитало и норм (Пример: t-test можно использовать для любых выборок если больше 30 объектов, так в инете написано значит точно можно). Но чем больше я работал, тем сильнее меня раздражало что я не до конца понимаю что я делаю с точки зрения АБ тестов тех же и я решил, что хватит это терпеть , пора разобраться в фундаментальных вещах 🤓

Начал я с этих курсов на степике : https://stepik.mathfords.ru/ , не помню уже как наткнулся, но меня впечатлила программа и особенно то что курс реально про математику более менее с нуля к каким то более серьёзным вещам , и задачки есть на доказательства теорем. В целом как мне показалось курс даёт хорошую базу что бы пойти учиться на более продвинутые программы или читать серьёзные учебники (девочка вроде даже одна писала что в магу смогла поступить на Computer Vision при помощи этих курсов). Сам могу отметить что после этого курса начал читать и понимать Research papers связанные со статистикой (по АБ тестам тем же). В общем мой рекомендасьон, на курсе преподают как раз матан, линал ,статистику и тервер. В следующем посте напишу про книжку по эконометрике , stay tuned. ☺️

Ставьте реакции если вам зашла эта тема и стоит продолжать об этом писать 😊

Продолжаем цикл образовательных постов. Решил отложить пока книжку по эконометрике, дочитаю, напишу про неё 😏

Но у меня для вас есть ещё кое что полезное и интересное, а именно курс от Cassie Kozyrkov по Machine Learning (называется: Making friends with Machine Learning).

Сначала расскажу немного о Cassie. Cassie - Chief Decision Scientist в Google , а также PhD по Psychology и Neuroscience и Ms in Statistics. И по моему у неё есть офигенный дар рассказывать про сложные вещи простыми и понятными словами (завидую таким людям 😒), ну и конечно же добавлять немного юмора 😁

Теперь про курс : Cassie описывает методологию построения ML систем (есть сегмент по нейросеткам) , а также в целом рассказывает как каждый алгоритм работает простым языком, что бы было понятно и менеджерам и любому слушателю который хочет разобраться как же эти магические алгоритмы работают.

Моё мнение : начну с того что я набрёл на этот курс когда у меня была идея пойти работать продактом в наш ML продукт и мне было нужно погрузиться как строятся ML системы и чуть подробнее разобраться как работают алгоритмы и я скажу что эту задачу курс для меня закрыл. То есть пойти начать строить системы ты после него не сможешь , но понимать что делают твои разрабы этого более чем достаточно. Это с точки зрения пользы для продакта.
Если брать пользу для аналитика, то я скажу так, когда я вплотную займусь прокачкой ML , я обязательно пересмотрю его ещё раз, так как в курсе очень круто описана сама концепция построения, тестирования моделей, дата майнинга и что очень важно интерпретация (мы аналитики должны уметь рассказывать как мы что-то сделали). В общем рекомендую 😊

И как обычно, если вам пост показался полезным , ставьте реакции 🙏

Пост про Minimum Detectable effect ( далее MDE)

Сначала напомню что такое MDE - это показатель который используется для определения минимального размера эффекта который можно объяснить при ваших вводных (количество объектов в ваших выборках , FPR , Power, Effect size) . Данный показатель используют как и во время дизайна эксперимента для определения его сроков, так и для финального анализа. В этом посте сконцентрируемся на 1ом случае.

Ошибки которые я иногда слышу и читаю от коллег:

1. MDE = Lift.

MDE - грубо говоря это нормализованный при помощи дисперсии лифт, то есть если вы видите где то в системе АБ тестирования MDE , знайте что это не минимальный лифт которые вы можете объяснить , а минимальный лифт который был грубо говоря нормализован на дисперсию разницы статистик двух ваших выборок.

2. MDE всегда считается одной формулой.

Нет, это не так. Для каждого параметрического статистического теста своя формула расчёта MDE. А для не параметрических тестов вообще формул нет, тут нужно использовать симуляции Монтекарло.

Как определять Lift для MDE ?

Сразу скажу что я сторонник обсуждать Lift с продактами.

Со своей стороны я выделяю три подхода (их можно миксовать, они не взаимоисключающие):

1. Исторический. Если у вас были эксперименты с похожими изменениями в прошлом, то вы можете посмотреть какое изменение вы получили ранее и взять какой-то % от ранее полученного изменения. Я бы в идеальном мире экспертно взял 50% , но тут всё зависит от ваших вводных по размерам выборки и прочего.

2. Экономический. Выпуск и поддержка вашей фичи обойдётся вам в дальнейшем в N денег. Исходя из этого можно посчитать минимальный Lift который окупит всё ваше предприятие.

3. Хронологический. (я его сам так назвал 😂, ибо нигде почему то не видел что бы о нём писали)
В данном подходе мы отталкиваемся от времени которое понадобится на проведение эксперимента при определённом лифте. То есть , мы знаем что для лифта в 2 процентных пункта нам нужно пол года держать эксперимент, а для 7 п.п. - месяц. То есть вы оперируете двумя вводными , сам лифт (деньги) и время которое вы готовы тестировать изменение.

Если есть ещё какие либо способы которые вы знаете, пишите в комментах буду рад взять на вооружение. 🙏

И как обычно ставьте реакции что бы я понимал, что инфа в посте полезна для вас. На текущий момент для меня это главная метрика для выбора направления контента для канала 😁

Сорян, угораю весь день над этим сегодня, не могу не запостить

Отвлечёмся немного от образовательных ресурсов. Пост для любителей ChatGPT 🤖

Делюсь с вами ссылкой на бота CRO Professor . Это бот построенный на базе ChatGPT , но обученный на Research Papers по АБ тестированию, я немного с ним поигрался , ерунду вроде не несёт.

Из плюсов, каждый свой ответ он подкрепляет ссылками на Research Paper из которого он брал информацию, то есть становится понятнее ,что конкретно можно почитать по вашему вопросу, если хотите узнать больше инфы чем даёт бот.

Из минусов, он не сохраняет вкладки предыдущих чатов и думает дольше чем оригинал.

Моё мнение : можно поиграться, возможно обратиться с каким то проблемным вопросом, но я бы пару раз проверил бы сначала ответы этого бота в реальных Research papers которые он рекомендует.

В общем если решите поюзать, то буду благодарен если отпишитесь в комментах о своём опыте, особенно если он облажается 😁

Если вы хотите быть в курсе последних нововведений и трендов в сфере экспериментов, то стоит читать не только статьи на Medium, но и начать погружаться в чтение Research papers. Делюсь с вами Google sheets в котором Ronny Kohavi (Ex. VP Micosoft, Airbnb, Amazon) собирает самые цитируемые статьи по экспериментам и обновляет список раз в пару месяцев. Мне кажется что такой период это ок, всё таки статьи по экспериментам не так часто выходят как по нейронкам. В общем надеюсь вам это будет полезно.

И напоминаю ставить реакции если вам нравится контент, таким образом понимаю что вам пост показался полезным.

Ссылка на файл