Как мы учим аналитиков ML
На связи Маша Новикова, старший продуктовый аналитик. На видео выше ↑ я ввожу вас в курс дела, а пока передаю микрофон коллеге: сегодня в коммуналке гостит проджект ↓
«Всем привет! Я Аня Иванова, проджект-менеджер. И да, я понимаю, что это канал про аналитику, но сегодня хочу рассказать, как мы учим аналитиков Авито машинному обучению.
История начинается в 2019 году с создания Академии Аналитиков Авито, о ней рассказали в этом посте. Именно там появился курс по ML.
Перед тем как запускать курс на студентов, мы обкатали программу на наших аналитиках. Получилось так хорошо, что некоторые из них даже перешли в DS-команду 🤭
Дальше всплыла проблема: до конца курса доходили единицы. У студентов проходимость была выше, а вот из наших 50 аналитиков, записавшихся на поток, финальный экзамен сдавали не больше 5.
Как мы улучшали курс. В 2022 году мы решили адаптировать студенческий курс под задачи аналитиков.
Для этого:
👉 Собрали список кейсов, где аналитики реально применяют ML
👉 Сопоставили их с программой курса
👉 Выкинули избыточный блок про нейросети
👉 Добавили модули про метрики качества моделей и прогнозирование (временные ряды)
💡 Результаты сразу улучшились:
— В 2023 году курс до конца прошли 9 аналитиков
— В 2024 году уже 12
Как зародился курс «Прикладной ML». В конце 2023 года инициативная группа аналитиков решила пойти дальше и создать курс «Прикладной ML».
Его цели:
👉 Расширить кругозор аналитиков в применении ML.
👉 Дать прикладные навыки и фреймворки для анализа данных, поиска паттернов, инсайтов и построения аналитических продуктов.
Но это уже совсем другая история 😄 В следующей серии расскажем, как составить программу нового образовательного курса, stay tuned…»
А вы в тренде и применяете хайповый ML в работе? Делитесь своим опытом в комментариях!
#Новик
На связи Маша Новикова, старший продуктовый аналитик. На видео выше ↑ я ввожу вас в курс дела, а пока передаю микрофон коллеге: сегодня в коммуналке гостит проджект ↓
«Всем привет! Я Аня Иванова, проджект-менеджер. И да, я понимаю, что это канал про аналитику, но сегодня хочу рассказать, как мы учим аналитиков Авито машинному обучению.
История начинается в 2019 году с создания Академии Аналитиков Авито, о ней рассказали в этом посте. Именно там появился курс по ML.
Перед тем как запускать курс на студентов, мы обкатали программу на наших аналитиках. Получилось так хорошо, что некоторые из них даже перешли в DS-команду 🤭
Дальше всплыла проблема: до конца курса доходили единицы. У студентов проходимость была выше, а вот из наших 50 аналитиков, записавшихся на поток, финальный экзамен сдавали не больше 5.
Как мы улучшали курс. В 2022 году мы решили адаптировать студенческий курс под задачи аналитиков.
Для этого:
👉 Собрали список кейсов, где аналитики реально применяют ML
👉 Сопоставили их с программой курса
👉 Выкинули избыточный блок про нейросети
👉 Добавили модули про метрики качества моделей и прогнозирование (временные ряды)
💡 Результаты сразу улучшились:
— В 2023 году курс до конца прошли 9 аналитиков
— В 2024 году уже 12
Как зародился курс «Прикладной ML». В конце 2023 года инициативная группа аналитиков решила пойти дальше и создать курс «Прикладной ML».
Его цели:
👉 Расширить кругозор аналитиков в применении ML.
👉 Дать прикладные навыки и фреймворки для анализа данных, поиска паттернов, инсайтов и построения аналитических продуктов.
Но это уже совсем другая история 😄 В следующей серии расскажем, как составить программу нового образовательного курса, stay tuned…»
А вы в тренде и применяете хайповый ML в работе? Делитесь своим опытом в комментариях!
#Новик
❤43🔥26🤓7👍1
Привет! Меня зовут Никита Тугушев, я аналитик в Товарах. Как и многие, я прокачивал навыки интуиции во время шоу «Интуиция», но сегодня хочу показать пример, почему так делать не надо и ещё раз доказать полезность аналитики в бизнесе.
У нас в компании есть продукт — Авито Выкуп. Работает он так: вы выкладываете объявление о продаже, например, телефона на Авито, а наши партнёры отправляют приглашения на выкуп с суммой, которую готовы предложить. Само предложение пользователь видит при подаче объявления или на его карточке.
Казалось бы, отличный продукт — деньги за товар можно получить сразу и без всяких утомительных вопросов. Но мы хотели улучшить процессы и сформулировали «гениальную» гипотезу:
🧠 «А что, если спрятать цену и тем самым не отпугивать людей конкретной цифрой?». На первый взгляд всё выглядит логично: пользователи не видят «слишком низкую» стоимость, не разочаровываются заранее и, казалось бы, охотнее соглашаются на выкуп.
☹️ Но после A/Б-теста, мы увидели противоположный результат: в группе пользователей, где мы убрали цену, метрики пошли вниз. Отсюда сформулировали вывод: даже самая убедительная «интуитивная» гипотеза может разбиться о реальное поведение аудитории.
Напутственные слова:
📌 Не недооценивайте тесты. Ничто не заменит проверку гипотезы на реальных данных. Чем надёжнее эксперименты, тем меньше шансов, что вы примете неверное решение.
📌 Сосредотачивайтесь на бизнес-ценности. Какой смысл в «красивой» идее, если она не приносит пользы продукту и пользователям? Оценивайте гипотезы через призму потенциальной выгоды.
📌 Берите ответственность за рост метрик. Именно аналитик ищет и формирует гипотезы, корректно ставит эксперименты, а потом чётко доносит результаты до команды. Без этого качественный рост продукта невозможен.
Пусть интуиция служит лишь стартовым импульсом, а финальное решение останется за тестами и фактами. В конце концов, цель не в том, чтобы «казалось правильным», а в том, чтобы делать продукт лучше.
🐳 — Катим с А/Б
🌝 — Я так чувствую
#НикиТушев
У нас в компании есть продукт — Авито Выкуп. Работает он так: вы выкладываете объявление о продаже, например, телефона на Авито, а наши партнёры отправляют приглашения на выкуп с суммой, которую готовы предложить. Само предложение пользователь видит при подаче объявления или на его карточке.
Казалось бы, отличный продукт — деньги за товар можно получить сразу и без всяких утомительных вопросов. Но мы хотели улучшить процессы и сформулировали «гениальную» гипотезу:
🧠 «А что, если спрятать цену и тем самым не отпугивать людей конкретной цифрой?». На первый взгляд всё выглядит логично: пользователи не видят «слишком низкую» стоимость, не разочаровываются заранее и, казалось бы, охотнее соглашаются на выкуп.
☹️ Но после A/Б-теста, мы увидели противоположный результат: в группе пользователей, где мы убрали цену, метрики пошли вниз. Отсюда сформулировали вывод: даже самая убедительная «интуитивная» гипотеза может разбиться о реальное поведение аудитории.
Напутственные слова:
📌 Не недооценивайте тесты. Ничто не заменит проверку гипотезы на реальных данных. Чем надёжнее эксперименты, тем меньше шансов, что вы примете неверное решение.
📌 Сосредотачивайтесь на бизнес-ценности. Какой смысл в «красивой» идее, если она не приносит пользы продукту и пользователям? Оценивайте гипотезы через призму потенциальной выгоды.
📌 Берите ответственность за рост метрик. Именно аналитик ищет и формирует гипотезы, корректно ставит эксперименты, а потом чётко доносит результаты до команды. Без этого качественный рост продукта невозможен.
Пусть интуиция служит лишь стартовым импульсом, а финальное решение останется за тестами и фактами. В конце концов, цель не в том, чтобы «казалось правильным», а в том, чтобы делать продукт лучше.
🐳 — Катим с А/Б
🌝 — Я так чувствую
#НикиТушев
🐳65👍11🌚11🔥6❤🔥1❤1👎1🍓1💋1
Привет! Я Лада, аналитик в Рейтингах и Отзывах. Продолжу рассказ Юли Голубевой о том, как избавиться от клопов эдхоков.
В своем посте Юля сказала, что полностью избавиться от эдхоков невозможно, и она права! Но хорошая новость в том, что ими можно управлять.
💡 Кстати, если эдхоки возникают редко, они даже полезны! Это способ переключиться с больших ресёрчей на что-то более понятное и простое, и добавить разнообразия в рабочий процесс.
Но когда их становится слишком много и на другие задачи не остаётся времени, милые задачки превращаются во вредителей. Тогда их уже нужно выводить…
Три простых совета:
1. Купите дихлофос.
2. Выбросьте диван.
…
0️⃣ Ладно, если серьёзно - начать, конечно, нужно с анализа задач и их автоматизации.
🤔 Но что делать, если дашборды есть, алерты работают, а вопросы никак не уменьшаются?
1️⃣ Социализируйте свои наработки. Готовые инструменты не спасут вас от бесконечных вопросов, если никто о них не знает, поэтому:
✔️ Рассказывайте о новых метриках и отчётах на командных встречах
✔️ Кидайте ссылки в общие каналы
✔️ Сделайте и закрепите гайд «куда смотреть»
💅 А ещё дашборд должен быть понятным и красивым. Как сделать его таким, чтобы не возникло 100500 новых вопросов, читайте в посте Маши Аничковой.
2️⃣ Разберитесь, а точно ли это ad-hoc? Иногда кажется, что выполняешь набор разрозненных задач, но потом оказывается, что это части одного большого проекта. В такие моменты полезно задать себе вопрос: «А зачем я вообще это делаю?».
Физически эдхоки останутся, но морально будет легче, потому что появится цельное понимание.
3️⃣ Ну и главное: научитесь говорить «нет» бессмысленным задачам. Если кто-то просит «сделать аналитику на всякий случай» — подышите и отвечайте: «а если найду?».
А какие дихлофосы используете вы, чтобы вывести эдхоки?
#Лада
В своем посте Юля сказала, что полностью избавиться от эдхоков невозможно, и она права! Но хорошая новость в том, что ими можно управлять.
💡 Кстати, если эдхоки возникают редко, они даже полезны! Это способ переключиться с больших ресёрчей на что-то более понятное и простое, и добавить разнообразия в рабочий процесс.
Но когда их становится слишком много и на другие задачи не остаётся времени, милые задачки превращаются во вредителей. Тогда их уже нужно выводить…
Три простых совета:
1. Купите дихлофос.
2. Выбросьте диван.
…
🤔 Но что делать, если дашборды есть, алерты работают, а вопросы никак не уменьшаются?
✔️ Рассказывайте о новых метриках и отчётах на командных встречах
✔️ Кидайте ссылки в общие каналы
✔️ Сделайте и закрепите гайд «куда смотреть»
💅 А ещё дашборд должен быть понятным и красивым. Как сделать его таким, чтобы не возникло 100500 новых вопросов, читайте в посте Маши Аничковой.
Физически эдхоки останутся, но морально будет легче, потому что появится цельное понимание.
А какие дихлофосы используете вы, чтобы вывести эдхоки?
#Лада
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥34❤10👍4✍3
Скучно, но важно. Почему рутина — неизбежная часть работы
Привет, я Настя, старший аналитик в Авито Недвижимости.
В посте расскажу, как прошла все этапы принятия того, что иногда всё идёт не по плану и вместо интересного исследования приходится заниматься монотонными задачами.
😀 Как-то раз нашей продуктовой команде «в наследство» достался проект брендспейсов для крупных застройщиков, который в том числе предполагает отдельный лендинг внутри Авито.
У проекта был огромный денежный потенциал, хотя он уже приносил немалую долю выручки. У меня, как у аналитика, сразу зачесались руки и появилось множество идей для исследований.
🙂 Я расписала план, построила роадмап, выписала методы и технологии, которые буду использовать для реализации. В общем, была очень воодушевлена.
🥲 Но, как вы понимаете, всё пошло не по плану. Про мои этапы принятия неизбежного читайте в карточках и делитесь своими историями подобных ситуаций в комментариях!
#НастяЗв
Привет, я Настя, старший аналитик в Авито Недвижимости.
В посте расскажу, как прошла все этапы принятия того, что иногда всё идёт не по плану и вместо интересного исследования приходится заниматься монотонными задачами.
😀 Как-то раз нашей продуктовой команде «в наследство» достался проект брендспейсов для крупных застройщиков, который в том числе предполагает отдельный лендинг внутри Авито.
У проекта был огромный денежный потенциал, хотя он уже приносил немалую долю выручки. У меня, как у аналитика, сразу зачесались руки и появилось множество идей для исследований.
🙂 Я расписала план, построила роадмап, выписала методы и технологии, которые буду использовать для реализации. В общем, была очень воодушевлена.
🥲 Но, как вы понимаете, всё пошло не по плану. Про мои этапы принятия неизбежного читайте в карточках и делитесь своими историями подобных ситуаций в комментариях!
#НастяЗв
🔥48❤15🥰7👍2🤩2😴1
Матрица компетенций: плюсы, минусы, подводные камни
Привет, на связи Артём Минаков!🫰
Недавно в Авито прошёл процесс Performance Review. В рамках него мы описываем результаты работы и собираем обратную связь, а потом, по результатам ревью и калибровок, руководители принимают решение о карьерном росте специалистов.
Каждый сотрудник получает развёрнутый фидбэк от руководителя и смежных функций.
При написании self-review все аналитики используют матрицу компетенций, о которой я сегодня и предлагаю поговорить.
Что это за матрица и с чем её едят?😋
Определитель матрицы равен… Матрица компетенций — это документ с описанием ожиданий от сотрудников на определённом грейде внутри функции.
Компании вводят матрицы компетенций, чтобы уйти от системы, где решение о росте сотрудников принимается руководителем на основании своих представлений.
→ Матрица Авито на GitHub
Я работал в системах с матрицей и без неё, и вот какие плюсы и минусы такого подхода заметил:
Преимущества🙂
1. Прозрачность требований. Все аналитики знают ожидания от них на текущем уровне и понимают требования для роста на следующий. За это однозначный лайк.
2. Стремление к справедливости. С едиными критериями уменьшается вероятность случая, когда Senior в команде А == Middle в команде Б.
3. Эффективный инструмент мотивации. Допустим, ваши разработчики хотят писать код, но не хотят делиться результатами своей работы и развивать PR-направление. Добавление пункта про необходимость обмена знаниями быстро решит эту проблему.
Недостатки👎
1. Переобучение под критерии. Наличие формальных критериев повышения приводит к ситуациям, когда закрытие компетенций может быть важнее бизнес-результата.
Считаю, что это отчасти способствует появлению сложных и долгих решений там, где в них на самом деле нет необходимости.
2. Края распределения. Уверен, что ожидания в матрице должны быть конкретными, иначе она будет бесполезной. Конкретизируя ожидания, мы рискуем не учесть что-то значимое и помешать развитию нового бизнес-юнита.
Нетривиальная задача — построить систему, которая бы учитывала и калибровала аналитиков, работающих на разных стадиях развития продукта. Кто-то подключается к новому проекту на этапе идеи и расчёта потенциала, а кто-то ищет в зрелом продукте аплифты в доли процентов
3. Влияние внешних факторов. Замечал, что внешние факторы по-прежнему влияют на оценку сотрудника. Например: визабилити команды, идеи продакта или ораторское искусство руководителя.
Резюмируя — даже у матрицы компетенций есть недостатки, но это лучшая система из существующих. На мой взгляд, главный секрет хорошей матрицы — понимание, что система должна быть динамичной, поэтому наша матрица обновляется несколько раз в год.
А что думаете вы?
🐳 — матрица компетенций топ
🌚 — от матрицы больше проблем, чем пользы
✍️ — пишу своё мнение в комментариях
#ТёмаМинаков
Привет, на связи Артём Минаков!
Недавно в Авито прошёл процесс Performance Review. В рамках него мы описываем результаты работы и собираем обратную связь, а потом, по результатам ревью и калибровок, руководители принимают решение о карьерном росте специалистов.
Каждый сотрудник получает развёрнутый фидбэк от руководителя и смежных функций.
При написании self-review все аналитики используют матрицу компетенций, о которой я сегодня и предлагаю поговорить.
Что это за матрица и с чем её едят?
Компании вводят матрицы компетенций, чтобы уйти от системы, где решение о росте сотрудников принимается руководителем на основании своих представлений.
→ Матрица Авито на GitHub
Я работал в системах с матрицей и без неё, и вот какие плюсы и минусы такого подхода заметил:
Преимущества
1. Прозрачность требований. Все аналитики знают ожидания от них на текущем уровне и понимают требования для роста на следующий. За это однозначный лайк.
2. Стремление к справедливости. С едиными критериями уменьшается вероятность случая, когда Senior в команде А == Middle в команде Б.
3. Эффективный инструмент мотивации. Допустим, ваши разработчики хотят писать код, но не хотят делиться результатами своей работы и развивать PR-направление. Добавление пункта про необходимость обмена знаниями быстро решит эту проблему.
Недостатки
1. Переобучение под критерии. Наличие формальных критериев повышения приводит к ситуациям, когда закрытие компетенций может быть важнее бизнес-результата.
Считаю, что это отчасти способствует появлению сложных и долгих решений там, где в них на самом деле нет необходимости.
2. Края распределения. Уверен, что ожидания в матрице должны быть конкретными, иначе она будет бесполезной. Конкретизируя ожидания, мы рискуем не учесть что-то значимое и помешать развитию нового бизнес-юнита.
Нетривиальная задача — построить систему, которая бы учитывала и калибровала аналитиков, работающих на разных стадиях развития продукта. Кто-то подключается к новому проекту на этапе идеи и расчёта потенциала, а кто-то ищет в зрелом продукте аплифты в доли процентов
3. Влияние внешних факторов. Замечал, что внешние факторы по-прежнему влияют на оценку сотрудника. Например: визабилити команды, идеи продакта или ораторское искусство руководителя.
Резюмируя — даже у матрицы компетенций есть недостатки, но это лучшая система из существующих. На мой взгляд, главный секрет хорошей матрицы — понимание, что система должна быть динамичной, поэтому наша матрица обновляется несколько раз в год.
А что думаете вы?
🐳 — матрица компетенций топ
🌚 — от матрицы больше проблем, чем пользы
✍️ — пишу своё мнение в комментариях
#ТёмаМинаков
Please open Telegram to view this post
VIEW IN TELEGRAM
🐳54👍10❤7🌚4
Всем привет! Я Маша Новикова, старший аналитик в команде опыта профессиональных продавцов и по совместительству лидер курса прикладного ML для аналитиков. Предысторию о нём можно прочесть в этом посте.
Однажды на кофе-брейке у меня с коллегой состоялся такой разговор:
С тех пор прошло полтора года, мы успели сделать программу из 11 модулей, и уже выпустили 2.
Программа — самый сложный и важный этап в работе с курсом. Именно на ней строится дальнейшая работа и поиск ресурсов для курса. Приоткроем завесу тайны и покажем лайт-версию нашей программы — в документе подробно описаны 2 модуля из 11:
Смотреть →
Хочу поделиться опытом и дать пару советов о том, как составлять программу, если вдруг вы тоже решите запускать курс с нуля 😀
Записались бы к нам на курс?
🤓 — Да, я люблю учиться
😈— Нее, я все знаю
#Новик
Однажды на кофе-брейке у меня с коллегой состоялся такой разговор:
— Еще домашку по ML курсу делать, алгоритмы самому писать…
— Уже забросила его, не вижу способа в работе применить.
— Согласен, вот был бы курс для на аналитиков с готовыми фреймворками, библиотеками и упором на интерпретацию…
*молча смотрят друг на друга*
— А может, сами сделаем такой курс?
С тех пор прошло полтора года, мы успели сделать программу из 11 модулей, и уже выпустили 2.
Программа — самый сложный и важный этап в работе с курсом. Именно на ней строится дальнейшая работа и поиск ресурсов для курса. Приоткроем завесу тайны и покажем лайт-версию нашей программы — в документе подробно описаны 2 модуля из 11:
Смотреть →
Хочу поделиться опытом и дать пару советов о том, как составлять программу, если вдруг вы тоже решите запускать курс с нуля 😀
Записались бы к нам на курс?
🤓 — Да, я люблю учиться
😈— Нее, я все знаю
#Новик
🤓63❤21🔥13👏3😈3👍2👎1💯1
Подборка фильмов для аналитиков
Привет! Я Юля Голубева, senior аналитик в монетизации.
В свободное время я люблю смотреть кино — что может быть уютнее, чем вечером устроиться на диване, взять что-то вкусненькое и включить фильм или сериал 😌
Ловите подборку классных кинолент на вечер, которые могут особенно зайти аналитикам. Надеюсь, вы найдёте что-то интересное для себя 🎞
#ЮляГол
Привет! Я Юля Голубева, senior аналитик в монетизации.
В свободное время я люблю смотреть кино — что может быть уютнее, чем вечером устроиться на диване, взять что-то вкусненькое и включить фильм или сериал 😌
Ловите подборку классных кинолент на вечер, которые могут особенно зайти аналитикам. Надеюсь, вы найдёте что-то интересное для себя 🎞
#ЮляГол
❤69🔥25🥴3😍3🐳1