❓Когда внедрять ML модели в продукте или бизнесе?

⚠️ Самые распространенные ответы такие:
1. Когда это экономически выгодно
2. Для масштабирования
3. Для оптимизации

⁉️ Но все ли так просто? Ответ - Нет.

До начала разработки ML модели нельзя дать ответ на следующие вопросы:

Какой экономический эффект будет получен от внедрения?
Будет ли качество ML модели достаточное для масштабирования бизнеса?
Окупилось ли внедрение ML при оптимизации?

Менеджеры всегда пытаются дать ответ на эти вопросы еще до внедрения любой фичи или технологии. В случае с ML любой такой ответ будет неверен.

❔Как же тогда быть?

Ответ - подойти к решению задачи итерациями. Разберем на примере оптимизации:
1. Дайте аналитику придумать правила, для оптимизации текущих процессов. Оцените эффективность решения.
2. Если предыдущий пункт был успешен, но недостаточно - дайте аналитику заняться моделированием. Возможно он даже прибегнет к ML, пусть даже и с ошибками. Эффект от такого решения будет равен (Эффект модели аналитика - Эффект правил).
3. Если решение из пункта 2 работает, но все еще виден достаточный потенциал роста, то пришло время нанимать DS-а для моделирования хорошего ML решения. Эффект от внедрения этого решения оцените вычитая эффект от решения из 2 пункта.

✅ Резюмирую: Если вам показалось, что нужно внедрять ML, то подойдите к этому итеративно. Так вы сможете получить быстрый результат и дать адекватную оценку необходимости дальнейшей разработки.

Что значит быть крутым аналитиком?

Чтобы ответить на этот вопрос нужно дать ответ на 3 вопроса: кто такой аналитик, кто его оценивает и как?

1. Кто такой аналитик:
Специалист по сбору данных, их обработке и построению выводов по ним с помощью математического аппарата. Главные инструменты аналитика: SQL, python, математическая статистика и здравый смысл.

2. Любого специалиста оценивают работодатель или рынок.

3. Теперь можно перейти к ответу на вопрос:
3.1 Умный работодатель оценивает любого специалиста по степени того, как он контрибьютит в общий успех компании / команды. Поэтому чтобы быть крутым аналитиком, надо быть решалой, который умеет с помощью данных вносить импакт и показывать его.
3.2 Рынок работает так: оценивает уровень владения Хардами (SQL, python, матстат, статистика, навык решения кейса) и софтами (как не старайтесь, работа в команде и умение выстраивать коммуникацию важны и с грейдом становятся более критичными).

Делюсь системой грейдов Авито, которая включает в себя и первое и второе.

Как расти и развиваться?
Делюсь наблюдениями из своей карьеры в DS и DA.

a. Junior -> Middle

Рост из джуна довольно прост.
Задача: из несамостоятельного и непонимающего жизнь не самого полезного сотрудника превратиться в самостоятельного приносящего пользу специалиста.
Решение: погрузиться в контекст бизнеса и процессов, послушать лида, поспрашивать других DA\DS, разобраться с данными, начать что-то решать.

b. Middle -> Senior+

Рост из миддла сложнее. Нужно стать настоящим центром компетенций, который умеет не только бустинг запустить или аб обсчитать, но и отвечает за значимое направление в команде. То есть пора перестать быть калькулятором и становится решалой, а значит качать софты.

А что надо делать?
1. Научиться говорить
Забыли: лол, кек, чебурек. Вспоминаем: спасибо, пожалуйста, расскажи, покажи.
2. Научиться спрашивать
Спрашивать придется людей с разным бэкграундом и на разные темы. Научитесь это делать и перед вами откроется понимание происходящего вокруг.
3. Научиться предлагать
В коммерции очень много задач, но решения рождаются не часто. Поэтому начните предлагать решения, это сразу выделит вас.
4. Брать на себя ответственность
Если вы хотите расти, то предлагать решения недостаточно. Нужно делать и доказывать все самому
5. Доводить дело до конца

Как расти дальше?
Чтобы расти в тимлида нужно научиться думать на языке бизнеса, иметь понимание как технологиями приносить пользу и быть эффективным менеджером.
Можно расти и не в менеджера, но так как я делюсь своими наблюдениями, а не предположениями, то этого касаться не будем.

Напоминаю: Всё выше сказанное бесполезно, если по хардам вы не дотягиваете. Но даже если вы качаете харды, не забывайте, что с ними уже можно много чего предлагать: улучшать AB тесты, применять нейронки, autoML и т.д.

Мои мысли и наблюдения очень похожи на мысли Вити Кантора.
Делюсь его выступлением в ODS в дополнение к этому посту:
https://www.youtube.com/watch?v=DPTJVR06cdg&t=1389s&ab_channel=ODSAIGlobal

Эксперименты

Когда речь заходит об экспериментах, то почти всегда это АВ тесты. Когда я начал готовить материалы, их оказалось так много, что я принял решение написать серию постов, посвященных им.

Обещаю постараться обойтись умеренным количеством математики и подойти к этому больше с концептуальной стороны. Также я хочу развеять несколько мифов, благодаря чему, при проведении АВ тестов, вы сможете перестать говорить заскриптованные "нет" или "да", и посмотрите на ситуацию шире. Надеюсь, что из этого получится методичка для менеджеров.

Так как математика является важнейшей составляющей АВ тестов, то я буду оставлять ссылки на доклады, где можно будет послушать или прочитать о том, почему разные подходы работают. Дополнив этими материалами и адоптировав под свой продукт, можно сделать методичку для аналитиков.

Теперь к АВ:
АВ тест используется для честной проверки гипотез, основываясь на статистических методах. Для минимизации возможных ошибок процесс проведения АБ тестов должен быть формализован, структурирован и иметь доказательную базу.

При проведении АВ тестов я выделяю пять этапов.

1. Предварительный анализ
2. Дизайн АВ теста
3. Проведение АВ теста
4. Пост анализ
5. Выводы и принятие решения

Успешное проведение АВ теста определяется тем, на сколько осмысленно вы подошли к каждому из этих пунктов.

Следующий пост будет посвящен 1 и 2 пункту проведения АВ тестов.

В дополнение к этому посту, хочу поделиться с вами ответами Валеры на 20 вопросов про АВ тесты.

https://www.youtube.com/watch?v=IQUt9qTsQ0s&ab_channel=karpov.courses

https://www.youtube.com/watch?v=-GDUvH924V8&ab_channel=karpov.courses

AB тесты. Часть 1

Предварительный анализ в АВ тестах
Перед проведением АВ теста нужно сделать много манипуляций. самая затратная часть - разбработать то, что придется тестировать. Поэтому задача предварительного анализа:

1. Определиться с целью

2. Понять риски

3. Оценить потенциальный эффект

4. Принять решение о необходимости разработки

5. Ответить на вопрос нужно ли проводить АВ тест

Задача аналитика - понять как оценить потенциальный эффект. Это ресерч задача, которая требует понимания бизнеса и навыков дата майнинга. Универсального подхода к решению такого типа задач нет, однако есть понятый первый шаг, с которого нужно начинать - проверить историю экспериментов и исследований на наличие похожих гипотез.

Дизайн АВ теста:
Дизайн эксперимента это самая важная часть в проведении АВ тестов. В отличии от остальных шагов, неверный дизайн эксперимента может привести к ложным выводам, даже если все было впорядке с мат частью. В процессе дизайна АВ теста, я выделяю 8 пунктов:

0. Определить на ком и как тестировать

Зачастую это является самой сложной частью в проведении АВ и зависит от зрелости продукта и сложности гипотезы.
Ярким примером является борьба с сетевым эффектом в социальных сетях:

https://apptractor.ru/test/split-testing/podvodnyie-kamni-a-b-testirovaniya-v-sotsialnyih-setyah.html

и свитчбэк тестирование в такси:

https://habr.com/ru/companies/citymobil/articles/560426/

В таких кейсах самая большая сложность - задизайнить АВ тест, таким образом, чтобы можно было честно сделать вывод о генеральной совокупности.
В случае, когда у вас возникает сложность с "честным" АВ тестированием, нужно компенсировать это консервативным подходом: продумать дополнительные способы валидации заранее, вспомнить про ААВ и ухудшающие АВ тесты. Таким образом, вы сможете перестраховаться и повторно провалидировать гипотезу.

Следующие шаги:
1. Определить сколько групп
2. Определить метрики
3. Определить стат тесты
4. Определить уровень значимости и мощность
5. Определить объем выборки
6. Определить длительность

Шаги с первого по четвертый формализуют проведение АВ теста на языке статистики и позволяют определить объем выборки -> длительность проведения эксперимента. Важно обратить внимание, что с увеличением количества групп и метрик растет объем выборки, а следовательно и длительность эксперимента. Для того, чтобы ошибаться реже, можно управлять уровнем значимости и мощностью теста, что снова ведет к увеличению выборки.
В результате, для качественного проведения эксперимента объем выборки только растет, что ведет к увеличению его длительности. Следовательно нужно переходить к следующему шагу

7. Выбрать способы ускорения АВ тестирования
Для ускорения АВ тестирования я выделяю 3 группы методов.

а. Чистка выбросов
б. Выбор более чувствительной метрики
в. Методы линейной регрессии: стратификация и CUPED

Особое внимание стоит уделить третьей группе, так как эти методы позволяют уменьшить дисперсию и ускорить АВ тест в 3-30 раз, не меняя метрику.

При дизайне АВ теста стоит завести "карточку экспермента" и фиксировать все ключевые детали. Это должен быть понятный и структурированный документ, в котором описано все, начиная от цели, заканчивая результатом.

В качестве главного доп материала прикрепляю видео про АВ тесты в Delivery Club
https://www.youtube.com/watch?v=4_J5pvdG35U&t=205s&ab_channel=ODSAIRu

АВ тесты. Часть 2
В прошлой публикации было все о подготовке к АВ тесту: сформировали гипотезу, прикинули потенциальный эффект, составили дизайн эксперимента, подготовили выборку, определились с длительностью, в случае необходимости определились с методами ускорения эксперимента. Теперь можно переходить к тому, что нужно делать во время проведения АВ теста.

Проведение АВ теста
Аналитиков можно разделить на 2 лагеря: 1 - заранее рассчитали длительность эксперимента и подводят результаты по его окончанию. 2 - держат руку на пульсе и регулярно проверяют его.
В идеальном мире 1 подход имеет право на существование, но в реальности правильный подход - 2. Опытные аналитики сразу укажут на проблему подглядывания. Поэтому начнём развеивать мифы:

Миф 1: нельзя подглядывать
Подглядывать можно и нужно, но надо быть аккуратным в интерпретации увиденного. При сильном прокрасе в красный (т.е. когда мы сильно что-то ухудшили), нужно останавливать эксперимент. В остальных случаях нужно наблюдать за фактическим эффектом и фактическим MDE (минимально детектируемый эффект). Это позволит вам понимать какой эффект вы бы смогли увидеть в моменте, а какой не более чем погрешность.

Миф 2: останавливать эксперимент через заранее запланированный период времени

Фундаментом для этого мифа стало ошибочное представление о том, что мы всегда верно рассчитываем объем выборки для эксперимента. Однако в расчет объема выборки входит MDE (минимальный эффект, который мы рассчитываем увидеть), а этот эффект в свою очередь оценивается с точностью +- километры. Поэтому правильно останавливать эксперимент когда достаточно данных для принятия решения.

Мораль: Наблюдайте за АВ тестом в течении его проведения, но правильно интерпретируйте то, что видите.

Пост анализ
Начнём с развеивания мифа:
Миф 3: пост анализ АВ теста нужен для его интерпретации. На самом деле АВ тест интерпретируется исключительно той гипотезой, которую им проверяли. Нельзя просто поделить пользователей на группы «синих» и «красных», а затем дать ответ, что метрика не выросла, потому что синие вели не так, как надо.
Это попытка найти результат там, где его нет, а также неправильно проинтерпретировать АВ тест.
Зачем тогда нужен постанализ:
1. Для поиска новых гипотез улучшения продукта.
Как я описал выше, АВ тест проверяет только ту гипотезу, под которую его задизайнили. Ресерч влияния АВ теста на разные группы пользователей является источником для новых продуктовых гипотез (не путать с причинами)
2. Для выявления аномалий в поведении метрик
3. Для ускорения АВ теста с помощью метода Постстратификации

Принятие решения
Чтобы принять решение об успешности АВ теста нужно вспомнить какую гипотезу мы проверяли и зачем мы вообще его проводили.

Далее принимаем решение следующим образом:
1. Ничего значимо не изменилось - означает, что общий эффект не больше, чем MDE (в пределах погрешности).

2. Улучшили значимо - это значит, что эффект есть, но нужно убедиться не случаен ли он. Советы аналитикам, как это можно сделать: Улучшились зависимые метрики, нет аномалий в данных, прокрас был несколько дней подряд, альфа сошлась

3. Эффект эксперимента = аплифт


Рекомендую посмотреть доклад с еще большим количеством мифов про АВ от Данилы Ленькова из Авито. Этот доклад по моему мнению является обязательным к просмотру для аналитиков:
https://www.youtube.com/watch?v=IFAaTKVKH1A&list=PL6Wui14DvQPz-s7nng8Sedzj1Q5xLOs69&index=6&ab_channel=%D0%90%D0%BA%D0%B0%D0%B4%D0%B5%D0%BC%D0%B8%D1%8F%D0%AF%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%D0%B0

DataFest 2023

На прошлой неделе закончился 16-ти дневный марафон DataFest 2023. Это ежегодное мероприятие в русскоязычном комьюнити проводимое дата саентистами для дата саентистов. Такие мероприятия важны, т.к. это возможность делиться опытом и развивать нетворкинг.

Увы я не мог присутствовать в хабах, где были очные ивенты, но мне довелось послушать около трети докладов (>40 часов) и позадавать вопросы онлайн. Хочу поделиться с вами своими впечатлениями.

Разнообразие докладов:

Разнообразие индустриальное: еком, финтех, мануфактура, медицина и т д
Разнообразие бизнес доменов: рекомендации товаров, поиск, чат боты, продажи, документооборот, антифрод и т д
Разнообразие технических доменов:
LLM, CV, RL, MLOps, AB и т д

Судя по всему организаторы делали упор именно на то, чтобы объять максимальное количество тем. Думаю они с этим справились - 5/5

Структурность и понятность докладов:
Меня очень порадовало, что все докладчики имели план и не выбивались из тайминга. Однако когда докладов много, ожидать, что все доклады будут понятны не стоит. Невооруженным взглядом была видна разница докладов опытных рассказчиков и новичков, у которых не всегда была понятна постановка проблемы и ее решение. Ставлю 4/5

Отдельное внимание хочу обратить на секцию Reliable ML. Их доклады про ML system design могут быть понятны и полезны не только DS-ам, но и всем, кто с ними работает: аналитикам, менеджерам и др. стейкхолдерам


Актуальность:
Не для кого сегодня не секрет, что ChatGPT и генеративные модели активно меняют мир вокруг нас. Стартапы перестают нанимать людей, а корпорации начинают увольнять, отдавая предпочтения генеративным моделям. Необходимость в дата саентистах и дата аналитиках тоже будет падать. Внедрять модели OpenAI можно без их участия, ровно как и дообучать их под свои задачи.

Увы эта тема в день LLM и NLP была освещена недостаточно. Считаю, что организаторы не подошли к этой теме достаточно серьезно. 3/5

Резюмирую:
Если вы не дата саентист, то смотреть доклады большого смысла нет.
Для дата саентистов одназночно имеет смысл посмотреть доклады близкие к вашей специфике работы.
Онлайн нетворкинг на таких мероприятиях - сложно и больно, но возможно

Ссылка на трансляцию 15-го дня (другие трансляции можно найти на ютуб канале ODS):
https://www.youtube.com/watch?v=oaRIDDBVDuc&ab_channel=ODSAIRu

Контекст

Вася работает в Российской компании ООО "Лучшая IT компания" аналитиком сервиса доставки еды. В один прекрасный день Вася решил уйти работать в международный гейминг и отправил резюме в Blizzard, анализировать маркетинг Диабло 4. Вася крутой, умеет в математику и python лучше всех. Но Васю на интервью не пригласили.

Вася аналитик, Вася стал рассуждать почему:
1. Вася не работал в гейминге,
2. Вася не работал в маркетинге,
3. Вася по годикам опыта в резюме не прошел,
4. Васю нужно релоцировать, а релоцируют только идеальных кадидатов.

Вася начал делать пет проекты и добавил учебный опыт в резюме. Вася стал идеальным кандидатом. Но Васю все равно не пригласили в Blizzard на интервью. Вася ATS систему из-за шрифтов в резюме не прошел.

Вася плохой аналитик. Не будьте Васей, выходите из своего пузырика, изучайте контекст.

📚 Настольные книги аналитика

Вопрос, который мне задал руководитель на интервью. Даже сейчас, когда 90% вопросов можно спросить у ChatGPT и получить вразумительный ответ, книги остаются источником фундаментальных навыков.

1. Принцип пирамиды Минто

Структурность кратно усиливает навык работы с данными. Барбара Минто учит структурности. Можно прочесть в кратком содержании

2. Говори на языке диаграмм

Визуализация - лучший способ донести информацию до слушателя. Аналитик обладающий этим навыком - лучший аналитик в команде. Книга позволит понять, какие картинки действительно информативны и понятны.

3. Любой учебник по матстату

Структурность и визуализация сделают вас хорошим аналитиком, но умение проводить АВ тесты и понимать значимо ли что-то поменялось в продукте вы не сможете. Любой учебник по матстату подойдет для закрытия этого вопроса.

Пока я продолжаю готовить свой нерегулярный контент, хочу поделиться очень важным наблюдением

PS мы все важны, и мы все имеем потенциал

Сотрудник без потенциала

Последние несколько дней я провел на тусовке для CPO и CTO, которую организовывала Авито, за что им большое спасибо.

Там было обсуждение как развивать команду, где прозвучала фраза, неприятно меня кольнувшая: «этот сотрудник достиг своего потолка и вряд ли его пробьет в ближайшие годы». Я тогда подумал, что не хотел бы быть на месте человека, который исчерпал весь свой потенциал годам к 30.

С уважаемыми экспертами мы сошлись на мысли, что потенциал определяется довольно легко: если ли у сотрудника шило в жопе или нет. Это проявляется в любопытстве, вопросах, вовлеченности. И вот тут самая интересная часть: я видел как один и тот же человек в одной компании имел шило в жопе, а потом переходил в другую и терял его. Ему никто это шило не вставлял. Оно вырастало само, если выполнялось одно важное условие.

Это условие - company/employee fit. Как есть product/market fit, когда продукт находит свой рынок и становится на нем успешным, так и существует CEF, когда сотрудник находит свою компанию и становится успешным, наращивает и реализует свой потенциал. То, что сотрудник и компания не подошли друг другу, никак не характеризует ни одну из сторон. Просто не случился мэтч.

У каждого из нас есть свои сильные стороны и области интересов. Если в текущей компании они не проявляются, то значит 100% есть та, где они по-настоящему раскроются. Осталось только ее найти.

Примерно раз в год я делаю чудо.

Всем кто увидел это сообщение прилетит повышение.
Кому-то в плюсах, кому-то в иксах, кому-то в офферах. Джуны станут сеньорами, а самые красивые — синьоритами тимлидами.


Отказ от обязательств:
В отдельных ситуациях эффект может незначительно отличаться от ожидаемого.

Некоторые параметры могут быть недоступны в некоторых странах.

На продактов и маркетологов может и не распространится. Да и на аналитиков, дата саентистов и дата инженеров бездельников тоже.

Короче, претензии потом не принимаются.

С наступающим!

Истинный нулевой приоритет

0.1 Здоровье ментальное

2023 был для меня самым тяжелым годом: накопленный стресс за 2022, бесконечные планы по релокации, продолжение поиска себя как в личном, так и в карьерном плане. К середине года депрессия берет вверх, что осложняет поиск работы: что скрывать, я и сам бы не взял свою унылую депрессивную рожу на работу.

В 2024 обещаю регулярно посвещать время своей менталочке

0.2 Здоровье физическое

Вторая половина 2023 года была полна задач и отсутствия ворк-лайф баланса. Как следствие, через полгода слег на 2 недели с температурой, кашлем и болью в спине.

Теперь налаживаю сон, питание и занятия спортом.


Как только с истинным нулевым приоритетом все стало отлично, можно заниматься и псевдо-нулевыми приоритетами, например вести телеграмм канал 😉

Информативность и простота.

Мы каждый день тем или иным образом визуализируем данные. Если картинка не информативна, мы продолжаем ее копать до тех пор, пока не получим ответы на интересующие вопросы.

Чтобы регулярно не тратить время на сбор данных и их обработку, аналитики собирают дашборды, в которых можно найти ответы нажатием на несколько кнопок. Бывает так, что дашборд нагружен функционалом и становится тяжелым для восприятия.

В такой ситуации аналитик отстаивает свой самолет, а менеджеры просят вернуть простой велосипед. У обеих сторон есть сильные аргументы, но правда в том, что истина кроется посередине:

1. Если менеджер не может сложить два числа, непонятно зачем он вообще работает с числами, ведь что не нарисуй, выводы сделает неверно
2. Если аналитик не способен понять менеджера, голова которого занята продуктом, то аналитик явно не понимает продукт.

Софт скиллы помогут разрешить эту ситуацию и найти верное решение: можно договориться, объяснить или научить.

Также стоит не забывать, что добавить любое новое число в дашборд стоит времени, которое можно потратить на вещи куда полезнее. Например, написать пост в телеграмм канале

Запускаю три рубрики

1. Интерпретируем правильно — колонка про метанавыки, софты и как с ними работать. Блог аналитический, поэтому особое внимание буду уделять критическому мышлению. Полезно всем.

2. Разбираюсь вместе с вами — колонка про хардовые темы в аналитике и смежных доменах. Полезно тем, кто пытается работать с принятием решений, основанных на статистике. Буду следовать правилу «хочешь знать тему на отлично — подготовь лекцию».

3. Построение аналитики как системы — колонка про то, как строить в аналитике и направлении даты систему, которая сможет генерить численно измеряемое вэлью. Полезно для менеджеров, аналитиков и других data-специалистов, которые выросли достаточно, чтобы начать думать шире, чем «поставь таску, напишу тебе SQL».

Секрет сильной команды в людях. Но в каких?

Любая команда, независимо от домена, держится на сработавшихся, достаточно сеньорных, инициативных ребятах. Почему именно эти качества важные?

Инициатива: Инициативные сотрудники — это те, кто не ждет указаний сверху, чтобы действовать. Они готовы экспериментировать и предлагать новые решения, двигая команду вперед.

Сеньорность: Сеньорные члены команды обладают знаниями и опытом, которыми они готовы делиться. Это повышает общий уровень компетенций в команде и способствует росту каждого ее члена.

Сработанная команда: Команды, члены которых хорошо знают друг друга и умеют работать вместе, достигают лучших результатов. Взаимопонимание и доверие являются ключами к их эффективности.

Сеньорный и инициативный член в команде может быть один, что делает команду слабой и неэффективной, создает риски в случае его ухода. Сильными же командами будут те, где таких ребят много.

Почему специалистам стоит стремиться к этому: Быть инициативным, обладать глубокими знаниями и умением работать в команде не только повышает вашу ценность для компании и вызывает уважение коллег, но и способствует профессиональному росту. Жизнь становится интереснее, когда вы развиваетесь, принимаете участие в новых проектах и вносите свой вклад в общий успех. Это путь к личному удовлетворению и профессиональному признанию.

#analyticssystem