Aspiring Data Science
285 subscribers
360 photos
9 videos
5 files
1.18K links
Заметки экономиста о программировании, прогнозировании и принятии решений, научном методе познания.
Контакт: @fingoldo

I call myself a data scientist because I know just enough math, economics & programming to be dangerous.
Download Telegram
#churn #uplift

Не с первого взгляда, но я узнал логотип этого Flo Health. Эти ребята настолько "sort of" инновационны, что рекламу своего приложения по контролю месячных показывают на ютубе даже мне, мужику. Аплодирую стоя. Ценю настойчивость, через полгода такой рекламы, пожалуй, установлю себе.

Кстати, у подхода we predict churn to minimize %your business metric%->we maximize %your business metric% directly via uplift modelling просматриваются аналогии в трейдинге. Treatment=TradingAction, business metric=SharpeRatio. Single learner model - это по сути подход Эрни Чана (client features+treatment features vs market features+strategy actions).

Идея метода target transformation, котрую человеческим языком автора доклада не смог сформулировать, в том, что после преобразования позитивным аплифт становится для случаев когда мы подействовали и клиент остался, либо не действовали и клиент ушёл, что в принципе звучит логично.

Странно названный метод T-learner - это просто модификация 1го варианта, когда данные расщепляются по значениям treatment и для каждого куска строится отдельная модель. Как я уже рассказывал, эти 2 подхода имеет смысл тестировать вообще всегда, потому что никогда не знаешь заранее, какой сработает лучше в конкретной задаче и для конкретного алгоритма моделирования.

Так автор доклада и не сообщил, какой же из рассмотренных им методов у них в компании сработал лучше и почему, похоже, они тестировали какой-то один и сравнения не делали. Привёл только рост 7-24% ARPU (в зависимости от региона).

На 22:45 автор делится крайне интересной идеей: вместо стандартного избитого А/Б теста с красной и синей кнопками на сайте, и последующего определения одного для всех "цвета-победителя", не лучше ли предсказывать для каждого юзера оптимальный цвет кнопки, пытаясь максимизировать его кратко- и среднесрочные метрики?

Тупой пример: девочки любят красные кнопки, мальчики синие. Девочки составляют 65% аудитории сайта, соответственно, стандартный А/Б тест заключает, что кнопку надо ставить красную для всех. Тем самым мы вроде бы максимизируем полезность, при этом 35% аудитории ходят недовольные, совершают меньше покупок, итд.

https://www.youtube.com/watch?v=A6a1MbH4fFk
#propensity #churn

Удивил тщательный подход Wrike к прогнозированию оттока клиентов. Для одного из ключевых аккаунтов 6-месячная модель оттока предсказала, что статус клиента не изменится, НО по сравнению с прошлой моделью поменялись SHAP-вклады предикторов в эту оценку, и Wrike уже на этом основании сделала выводы и предприняла упреждающие действия.

Также впервые вижу 2 прохода HPT: до и после отбора признаков. Это явно их находка. Штраф за дисперсию моделей на фолдах из той же категории - я только недавно у себя его реализовал, хотя много об этом думал ) А они тоже реализовали. Приятно встретить умных людей! )

Вот смотрю и не перестаю удивляться. Любую работу можно делать абы как, а можно делать хорошо, и команда DS из Wrike тому подтверждение.

https://www.youtube.com/watch?v=BzjweGE3748