Автоматизированная оценка стабильности скоринговых моделей на основе временных рядов метрик

Привет, Хабр! Меня зовут Зотов Глеб, я ML-инженер в команде скоринга в билайне. В статье расскажу о том, как не сойти с ума, мониторя десятки графиков вручную. 

Скоринговая модель может быть блестящей на этапе обучения, показывать отличные значения всех метрик на кросс-валидации и радовать бизнес на первых неделях после деплоя. Но вжух — и через два месяца валидационные метрики поползли вниз, отклонения по PSI зашкаливают, а product owner уже поглядывает в твою сторону с подозрением.

Проблема? Проблема. 

Давайте разберемся, почему так происходит и как можно этого избежать. Читать далее

#time_series_analysis #psi #optimization #automatization #machine_learning #feature_stability #model_stability #data_drift #stability_metrics | @habr_ai