#mlops #monitoring #drift #evidently #greatexpectations
Мониторить нужно:
1) распределение входных признаков
2) распределение предсказаний
3) невязку моделей
4) неуверенность моделей (trust score; conformal?)
5) прокси-метрики, если метки созревают медленно
Держать теневые (shadow) модели.
Записывать боевые предикты.
Interleaving deploy of ML models instead of full A/B.
Устаревание модели можно тоже моделировать.
https://www.youtube.com/watch?v=rD2Ydyr3Sdc
Мониторить нужно:
1) распределение входных признаков
2) распределение предсказаний
3) невязку моделей
4) неуверенность моделей (trust score; conformal?)
5) прокси-метрики, если метки созревают медленно
Держать теневые (shadow) модели.
Записывать боевые предикты.
Interleaving deploy of ML models instead of full A/B.
Устаревание модели можно тоже моделировать.
https://www.youtube.com/watch?v=rD2Ydyr3Sdc
YouTube
Устойчивость ML-моделей. Датазавтрак в Екатеринбурге
Устойчивость ML-моделей Как часто дообучать модель и как делать это правильно. О том, что модели нужно не только делать, но и поддерживать + пара советов на этом пути. Слайды тут https://kolodezev.ru/ekaterinburg2023.html
#drift #jsd #monitoring #mlops
https://towardsdatascience.com/how-to-understand-and-use-jensen-shannon-divergence-b10e11b03fd6
https://towardsdatascience.com/how-to-understand-and-use-jensen-shannon-divergence-b10e11b03fd6
Medium
How to Understand and Use the Jensen-Shannon Divergence
A primer on the math, logic, and pragmatic application of JS Divergence — including how it is best used in drift monitoring