#mlops #beeline #k8s #mlflow #argoworkflows #greatexpectations #cookiecutter #hadoop #spark
https://www.youtube.com/watch?v=iE0zA8hDbHY
https://www.youtube.com/watch?v=iE0zA8hDbHY
YouTube
Николай Безносов - MLOps в билайн: как катить машинное обучение в production без ML-инженеров
В докладе обсудим:
- Как были устроены наши MLOps процессы и инфраструктура, когда команда была небольшой
- Какие при этом были проблемы
- Что мы поменяли, чтобы сделать процесс вывода ML решений в production гибче и эффективнее
- Как мы адаптировали MLFlow…
- Как были устроены наши MLOps процессы и инфраструктура, когда команда была небольшой
- Какие при этом были проблемы
- Что мы поменяли, чтобы сделать процесс вывода ML решений в production гибче и эффективнее
- Как мы адаптировали MLFlow…
#mlops #monitoring #drift #evidently #greatexpectations
Мониторить нужно:
1) распределение входных признаков
2) распределение предсказаний
3) невязку моделей
4) неуверенность моделей (trust score; conformal?)
5) прокси-метрики, если метки созревают медленно
Держать теневые (shadow) модели.
Записывать боевые предикты.
Interleaving deploy of ML models instead of full A/B.
Устаревание модели можно тоже моделировать.
https://www.youtube.com/watch?v=rD2Ydyr3Sdc
Мониторить нужно:
1) распределение входных признаков
2) распределение предсказаний
3) невязку моделей
4) неуверенность моделей (trust score; conformal?)
5) прокси-метрики, если метки созревают медленно
Держать теневые (shadow) модели.
Записывать боевые предикты.
Interleaving deploy of ML models instead of full A/B.
Устаревание модели можно тоже моделировать.
https://www.youtube.com/watch?v=rD2Ydyr3Sdc
YouTube
Устойчивость ML-моделей. Датазавтрак в Екатеринбурге
Устойчивость ML-моделей Как часто дообучать модель и как делать это правильно. О том, что модели нужно не только делать, но и поддерживать + пара советов на этом пути. Слайды тут https://kolodezev.ru/ekaterinburg2023.html