#preprocessing #cleaning #anomalydetection
Не в первый раз ловлю себя на том, что данные, которые не получается хорошо промоделировать, хочется выкинуть из датасета, и переобучиться. Нормально ли это?
Не в первый раз ловлю себя на том, что данные, которые не получается хорошо промоделировать, хочется выкинуть из датасета, и переобучиться. Нормально ли это?
Anonymous Poll
30%
Да, т.к. часто входные данные зашумлены, а обучение на шуме портит метрики для "нормальной" части
0%
Специально так всегда делаю
10%
Нет! Удаление таких точек прячет факт, что на таргет влияют другие
30%
Специально так никогда не делаю
10%
Никогда об этом не приходилось задумываться
40%
Выбираю метод в зависимости от датасета и доверия к качеству меток
0%
У меня встроенный детектор аномалий и fit_resample
#timeseries #anomalydetection #nabscore #autoencoders
Странноватое сравнение, либо не так что-то я понял. Но я не верю, что детектор ЛИШЬ на текущих точках (пусть и тысячи сенсоров) может отработать на порядок лучше рекуррентного, который располагает ДОПОЛНИТЕЛЬНО окном данных. И непонятно, почему наличие окна должно как-то снижать оперативность детекции. Закрадывается подозрение, что ряд нарубили неперекрывающимися окнами вместо перекрывающихся, и это искусственно уменьшило скорость реакции и, соответственно, nab score.
https://www.youtube.com/watch?v=B6r20LBrvYw
Странноватое сравнение, либо не так что-то я понял. Но я не верю, что детектор ЛИШЬ на текущих точках (пусть и тысячи сенсоров) может отработать на порядок лучше рекуррентного, который располагает ДОПОЛНИТЕЛЬНО окном данных. И непонятно, почему наличие окна должно как-то снижать оперативность детекции. Закрадывается подозрение, что ряд нарубили неперекрывающимися окнами вместо перекрывающихся, и это искусственно уменьшило скорость реакции и, соответственно, nab score.
https://www.youtube.com/watch?v=B6r20LBrvYw
YouTube
Обнаружение аномалий во временных рядах / Павел Филонов (Лаборатория Касперского)
Приглашаем на конференцию Saint HighLoad++ 2025, которая пройдет 23 и 24 июня в Санкт-Петербурге!
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
HighLoad++ 2017
Тезисы:
http://www.highload.ru/2017/abstracts/2938.html…
Программа, подробности и билеты по ссылке: https://highload.ru/spb/2025
________
HighLoad++ 2017
Тезисы:
http://www.highload.ru/2017/abstracts/2938.html…
#outlierdetection #anomalydetection #otus #dbscan #oneclasssvm #isolationforest
понравился отсев аномалий с помощью dbscan
https://www.youtube.com/watch?v=NWOSVklohlI
понравился отсев аномалий с помощью dbscan
https://www.youtube.com/watch?v=NWOSVklohlI
YouTube
Поиск аномалий в данных // Демо-занятие курса «Machine Learning. Professional»
Рассматриваем способы очистки данных от мусора. Учимся настраивать систему для поиска аномалий.
Обсуждаем, что делать, если разметку не завезли, а валидировать хочется. А также изучаем статистические методы, One-class SVM, Isolation Forest, DBSCAN и других…
Обсуждаем, что делать, если разметку не завезли, а валидировать хочется. А также изучаем статистические методы, One-class SVM, Isolation Forest, DBSCAN и других…