#SSL
#noise
#LNL
Contrast to Divide
Статья про то, как использовать self-supervised метод, если у вас много данных, но они все шумные (Learning with noisy labels, LNL)
Обычно в таких случаях пытаются пользоваться допущением, что на нейросеть поначалу будет учить лучше правильные примеры, а на тех, где метка неверна - будет выдавать большую ошибку. Потом же она войдет в memoization phase, где эта разница пропадет.
Потому главная проблема в таком подходе - "поймать момент", когда нейросеть уже выучила правильное, не запомнила кучу мусора.
Авторы показывают, что в общем случае это сделать сложно.
Кроме того они разбирают вариант, когда для LNL используется не архитектура с нуля, а self-superised предобученная на близком домене нейросеть. Первая проблема подхода в том, что не всегда такая сеть / чистый набор данных в принципе есть. Вторая - что он тоже может не работать.
Авторы предлагают использовать предобучение на именно целевом датасете и показывают, что это работает лучше других подходов.
Тема может очень подойти части студентов - у биологов часто данные получены с огромным шумом из-за артефактов эксперимента, неправильной аннотации, врущих пациентов и тд
#noise
#LNL
Contrast to Divide
Статья про то, как использовать self-supervised метод, если у вас много данных, но они все шумные (Learning with noisy labels, LNL)
Обычно в таких случаях пытаются пользоваться допущением, что на нейросеть поначалу будет учить лучше правильные примеры, а на тех, где метка неверна - будет выдавать большую ошибку. Потом же она войдет в memoization phase, где эта разница пропадет.
Потому главная проблема в таком подходе - "поймать момент", когда нейросеть уже выучила правильное, не запомнила кучу мусора.
Авторы показывают, что в общем случае это сделать сложно.
Кроме того они разбирают вариант, когда для LNL используется не архитектура с нуля, а self-superised предобученная на близком домене нейросеть. Первая проблема подхода в том, что не всегда такая сеть / чистый набор данных в принципе есть. Вторая - что он тоже может не работать.
Авторы предлагают использовать предобучение на именно целевом датасете и показывают, что это работает лучше других подходов.
Тема может очень подойти части студентов - у биологов часто данные получены с огромным шумом из-за артефактов эксперимента, неправильной аннотации, врущих пациентов и тд
Тэги доступные в канале на данный момент:
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные
#alphafold2, #astronomy, #audio, #augmentation, #automl, #bayes, #biology, #botany, #captioning, #categorical, #chemistry, #classification, #clip, #cnn, #code, #community, #competition, #compression, #conference, #contrastivelearning, #course, #datasets, #debugging, #demo, #depth, #detection, #diffusion, #dilation, #dimensionality, #distillation, #earthscience, #economics, #explainability, #gan, #generative, #geometric, #gnn, #gpt, #gpu, #graph, #hardware, #holdontoyoirpapers, #image2text, #images, #inference, #joke, #julia, #jupyterlab, #jupyterlite, #labeling, #latex, #lnl, #medicine, #metrics, #mlp, #money, #multimodal, #nas, #news, #nlp, #noise, #novelviews, #optimizer, #outliers, #physics, #presentation, #python, #resnet, #resources, #rl, #rnn, #rocauc, #science, #scientificml, #segmentation, #SSL, #XAI, #separation, #sequences, #signal, #social, #sound, #speech, #styletransfer, #superresolution, #tabular, #text2image, #theory, #torrent, #training, #transformer, #translate, #tutorial, #twominutespapers, #video, #visualization, #waveforms, #гумунитарии, #дьяконов, #книги, #отборочные