R-Drop: Regularized Dropout for Neural Networks

Развивая тему дропаутов - расскажу про ещё один.
В работе представляют простую стратегию регуляризации при дропауте в обучении модели, а именно R-Drop, которая заставляет выходные распределения различных подмоделей, сгенерированных при дропауте, быть согласованными друг с другом. В частности, для каждой обучающей выборки R-Drop минимизирует двунаправленное KL-расхождение между выходными распределениями двух подмоделей, отобранных при дропауте.

Статья
Код

#training

ResNet strikes back: An improved training procedure in timm

Влиятельный ResNet, разработанный He et al., остается золотым стандартом архитектуры в многочисленных научных публикациях (98к цитирований). ResNetы обычно служат в качестве базовой архитектуры с которой сравнивается работа какой-нибудь новой сетки. Тем не менее, с момента появления архитектуры ResNet в 2015 году произошел значительный прогресс в области лучших методов обучения нейронных сетей (например, новые методы оптимизации и аугментации данных).

В этой статье авторы заново оценивают производительность ванильной ResNet-50 при обучении с помощью новой процедуры, которая учитывает достижения за последние 6 лет. И конечно же добиваются лучшей точности.

Статья
Код

#images #training

Fake It Till You Make It

Microsoft демонстрирует, что можно обучать алгоритмы компьютерноего зрения,используя только синтетические данные, при этом, нейронки будут хорошо обобщать и на настоящих людях.

Сообщество уже давно пользуется преимуществами синтеза обучающих данных, но разрыв между реальными и синтетическими данными остается проблемой, особенно там, где это касается человеческих лиц.

Исследователи пытались преодолеть этот разрыв с помощью смешивания данных, адаптации к домену и аверсариального обучения, но увы. Microsoft же показывает, что можно синтезировать данные с минимальным отрывом от реальности, так что модели, обученные на синтетических данных, обобщаются на реальные лица в естественных условиях.

Только подумайте какие крутые возможности это все открывает!

Статья
Сайт проекта

#training #datasets

How Underspecification Presents Challenges for Machine Learning

Модели машинного обучения (ML), при использовании в реальных областях, часто демонстрируют неожиданное поведение. Например, модели компьютерного зрения могут проявлять удивительную чувствительность к нерелевантным характеристикам, а модели обработки естественного языка могут непредсказуемо зависеть от демографических корреляций, не указанных непосредственно в тексте. Некоторые причины этих неудач хорошо известны: например, обучение ML-моделей на плохо обработанных данных. Некоторые - только изучаются.

В статье, авторы из Google, показывают, что предсказание на реальных данных проваливается из-за недоопределения. Идея недоопределения заключается в том, что хотя модели ML тестируются на проверенных данных, этой проверки часто недостаточно, чтобы гарантировать, что модели будут иметь четко определенное поведение, когда они используются в новых условиях.

Блог-пост

#training #inference

WeightWatcher (WW) - это диагностический инструмент с открытым исходным кодом для анализа глубоких нейронных сетей (DNN), не требующий доступа к обучающим или даже тестовым данным. Он может быть использован для:

* анализа предобученых сетей
* контроля за переобучением или перепараметризацией
* прогноза точности тестов для различных моделей, с обучающими данными или без них
* выявления потенциальных проблем при сжатии или точной настройке предварительно обученных моделей

И ещё много чего. Библиотека основана на серьезных исследованиях лаборатории в Беркли. Собираюсь дать этой штуке шанс и посмотреть насколько это все полезно в реальных задачах.

🖥 Код

#training #inference #theory

Multi-label Classification with Partial Annotations using Class-aware Selective Loss

Большие датасеты для классификации с несколькими метками (multi-label classification) аннотированы лишь частично. То есть, для каждой выборки аннотируется только небольшое подмножество меток, и это плохо.

Что можно сделать? Неаннотированные метки можно обрабатывать выборочно в соответствии с распределением классов в датасете в целом и вероятностью конкретной метки для текущего батча.

📎 Статья
🖥 Код

#training #classification

AI4Mars

Мы с вами можем помочь обучить алгоритм искусственного интеллекта распознавать научные особенности на снимках, сделанных марсоходом NASA Perseverance.

ИИ обладает огромным потенциалом для помощи в изучения Вселенной космическими аппаратами. В связи с чем, предлагается размечать снимки на которых есть интересные особенности (например камне, почву и тп).

Проект, получивший название AI4Mars, является продолжением прошлогоднего проекта, в котором использовались снимки, полученные марсоходом NASA Curiosity.

Поразмечать марсианские пейзажи можно тут.

#ScientificML #datasets #training

AugMax: Adversarial Composition of Random Augmentations for Robust Training

Аугментация (дополнение) данных - это простой и эффективный способ улучшения генерализации глубоких нейронных сетей.

Авторы предлагают схему аугментации данных, названную AugMax (отсылка к AugMix). AugMax сначала случайным образом выбирает несколько операторов дополнения, а затем обучается состязательной смеси выбранных операторов.

📎 Статья
🖥 Код

#augmentation #training

Какие задачи должны обучаться вместе в многозадачных нейронных сетях?

Многие модели машинного обучения сосредоточены на обучении одной задаче за раз (например, языковые модели предсказывают вероятность следующего слова). Однако не сложно себе представить, одновременное обучение на нескольких связанных задачах может привести к лучшим результатам по каждой из них.

Например, при игре в пинг-понг часто бывает полезно оценить расстояние, вращение и предстоящую траекторию мяча для того, чтобы скорректировать свою руку и выстроить замах. Хотя каждая из этих задач уникальна, понимание того где мяч сейчас и как он крутится, вероятно, поможет вам лучше предсказывать его траекторию и наоборот.

Google придумал механизм, для изучения динамики обучения многозадачных сетей, что позволяет учить многозадачные сети лучше.

🔭 Блог-пост
📎 Статья

#training #multitasking

Многие алгоритмы машинного обучения, как supervised, так и self-supervised, используют метрики расстояния. В этой чудесной шпаргалке подробно рассмотрены основные 9.

Знание того, когда использовать ту или иную меру расстояния, может помочь вам пройти путь от плохого классификатора до точной модели.

🔭 Блог-пост

#basics #training

Bits and Bytes (Facebook AI)

Bitsandbytes - это легковесная обертка вокруг пользовательских функций CUDA, в частности, 8-битных оптимизаторов и функций квантования.

Основные фишки:
⚡️ 8-битные оптимизаторы: Adam, AdamW, RMSProp, LARS, LAMB (экономит 75% памяти!!!)
🙌 Стабильный слой эмбединга: Улучшенная стабильность за счет лучшей инициализации и нормализации
🌗 8-битное квантование: Квантильная, линейная и динамическая квантизация
⚡️ Быстрая оценка квантилей: В 100 раз быстрее, чем другие алгоритмы

Я ждал пока библиотека пройдёт тест временем, и очевидно, что она его прошла. Так что вперед - обновлять свои оптимизаторы.

🖥 Код
📎 Статья
📼 Видео

#training #optimizers