Поддержите меня пожалуйста
реакцией 🐈
ахах

📙 Бесплатный курс от HarvardX “Data Science: Machine Learning”

В ходе курса вы освоите:

🔸 Базовые принципы машинного обучения
🔸 Методы проведения кросс-валидации
🔸 Основы популярных алгоритмов машинного обучения
🔸 Процессы создания рекомендательных систем
🔸 Понятие регуляризации и её использование.

Для доступа к материалам зарегистрируйтесь на платформе.

🧡 Ссылка на курс

@dlaiml

📙 Как ставить эксперименты для поиска лучшей модели?

Поиск лучшего решения какой-либо задачи, как правило, заключается в подборе двух компонентов, описанных в статье детектора YOLOv4, а именно:

🔸 Bag of Freebies
🔸 Bag of Specials

Что это? Если кратко, то Bag of Freebies (BoS) — это набор техник и методов, внедряемые в процесс обучения, увеличивающие его стоимость и получаемую на выходе метрику. Bag of Specials (BoS) содержит различные техники и модули для постпроцессинга, которые используются только на этапе инференса, незначительно увеличивают его стоимость и значительно — метрику.

📙 Bag of Freebies техники

Здесь я бы разделил их на две части: (a) изменения на уровне модели; (b) изменения на уровне данных.

(a) здесь я имею в виду различные модификации непосредственно течения градиентов, изменения его пути. К таким я отношу, например, дополнительную голову, параллельно решающую другую/похожую задачу для добавления общих знаний в бэкбон модели.
(b) здесь в первую очередь про аугментации данных, позволяющую расширить обучающий сет и научить модель обобщаться. Также существуют техники одновременного обучечния на нескольких датасетов.

📙Подбор Bag of Freebies техник

Можно привести в пример миллион миллионов техник (какие вы найдете, какие вы посчитаете полезными, какие вы сможете реализовать для своей модели и задачи). Но как их валидировать? Как понять, что это стоит использовать?

Можно выделить три основных вопроса:
🚨с какой вероятностью применять?
🚨с какой магнитудой применять? (с какой силой. например, при аугментации ускорения видео, на сколько это нужно делать)
🚨а применять ли это вообще? (можно отнести к первому пункту, вероятность 0)

Первый приходящий в голову и самый простой (не по стоимости) способ — gridsearch. Вы можете перебрать сколько вы сможете пар вероятность-магнитуда и найти для вас лучшую. Это будет не самый точный, но вполне хороший способ.

А теперь представим, что у вас 15 модулей. Вы хотите узнать, что накидывает метрику и при каких гиперпараметрах. Так как пространство выбора становится неверотяно огромным, нужно как-то упрощать выбор. Я привык работать следующим образом:

🔸 по одному внедрять модули и подбирать гридсерчем параметры (если они в принципе есть)
🔸 после подбора лучших параметров для каждого модуля, обучить модель вообще со всеми
🔸 далее применить такую технику, как ablation study. То есть по одному удалять модули и смотреть как изменится метрика. Увеличилась после удаления — не очень то и хотелось; уменьшилась — модуль этот мы оставляем.

Также похожие техники можно использовать не только для моделей. К тексту прикрепил график из нашей статьи, где мы подбирали параметры для датасета HaGRiD.

Кстати, для подбора аугментаций существую такая крутая техника как AutoAugment, позволяющая автоматически найти лучший набор аугментаций для конкретного набора данных.

Это моя первая попытка вот в таком формате поделиться своими знаниями. Если вам было полезно, поставьте реакцию ✔️.
Также буду рад любым комментариям и предложениям (мб слишком много, много воды и тдтп) ❤️

@dlaiml

добро пожаловать
давай знакомиться!

🔸 меня зовут рома
🔸 работаю AI-исследователем в команде SberDevices
🔸 мне не 14, а 21 год. но за это время я успел стать экспертом в области нейросетей, а именно..

мои достижения:
🔸 стал соавтором опубликованной научной статьи
🔸 обучил >300 моделей искусственного интеллекта
🔸 занимаюсь разработкой нейросети GigaChat

давай вместе оптимизируем нашу жизнь с помощью нейросетей и даже заработаем на них.

подпишись, чтобы не быть в отстающих!