В 2019 в ML несколько трендов: почти каждую неделю выпускают новую SOTA NLP модель и почти каждый месяц новый оптимизатор.

Появился ещё один (RAdam) и кажется он работает не только на каких-то частных датасетах. https://medium.com/@lessw/new-state-of-the-art-ai-optimizer-rectified-adam-radam-5d854730807b (тут полезные ссылки https://www.kaggle.com/c/champs-scalar-coupling/discussion/104361)

Есть реализации на keras и pyTorch, поэтому добавить в свой проект не составит труда. Я попробовал использовать на проекте, метрики совсем чуть-чуть, но улучшились.

Оптимизатор важный компонент, который отвечает за тренировку весов сети, а там много разных проблем с локальными минимумами и не только, очень подробно про оптимизацию написано здесь https://www.deeplearning.ai/ai-notes/optimization/

#optimizer #radam