Какие задачи должны обучаться вместе в многозадачных нейронных сетях?

Многие модели машинного обучения сосредоточены на обучении одной задаче за раз (например, языковые модели предсказывают вероятность следующего слова). Однако не сложно себе представить, одновременное обучение на нескольких связанных задачах может привести к лучшим результатам по каждой из них.

Например, при игре в пинг-понг часто бывает полезно оценить расстояние, вращение и предстоящую траекторию мяча для того, чтобы скорректировать свою руку и выстроить замах. Хотя каждая из этих задач уникальна, понимание того где мяч сейчас и как он крутится, вероятно, поможет вам лучше предсказывать его траекторию и наоборот.

Google придумал механизм, для изучения динамики обучения многозадачных сетей, что позволяет учить многозадачные сети лучше.

🔭 Блог-пост
📎 Статья

#training #multitasking