A Geometric Modeling of Occam's Razor in Deep Learning
Почему глубокие нейронные сети (ГНС) выигрывают от очень высокоразмерных пространств параметров? Их огромная сложность по количеству параметров при этом сочетается с впечатляющими результатами на практике, что вызывает особое интерес и не может быть полностью объяснено стандартной теорией выбора модели для обычных моделей. В этой работе предлагается подход, основанный на геометрических и информационно-теоретических идеях, для изучения этого явления. Исходя из предположения, что простота связана с лучшей обобщающей способностью, что подкрепляется теорией минимальной длины описания, целью нашего анализа является исследование и ограничение сложности ГНС. Мы вводим понятие локально меняющейся размерности пространства параметров нейронных сетей, рассматривая число значимых измерений матрицы Фишера, и моделируем пространство параметров как многообразие, используя рамки сингулярной полуримановой геометрии. В результате получаются меры сложности модели, которые позволяют получать короткие описания для моделей глубоких нейронных сетей на основе анализа их сингулярностей, что помогает объяснить их хорошую производительность несмотря на большое число параметров.
https://arxiv.org/abs/1905.11027
Почему глубокие нейронные сети (ГНС) выигрывают от очень высокоразмерных пространств параметров? Их огромная сложность по количеству параметров при этом сочетается с впечатляющими результатами на практике, что вызывает особое интерес и не может быть полностью объяснено стандартной теорией выбора модели для обычных моделей. В этой работе предлагается подход, основанный на геометрических и информационно-теоретических идеях, для изучения этого явления. Исходя из предположения, что простота связана с лучшей обобщающей способностью, что подкрепляется теорией минимальной длины описания, целью нашего анализа является исследование и ограничение сложности ГНС. Мы вводим понятие локально меняющейся размерности пространства параметров нейронных сетей, рассматривая число значимых измерений матрицы Фишера, и моделируем пространство параметров как многообразие, используя рамки сингулярной полуримановой геометрии. В результате получаются меры сложности модели, которые позволяют получать короткие описания для моделей глубоких нейронных сетей на основе анализа их сингулярностей, что помогает объяснить их хорошую производительность несмотря на большое число параметров.
https://arxiv.org/abs/1905.11027
arXiv.org
A Geometric Modeling of Occam's Razor in Deep Learning
Why do deep neural networks (DNNs) benefit from very high dimensional parameter spaces? Their huge parameter complexities vs stunning performance in practice is all the more intriguing and not...
Из рубрики «Для эрудитов»
На Юго-западной
На Юго-западной
👍1
Наши хваленые «понимание» и «логика» (и «чувство прекрасного») — та же статистика.
Черниговская ошиблась.
https://t.me/blockchainRF/11766
Черниговская ошиблась.
https://t.me/blockchainRF/11766
Telegram
Все о блокчейн/мозге/space/WEB 3.0 в России и мире
Исторический момент от Google:1-й пример, как ИИ помогает в создании теории о самом себе на профессиональном уровне.
Исследователи Google DeepMind написали статью о том, где заканчиваются возможности ИИ промптинга, объясняя, почему некоторые адаптации возможны…
Исследователи Google DeepMind написали статью о том, где заканчиваются возможности ИИ промптинга, объясняя, почему некоторые адаптации возможны…
💯1
This media is not supported in your browser
VIEW IN TELEGRAM
👍4🔥4🤓4