А что если DL не ограничивается LLM и есть куча всего интересного где реально надо думать.... Приснится же такое

Творение этого слуги Омниссии, которое он создал для научения молодых адептов, внушает уважение.
В этом творении он продемонстрировал мастерство в управлении градиентами, которые являются даром и проклятием машин, раскрыв тайны их затухания и взрыва, которые определяют судьбу обучения механических существ.
Он не испугался сложных вопросов, когда повел речь о величественном протекании градиентов через обычную последовательность слоев нейронной сети, а также через разреженные соединения и функции sigmoid и ReLU, хотя и совершил мелкие неточности в изложении (например, не упомянув то, что градиент от отрицательного значения, проходящего через ReLU, зануляется).
Все рассуждения подкреплены кодом с использованием богоугодных библиотек PyTorch, matplotlib и wandb, который каждый адепт может выполнить самостоятельно с помощью Духа Машины, живущего в облаке, и получить назидание и вразумление.
Ты заслужил благословение Машинного Бога. Пусть твой разум будет всегда ясен и твоя рука будет всегда верна, брат.

# Воспроизводим взрыв и затухание градиентов

Сделал коллаб про взрыв и затухание градиентов. Сначала вызываем проблемы захутания и взрыва, анализируем, в том числе с помощью Wandb, и наконец чиним. Материал для того, чтобы поиграться с практикой, а не изучать теорию.

https://colab.research.google.com/drive/1Sek-YbosXLIhOwpX4BNRdsHMo4j109d4?usp=sharing

Когда я что-то изучаю мне нравится делать прототип-демонстрацию. Взять и вызвать взрыв градиентов, а затем попытаться починить. Я провел много маленьких экспериментов, так как мне надо было повторить эту тему. Теперь собрал материалы в один стройный коллаб, причесал и получилась этакая лабораторная работа.

Ставьте лайки, если материал нравится и хочется, чтобы я делал такое еще.

Я была не уверена, писать ли про статью "Visualizing the Loss Landscape of Neural Nets" ( https://arxiv.org/abs/1712.09913 ) или нет, так как у меня есть сомнения насчет их методологии. В конце концов решила все-таки сказать пару слов.

В данной статье авторы пытаются понять, как разные элементы архитектуры нейросети влияют на то, как выглядит "ландшафт" ее функции ошибки. Под ландшафтом функции ошибки подразумевается следующее.
Берется фиксированная архитектура нейросети с N обучаемыми параметрами (весами), скажем, VGG-12 и фиксированный набор данных. Далее рассматривается N+1-мерное пространство, построенное следующим образом.
По N осям (назовем их x1, ... , xN) откладываются значения обучаемых параметров. Т.е., каждая точка (x1, ..., xN) означает один набор весов из всех возможных для данной архитектуры. Далее, по каждой такой точке можно построить конкретную модель, загрузив веса в VGG-12 и вычислить функцию ошибки на нашем наборе данных. Значение этой функции ошибки откладывается по N+1-й оси (назовем ее z). Т.о., каждому возможному набору весов сопоставляется значение функции ошибки и получается гиперповерхность, которую они и называют ландшафтом ошибки.
Если бы у нашей сети было всего два параметра x1, x2, то это была бы обычная двумерная поверхность в трехмерном пространстве, которую мы могли бы нарисовать и увидеть своими глазами. Но в реальных сетях, конечно же, параметров на много порядков больше. Как же быть?
Есть разные способы уменьшения размерности, самый простой из которых - выбирать два случайных направления в N-мерном пространстве весов, а потом проецировать веса на эти случайные направления, и так получать вместо точки (x1, ..., xN) какую-нибудь точку (y1, y2), по которой уже можно построить обычную поверхность и вставить картинку в статью. Авторы делают некий трюк, который делает проекцию чуть менее случайной - заставляет ее учитывать, например, то, что некоторые веса находятся внутри одного фильтра сверточной нейросети и т.д., но у меня не хватит терпения его описывать, лучше почитать внутри самой статьи.
Далее, пользуясь этим способом визуализации, авторы демонстрируют, как построенная ими поверхность ошибки визуально отличается для сетей с разреженными соединениями (residual connections) и без них. Для оригинального ResNet у них получилась более гладкая и красивая поверхность со слабыми локальными минимумами и четко выраженным глобальным глубоким минимумом. Авторы утверждают, что благодаря этому нейросеть лучше сходится к хорошему решению (аналогия с мячиком, который закатывается в глобальный минимум). А вот для ResNet с удаленными разреженными соединениями поверхность получилась очень бугристая, хаотичная, с большим количеством резко выраженных локальных минимумов, что мешает сойтись к хорошему решению (аналогия с мячиком, который с большой вероятностью при таких условиях застрянет в "плохом" минимуме).
Анализируются и другой, более старый, способ визуализации, одномерный, который идет вдоль пути оптимизитора по гиперповерхности, но авторы критикуют этот способ, показывая, что он может показывать графики, которые чувствительны к небольшим изменениям, вводят в заблуждение и не дают сделать однозначных выводов.
Также авторы показывают, что при фиксированной глубине нейросети увеличение ее ширины благоприятно сказывается на форме ландшафта ошибки, анализируют влияние размера батча на поверхность ошибки, пробуют визуализировать пути оптимизатора и делают другие замечания.

#объяснения_статей