Спят усталые игрушки змейки спят
Одеяла и подушки ждут ребят

Какая же она крутая…

Очень странная статья от Google.
Основная идея: давайте случайно не применять обновления к параметрам, а если и применять - уменьшать их на величину, пропорциональную отклонению угла стохастического градиента от накопленного за последние итерации.
Они также привели некие доказательства сходимости своего метода.
В частности, очень интересен assumption 3 (см на картинке) - он говорит, что стохастический градиент по норме не слишком сильно отклоняется от истинного.
В чем проблема данной статьи, на мой взгляд?
Мне кажется, что авторы зашли не с того угла.
Во-первых, в их случае (а явно этого не прописано) константа ограничивающая разброс из предположения явно никак не оценивается, по крайней мере я не нашел в статье этого.
Во-вторых, и что более проблемно, существует E-SG (см.картинку 3). E-SG является более сильным условием, чем они предлагают в своем предположении. Более того, они неявно приближают обусловленность своей задачи к E-SG сценарию, так как несонаправленные градиенты начинают зануляться с большей вероятностью - очевидно, что разброс становится меньше.
В-третьих, уже есть методы для достижения E-SG, в частности адаптивный батчинг, в частности для случаев когда мы близки к решению - AdLoCo, который я предложил в своей последней статье.
Безусловно, научный вклад у статьи есть - с вычислительной точки зрения (если не смотреть другие аспекты по типу распределенного обучения, где AdLoCo побьет их) это более простой метод, и он очень хорошо рассмотрен с точки зрения взаимодействия со спецификой трансформеров.
Не знаю, может написать им, спросить?
Если вы со мной не согласны, то пишите в комментариях - подискутируем. Может быть я тупой и что-то не понял :)
Ссылка на статью

В моей жабьей семье пополнение.🐸🐸🐸

Теперь у меня появилась крутая легушька-водонос для хранения мелочевки, например духов как в моем случае, либо канцелярки.
Вместе с ней ко мне доехали две микро-легушьки которые будут ее (и меня) морально поддерживать.

А еще они будут дружить семьями с легушькой-горшочком, которая уже годик живет со мной.

Хотите себе таких же? Тогда заходите к postanimalistica - там таких делают, показывают и продают. Они идеально подойдут как оригинальный подарок на 8 марта - очень полезные и красивые. Либо можете собрать личную семью лягушек

У всех лягушек авторский дизайн, они качественные, тяжеленькие - из брутального архитектурного бетона, и милые. И там не только лягушки! Много разных питомцев-компаньонов - они смотрят как живые, но не требуют ухода.

Давайте поддержим молодой лягушачий бизнес. Это единственная реклама за последний наверное год, и я считаю что она действительно полезная.

https://t.me/postanimalistica