Лучшее из X на сегодня:

CEO Figure AI объявил, что роботов Figure 02 утилизируют, потому что в штаб-квартире заканчивается место, и спросил у подписчиков, как лучше проводить модель на пенсию.

На что в комменты пришел Арнольд Шварцнеггер и ответил ему: «Вы должны их расплавить»

Очень показательный график из свежей статьи Bloomberg

Оранжевые точки – китайские модели, синие – США. По оси Y – взвешенное среднее по бенчмаркам GDPval-AA v2, τ³-Banking, Terminal-Bench v2.1, Humanity’s Last Exam, GPQA Diamond, CritPt, SciCode, AA-Omniscience и AA-LCR.

Ломаной соединены фронтирные модели. Видно, насколько за пару лет сократился разрыв в способностях (и это еще на графике нет GLM-5.3). Многие американские лидеры до сих пор утверждают, что китайские модели отстают на 6-9 месяцев, но, очевидно, эта информация устарела. И это уже не говоря про цены.

Все, кто учился DL по слайдам постсоветской матшколы знают про Nesterov Accelerated Gradient. Статья вышла еще в 1983 году, но оценить ее реальный вклад можно только в последние лет 10-15. Производные от него методы оптимизации, к сожалению, не стали железным стандартом в индустрии, но довольно популярны у знающих людей

Так вот, за свой вклад в математику Юрий Нестеров получил премию Гаусса, с чем я его горячо поздравляю. Это буквально нобелевская премия, но для математиков и высшая форма признания вклада в науку.

О том, как работает метод оптимизации и в чем идея, лучше посмотреть вот в этом посте, а я хотел бы примерно рассказать, как так вышло, что метод с лучшей теоретической оценкой не стал стандартом.

Мои три подписчика с ММП скажут, что у Adan/NAdam не нормируют градиенты и из-за этого менее устойчивы к правильному LR -> хуже проскакивают турбулентные участки гиперповерхности лосса. Кстати, возмущенные неточностью подписчики с ммп ставьте обезьяну, узнаем сколько вас.

Но фатальным ударом для этих методов был таймлайн.
Статья про Nadam появилась в 2016, и в этот момент Attention is all you need (Aiayn) уже находилась в процессе написания, так что в ней использовали проверенный Adam как оптимизиатор. После, все побежали воспроизводить результаты у себя и следовали рецепту, описанному в статьей. У нас есть десятки тысяч статей, которые развивают идеи Aiayn и большая часть использует именно Adam. А значит ученых больше наблюдений для Adam и его имплементации больее оптимизированы под современное железо.

По практике скажу, что Nesterov momentum мне буста в качестве давал ровно ноль раз, так что приглашаю попустить меня в комментах и объяснить, почему нужно всегда учить именно с Adan.