В дополнение к сегодняшнему посту про ADAM: как раз недавно появился новый оптимизатор Sophia. Авторы утверждают, что он в 2x быстрее, чем Adam для тренировки LLM

Sophia использует быструю оценку матрицы вторых производных – Гессиана (см псевдокод в картинке), для того чтобы быстрее двигаться в плоских областях ландшафта функции потерь. Именно в таких местах Адам тормозит, а вторые производные как раз помогают более точно понять, в каком направлении нужно оптимизировать параметры.

На вторых производных уже были основаны многие алгоритмы – методы второго порядка, но вычислять Гессиан в общем случае довольно сложно(и медленно), поэтому они так и не получили распространения для обучения нейросеток. Но Sophia показывает, что оценить диагональные элементы Гессиана можно довольно быстро. Кстати, памяти расходуется тоже меньше: Sophia не хранит моменты второго порядка.

Статья
Код

😻 #news #train

t-тест

1) Объясняем что это
2) Разбираем общую идею
3) Показываем пример

😻 #analytics

Модели экспоненциального сглаживания, и какие они бывают

Пройдемся во верхам, не углубляясь в математику. Поможет освежить в памяти тем, кто знал, и познакомиться с темой тем, кто только начинает изучение.

😻 #train #analytics

Мы тут придумали эскизы тату для трушных ML-пацанов и девчонок 🐺

Набили бы?
P.S. Ваши варианты – в комментарии

😻 #memes

DBSCAN: интересный алгоритм кластеризации

DBSCAN (Density-based spatial clustering of applications with noise), как следует из названия, оперирует плотностью данных. На вход он просит матрицу близости и два параметра — радиус епсилон-окрестности и количество соседей. Так сразу и не поймёшь, что это за параметры и как из выбрать. И кроме того, причем тут плотность и когда вообще применять DBSCAN? Давайте разберёмся.

😻 #train #math