Scalable-Softmax Is Superior for Attention

в прошлом году выходила интересная работа от дипмаинд, которая показывала проблему софтмакса в аттеншне при выходе на длинные “острые” последовательности

однако адекватного решения предложено толком не было кроме фита кривой энтропии, а в этой работе пацанчик в соло решил продолжить это дело

и придумал простую модификацию для софтмакса → просто домножать запросы в аттеншне на s * logn, где s - обучаемый скаляр для каждого слоя, а n - длина последовательности соответственно. назвал Scalable Softmax (SSMax)

и хоть такая формула выглядит интуитивно приемлемой - внедрение логарифмической зависимости под экспоненту чтоб замедлить затухание аттеншна (а и по формулам чел показывает что оно в принципе пропадает) - автор дополнительно провел экспы, встраивая более общее обучаемое аффинное преобразование, которое энивей моделирует лог зависимость от сек лена (есть правда вопросы по поводу того, что проводил он это на датасете с сек леном в 1024 максимум, но тут уж на что ресурсов хватило)

по скейлу автор тренировал в разных сетапах 168М ЛЛаму-2, в таком сценарии действительно наблюдается бОльшая стабильность относительно удлинения контекста, при том необязательно даже с самого начала обучать используя SSMax, а можно после претрена заменить обычный аттеншн на него (тогда никак на натренить параметр s и он везде эвристически заменяется на обратное от среднего лог сек ленов во время обучения, например от 1 до 1024)

по экспам в общем и целом так + по иголке в сене тоже что-то да вырисовывается (опять-таки сильные выводы делать не стоит из-за маленького скейла). отдельный респект хочется выделить парню за то что в соло смог так написать статью, еще и чтоб понятен четко был нарратив, и проведение экспериментов. с кодом была бы вообще вишенка на торте

ну а хоть и по скейлу экспы большого влияния не вносят, имхо пейпер все равно интересно почитать и запомнить от выкладок в формулах, которые там есть на животрепещущую тему

👀LINK

Flow Q-Learning

Сергей Левин уже довольно давно тыкается в применении диффузии в рл (как например более-менее фундаментально здесь или вообще довольно хайпово в роботике здесь) → дошел черед и до оффлайн (goal-conditioned) рл

ну и получилось это все реализовать у Seohong Park’a (который так же ответственен и за OGBench на котором и проводились экспы) через флоу матчинг в пространстве действий

но из-под коробки это все быстро не работает (и вероятно не очень-то хорошо и заводится) в связи с беквордом по времени (BPTT в связи с итеративным флоу семплингом), а потому из двух политик (акторов) рождаются две

1. flow policy, которая предиктит velocity field и итеративно расшумляет распределение действий из оффлайн датасета (behavioral cloning BC этакий)
2. и one-step policy, которая якобы за один шаг пытается сразу расшумить в действия, максимизирующие Q функцию (критика). получается лосс критика не будет проходить на обучении через бекпроп по времени что вполне классично и незатратно

интуитивно напоминает rectified flow, 1-ая политика обучается чисто на BC во флоу матчинг стиле через линейные пути и равномерное семплирование по времени, а 2-ой “одношаговый” актор максимизирует аутпуты критика и пытается в себя дистиллировать аутпуты flow policy

в принципе такой пайплайн на первый взгляд может быть трудноват, но в своей сути оказывается довольно минималистичен (в какой-то мере это даже бейзлайн для флоу матчинг сетапа, диффузионщики примерно такого же мнения). при том просто настолько, что сигнал таймстепов просто конкатенируют с другими инпутами (в более нагроможденных задачах имхо это стараются делать иначе)

так же с точки зрения диффузионной области может вызвать вопрос тот момент, что количество шагов семплирования не влияет сильно на итоговый перформанс, в отличие от коэффициента перед BC лоссом (что классично для оффлайн рл). ставят ли под вопрос такие моменты факт масштабируемости метода - хзхз

👀 paper, code

Latent Action Learning Requires Supervision in the Presence of Distractors

ресерч в области латентных действий это круто, ибо на еще один шажочек приближает методы рл к более реалистичным use case’ам - потому беркли до этого формализовали классические формулы под латентное пространство, а дипмаинд не сделали бы ворлд модели без них (гени и гени2, в оазисе наверняка без латентных действий тоже не обошлось)

ну и здесь авторы еще подвинули этот вопрос поближе к практическому сценарию - где есть много шума (отвлекающего фактора, нерелевантного для процесса принятия решений) принятый сообществом LAPO начинает работать супер плохо

- VQ квантизатор в таком сетапе начинает давать сбои (хотя изначально интуитивно он и помогал обучаться вычленению латентных действий вместо простых транзиций между обсервейшнами) → nahooy его
- обратная модель динамики теперь принимает не текущий обсервейшн и последующий, но и принадлежащий из окна в K таймстепов (потому что это молодежно, К = 10 достаточно для distracting DMC)
- всякий стафф по гиперпараметрам (латентная размерность действий 128 → 8192 etc.)
- теперь еще и модели динамики (прямая и обратная) оперируют в латентном пространстве, пытаясь восстановить не обсервейшн, а состояние. так и обучаться быстрее из соображений памяти + сетки попроще можно делать (в этом случае свертки просто заменяются на млп)

в общем и целом так. назвали LAOM. и хоть нехило так обгоняет лапу по качеству (на базе этих моделей надстраивать классику для максимизации награды + линейная проба под ground-truth действия), без дообучения на настоящие действия все не так сладко

но тем не менее и тут тоже есть + в том, что если раньше нужно было примерно 10% истинных действий, то здесь появляется показатель в 2.5%

👀 link, видео от авторов

TransMLA: Multi-Head Latent Attention Is All You Need

дипсик хайпово привлек интерес к новой концепции Multi-Head Latent Attention (MLA), и тута китайцы это формализовали

вот есть у нас в стандартном MHA (Multi-Head Attention)

Q = X @ W_q

K = X @ W_k

V = X @ W_v

O = [ softmax(Q @ K^T) @ V ] @ W_o

где у нас по размерности матрицы (hidden_dim, num_heads x head_dim) или транспонированная в случае W_o. обычно это одно и то же по значениям hidden_dim == num_heads * head_dim но не суть, еще так же может быть num_kv_heads и это тоже опустим для простоты, как и момент с аггрегацией информации по головам etc

MLA же предлагает ключи и значения моделировать низкоранговыми матрицами (где ранг гипером определяется r)

K = X @ (W_k1 @ W_k2)

V = X @ (W_v1 @ W_v2)

и если в качестве фигурных скобочек выделить операции, которые заранее выполняются до инференса

O = softmax( X @ {W_q @ W_k2^T} @ K’^T ) @ V’ @ {W_v2 @ W_o}

где у нас

K’ = X @ W_k1

V’ = X @ W_v1

то получим что в качестве кв кэша надо хранить только репрезентации размерности r. по сути тем, что выше, я постарался показать махинации с лоу ранг матрицами чтобы сэкономить во время инференса операции

и помимо того, что это напрямую устроено для оптимизации памяти при некритическом изменении проекций слоя (как писали в пирамидкв, кв кэш на 100к токенов в ллама2 7б кушает 50гб памяти), авторы показывают, что МЛА является более общим случаем Grouped Query Attention при помощи соображений свд разложения с повторениями в матрицах для группировки запросов

→ можно сконвертировать GQA в MLA (но не обратно) и попробовать получить не только экономию по кв кэшу но и прирост в перформансе во время такого файнтюна (латентный аттеншн схватывает бОльшее разнообразие по каналам, поскольку в нем нет прямого момента дублирования значений голов)

по экспам дошли до 7б, при том изменение аттеншна на МЛА в данном случае прибавило на сотню миллионов параметров больше (что в принципе приемлемо 7.7B → 7.8B)

идея прикольная, статья только пока сыровата - побольше бы экспов и меньше опечаток в тексте

👀 link, code