Latent Action Learning Requires Supervision in the Presence of Distractors

ресерч в области латентных действий это круто, ибо на еще один шажочек приближает методы рл к более реалистичным use case’ам - потому беркли до этого формализовали классические формулы под латентное пространство, а дипмаинд не сделали бы ворлд модели без них (гени и гени2, в оазисе наверняка без латентных действий тоже не обошлось)

ну и здесь авторы еще подвинули этот вопрос поближе к практическому сценарию - где есть много шума (отвлекающего фактора, нерелевантного для процесса принятия решений) принятый сообществом LAPO начинает работать супер плохо

- VQ квантизатор в таком сетапе начинает давать сбои (хотя изначально интуитивно он и помогал обучаться вычленению латентных действий вместо простых транзиций между обсервейшнами) → nahooy его
- обратная модель динамики теперь принимает не текущий обсервейшн и последующий, но и принадлежащий из окна в K таймстепов (потому что это молодежно, К = 10 достаточно для distracting DMC)
- всякий стафф по гиперпараметрам (латентная размерность действий 128 → 8192 etc.)
- теперь еще и модели динамики (прямая и обратная) оперируют в латентном пространстве, пытаясь восстановить не обсервейшн, а состояние. так и обучаться быстрее из соображений памяти + сетки попроще можно делать (в этом случае свертки просто заменяются на млп)

в общем и целом так. назвали LAOM. и хоть нехило так обгоняет лапу по качеству (на базе этих моделей надстраивать классику для максимизации награды + линейная проба под ground-truth действия), без дообучения на настоящие действия все не так сладко

но тем не менее и тут тоже есть + в том, что если раньше нужно было примерно 10% истинных действий, то здесь появляется показатель в 2.5%

👀 link, видео от авторов

TransMLA: Multi-Head Latent Attention Is All You Need

дипсик хайпово привлек интерес к новой концепции Multi-Head Latent Attention (MLA), и тута китайцы это формализовали

вот есть у нас в стандартном MHA (Multi-Head Attention)

Q = X @ W_q

K = X @ W_k

V = X @ W_v

O = [ softmax(Q @ K^T) @ V ] @ W_o

где у нас по размерности матрицы (hidden_dim, num_heads x head_dim) или транспонированная в случае W_o. обычно это одно и то же по значениям hidden_dim == num_heads * head_dim но не суть, еще так же может быть num_kv_heads и это тоже опустим для простоты, как и момент с аггрегацией информации по головам etc

MLA же предлагает ключи и значения моделировать низкоранговыми матрицами (где ранг гипером определяется r)

K = X @ (W_k1 @ W_k2)

V = X @ (W_v1 @ W_v2)

и если в качестве фигурных скобочек выделить операции, которые заранее выполняются до инференса

O = softmax( X @ {W_q @ W_k2^T} @ K’^T ) @ V’ @ {W_v2 @ W_o}

где у нас

K’ = X @ W_k1

V’ = X @ W_v1

то получим что в качестве кв кэша надо хранить только репрезентации размерности r. по сути тем, что выше, я постарался показать махинации с лоу ранг матрицами чтобы сэкономить во время инференса операции

и помимо того, что это напрямую устроено для оптимизации памяти при некритическом изменении проекций слоя (как писали в пирамидкв, кв кэш на 100к токенов в ллама2 7б кушает 50гб памяти), авторы показывают, что МЛА является более общим случаем Grouped Query Attention при помощи соображений свд разложения с повторениями в матрицах для группировки запросов

→ можно сконвертировать GQA в MLA (но не обратно) и попробовать получить не только экономию по кв кэшу но и прирост в перформансе во время такого файнтюна (латентный аттеншн схватывает бОльшее разнообразие по каналам, поскольку в нем нет прямого момента дублирования значений голов)

по экспам дошли до 7б, при том изменение аттеншна на МЛА в данном случае прибавило на сотню миллионов параметров больше (что в принципе приемлемо 7.7B → 7.8B)

идея прикольная, статья только пока сыровата - побольше бы экспов и меньше опечаток в тексте

👀 link, code

World and Human Action Models towards gameplay ideation

вот и майкрософт, как оказывается, год назад уже смогли зафигачить модель мира на основе мультиплеер пвп bleeding edge от ninja theory (оказывается помимо devil may cry & hellblade они еще вот такое делали). но почему-то решили это отправить nature а не на архив по классике

собрали 28 террабайт датасета траекторий игроков (полмиллиона игровых сессий, 1.4B фреймов при 10Гц, 7+ лет реального времени, еще отфильтровали под конкретную карту примерно год по объему)

обсервейшны (картинки) 300х180х3 и действия маппят в одно и то же пространство токенов, при том для первых обучают сначала ViT-VQGAN в 300м параметров на реконструкцию и perpectual лоссы, а потом и добавляют ган обжектив непосредственно. в качестве ворлд модели выступает отдельный каузальный трансформер который моделирует последовательность токенов обсервейшнов и действий (в качестве них кстати выступают сигналы с контроллеров хбокс геймпада)

назвали это WHAM - World and Human Action Model

самый большой трансформер смогли натренить размером в 1.6B что не оч много но при этом довольно классные на глаз результаты получились (с учетом маленького разрешения фреймов). и присутствует то, что авторы называют persistency, diversity, consistency: генерации соответствуют игровой механике и более-менее геймер интерфейсу, они получаются разнообразными и способны адаптироваться под нововведенные объекты посреди инференса (например если добавить врага или какой-то игровой объект то очень естественно произойдет с ними взаимодействие)

насчет последнего так же они еще релизнули WHAM Demonstrator - как я понял это своеобразная гуишка, которая позволяет удобнее производить такие интервенции в момент генерации + смотреть на каких фреймах может происходить расхождения по разным сценариям с одинакового начального картиночного промпта (то что относится к диверсити)


paper

weights

dataset 75гб


P.S. у нас еще есть другие посты про модели мира - [1] [2] [3]

Steering Your Generalists: Improving Robotic Foundation Models via Value Guidance

широко известные в особо узких кругах авторы из беркли, карнеги меллона и дипмаинд забубенили Q-value функцию для роботик политик, которая работает в black-box манере и не требует файнтюна

в принципе они это сделали, потому что на их опытах с клешней опенсурс модели (OpenVLA, octo, RT-X) - где в том числе есть и диффузионное окто, а не только классические трансформер-based политики - выдают не очень качество: либо не могут поднять предмет, либо не так уж и точно его кладут, либо не могут отпустить (в принципе с клешней вроде как других проблем не может быть, если не считать совсем неадекватные)

вполне разумное и наиболее вероятное предположение - проблема в датасете, ведь там присутствуют mixed quality данные → в рльке такая проблема решается выставлением реварда и обучением функции значимости для адаптации к такому

ну вот авторы поэтому такое и сделали: под капотом скрывается резнет с muse (хз как и зачем откопали, еще и на тензорфлоу) как картиночные и текстовые энкодеры соответственно. объединяются они же через FiLM (который иногда выручает)

обучали на bridge & fractals датасетах → поскольку хочется использовать одного критика (функции значимости, Q функции) сразу на любую робо политику, то желательно чтобы она хорошо генерализовалась на ООД действия и все такое → обучать надо в оффлайн манере при помощи Cal-QL (потому что метод правда прикольный, ну и первый автор этой работы так же основной автор этого оффлайн рл метода. в аппендиксе так же добавили инфу, что и на iql все тоже хорошо заводится). ревард же получали через метки -1/0, где нуль был у нескольких последних степов в траектории

а в пайплайн же этот критик встраивается через категориальное распределение по семплированным из политики действиям + так же в этом распределении интересную интуицию несет параметр температуры: трейдофф между тем, как сильно мы доверяем политике и тем, как сильно мы полагаемся на критика

в аблациях так же есть измерение по прибавке ко времени инференса. авторы утверждают, что оверхед некритичный

👀 link, code, demo