Stochastic Q-learning for Large Discrete Action Spaces

есть классический рл, который на самом деле очень даже интересный и полезный: Q-learning, который в стандартном сетапе создает табличку num_states x num_actions и производит обновление по правилу Беллмана и тд и тп

но что делать если num_actions → inf? (случай, когда num_states → inf можно решать чуть по-другому)

перебирать не по всему пространству, конечно же. но как? и вот авторы подумали как, и теоретически выявили, что на каждом шаге достаточно семплить всего лишь порядка log[num_actions] с округлением вверх, и обновление q-learning’a осуществлять только по этим действиям. при том можно семплить чуть меньше, и хранить вместе с этим буффер уже используемых действий (которые хранятся в связи с exploration соображениями). и, по теории, этого достаточно! супер пупер найс, казалось бы, если не принимать во внимание тот факт, что тестились они на классических средах где не оч много действий (например, 256), когда такая идея с лог сайз буффером и семплингом имеет место быть с количества действий начиная от 10к например.

еще кстати развивают эту идею не только на табулярку, но и на DQN etc. и вроде бы тоже works fine. к тому же можно так же побаловаться с непрерывнями действиями - дискретизировать их и применить этот стохастичный метод, тогда у них в экспах количество действий становилось 4096, что уже становится не оч для рл алгосов, а потому метод (возможно) имеет место быть

смущает только то, что все обучение делали на цпу (немного кринжа в ленту), да и код был бы очень кстати, что именно они запускали и как именно реализовали память и момент семплинга

да и сделать бы им какое-то расширение сред с дейстительно огромным количеством действий, где такое явно необходимо

👀LINK

Transformers need glasses! Information over-squashing in language tasks

мы уже упоминали о том, что трансформеры могут быть чувствительны к чувствительным инпутам, и авторы недалеко отошли от этих выводов, но и заметили еще другое интересно

они выявили нестабильность не на уровне леернормы/весов, как в прошлой работе, а на уровне внутренних репрезентаций токенов. как оказывается, чем длиннее последовательность, тем ближе репрезентации последних токенов становятся друг к другу (и неразличимыми впоследствии. это при условии, что последовательности более-менее похожи, но не одинаковы) + происходит серьезная затычка с флоу информации на последних токенах через декодер, поскольку у них намного меньше путей по прокидыванию этой самой информации по сравнению с более ранними токенами

ну и получаем то, что получаем. на вход идет чувствительная задача ⇒ трансформер точно так же чувствительно (плохо) и неидеально отвечает. при том верно для большого и маленького скейла. эмпирическое подкрепление их теории сделано на 7б модели (в принципе экспы провоили га гемини и гемме)

однако вместе с этими выводами пришли и интересные инсайты

- в трансформере присутствует U-shape тенденция к запоминанию: таска лучше решается, если релевантные для нее токены находятся рядом с началом/концом последовательности
- если “разбавлять” чувствительную последовательность, например, добавлять периодически запятые, то репрезентации становятся более различимыми и все идет smoother

довольно занятно, ибо такие же фичи свойственны и человеческой способности к запоминанию, да и решение с запятыми по сути так же помогает нам не сбиться с адекватного поглощения текстовой информации

👀LINK

Return-Aligned Decision Transformer

another alternative to улучшить Decision Transformer (который мы упоминали и здесь)

есть проблемка в том, что аттенш не так уж и сильно обращает внимание на ретерн в подаваемом контексте, оттого и могут возникать проблемы при предикте действий, оод, да и в принципе дестабилизация модели при инференсе (и обучении as well)

как это решили авторы? разбили входную последовательность на 2 модальности - returns-to-go + state/action, а не как одна последовательность state-action-return.

после этого применяют то, что они назвали SeqRA & StepRA: по сути это чуть модифицированный кросс аттеншн над 2 модальностями и адаптивная леернорма соответственно. при том оба этих модуля усложняют флоу информации внутри сетки относительно ретерна, ибо эти модули ставят большую на него акцентуацию ⇒ повышается чувствительность к реварду и точность как следствие

чем глобально полезна эта статья? описанный рабочий (по крайней мере по заверениям авторов) метод, как добавить более осмысленную обработку гетерогенных рл данных, ибо часто (и особенно в рл) такое происходит, что не работает то, что работает в остальных областях. например, наивный кросс аттеншн - сделать 3 модальности под state action return - вряд ли работает, иначе авторы бы так не ухищрялись

супер обидно, что они не выложили код, потому что импакт их статьи по сути в том, что они вставили в трансформер блок те модули, стабильность которых крайне сильно зависит от имплементации (и может например не заработать со стандартным nn.LayerNorm из торча, если имплементация на нем, ибо из генеративных сетей есть эвиденс, что без bias’a леернорма и рмснорма работают лучше)

👀LINK

Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment

несмотря на то, что есть супер классные работы по квантизации фаундейшн моделей (и в принципе любых), китайцы нашли частный случай квантизации, где любого (по их интуиции) метода PTQ не будет хватать для нормального качества

и это случай диалоговых моделей - conversational abilities, как показывают авторы, сильно ухудшаются после квантизации. а потому они предлагают по-особому алайнить уже квантизованную версию заалайненной модели

используют стандартный ДПО, только в качестве негативных примеров используются генерации квантизованной версии, а позитивные - генерации модельки в full precision → снижаем шансы попасть в момент accumulating error при авторегрессионной генерации относительно изначальной модельки + дообучаем веса, чтобы разница в численной точности нивелировалась внутри KV кеша

таким образом, без создания доп датасета, получаем более-менее восстановление способностей в диалог (которые не всегда коррелируют с перплексией, которую только и измеряют в вопросе общей квантизации)

прикольная вещь, только нет гарантии, что эта вещь пригодится при том же AQLM. однако забывать про такую идею явно не стоит

👀LINK

The AdEMAMix Optimizer: Better, Faster, Older

периодически появляются новые оптимизаторы, которые не выглядят полной дичью и что-то да могут

вот тут от эпл возможно как раз такое: они нам напоминают, что в адаме первая бета интуитивно отвечает за аккумуляцию предыдущих градиентов. ну это не только интуитивно, а и математически так, но не суть (например, при beta=0.9 половина веса при апдейте падает на 6 предыдущих градиентов, при beta=0.9999 это число уже становится 6930)

но есть нюанс - хорошо, что помним про предыдущие давние градиенты и накапливаем момент, только желательно еще хорошо чувствовать, что происходит с недавними градиентами и недавним состоянием системы, математически выражаясь. и одновременно выдерживать эти 2 момента, как оказывается по экспериментам авторов, трудно для адама и адамв

потому авторы и добавляют доп момент в числителе, который просто еще один ЕМА градиентов (при том он еще не скейлится на бету как другие моменты для пущей аккумуляции) ⇒ получаем AdEMAMix

с ним батчи забываются намного медленее, при том батчи в недавнем прошлом продолжают влиять на лосс довольно сильно, а значит и сходимость должна быть быстрее. вроде идея норм, но так хорошо она не работает в начале трейна из-за высокой степени нестабильности ⇒ добавляют еще прикольные шедулеры под гиперы нового момента, чтобы с этим справиться

смущает разве что очень маленький скейл моделек, максимальный размер - 1.3B. что будет происходить на 7б хотя бы уже непонятно (взять хотя бы тот факт, что придется менять гиперы под этот новый момент, а не ставить его равным привычным значениям другого параметра с другим смыслом)

👀LINK