Goodhart's Law in Reinforcement Learning


Обучение с подкреплением приобрело свою популярность в том числе и из-за того, что порой мы не можем сформулировать грамотно задачи под фреймворк супервайзд или ансупервайзд лернинга, но зато можем запрогать reward signal, который и попытаемся максимизировать. Как оказывается, и с этим сигналом (особенно сделанным эвристично на основе бородатых предположений, которые не полностью покрывают сложность задачи реального мира) может быть проблема, называемая принципом Гудхарта (Википедия рекомендует не путать с законом Годвина).

Авторы предлагают простое решение через своеобразный early stopping

Тем не менее, скорее всего пока это не такая уж и серьезная проблема, поскольку есть куча других деталей в пайплайнах, которые можно и нужно крутить, чтобы улучшать перформанс, прежде чем думать о том, что искусственно сделанный сигнал награды не полностью сходится с тем, что мы ожидаем от алгоритма в самых разных ситуациях комплексной среды. На это указывает так же то, что в статье нет популярных симуляторов, на которых все и гоняют свои методы

Можно так же прикинуть, что чатгпт выдает свои приколы как раз из-за того, что рлхф является неидеальным прокси сигналом, но мы вряд ли об этом узнаем)) (да и в принципе это маловероятно, см. абзац выше)


👀LINK


#rl #proxyreward #optimization #mdp

Survival Instinct in Offline Reinforcement Learning

Вдогонку про размышления об эффекте награды на алгоритмы рл

Как оказывается, в оффлайн рл тоже не все так просто (область, где агент не может взаимодействовать со средой, а должен чему-то научиться на основе фиксированного «оффлайн» датасета, который может составить эксперт или другой неоптимальный алгоритм). Отличается оптимизация оффлайн рл от классического рл тем, что мы пытаемся в предсказаниях не отходить от того, что присутствует в датасете (потому что если предсказания будут слишком далеко, то есть out-of-distribution, то мы не сможем сказать, насколько они хороши или плохи).

Авторы показывают, что можно вообще занулить награду, или поменять у нее знак, или вообще заменить на случайные числа, а агент научится практически тому же, получается, только из-за того, что не будет пытаться отходить от примеров, которые он видел в датасете

(!) Явление это носит название survival instinct. Довольно интуитивно понятно и даже легко переносится на людей: зачем нам размышлять о том какая именно ценность у действий, пример которых нам показывают, если мы можем просто стараться повторять их как можно лучше и не париться (эффект наименьшего сопротивления). Работает эта тактика правда в случае, если показательные примеры недеструктивны (имеют positive bias)

Статья ставит под вопрос чуть ли не целую область, а как все-таки сделать алгоритм, который будет пытаться искать паттерны в наградах, а не только в примерах, которые он видит (т.е. как приблизить к reinforcement learning’у и отойти от фактического supervised learning)


👀LINK

#rl #offlinerl #distribution #positivebias #behaviorcloning

ASDL: A Unified Interface for Gradient Preconditioning in PyTorch (NeurIPS 2022 Workshop)

Preconditioning нужен для того, чтобы добавить в градиент информацию второго-порядка и улучшить сходимость обучения

Статейка про полезную библиотеку asdfghjkl, которая позволяет удобно делать preconditioning на градиент (Pg = C^-1g) для оптимизации высших порядков, ну или же просто выгодно считать матрицы, связанны с кривизной и ковариацией градиентов, такие как Гессиан, матрица Гаусса-Ньютона и матрица Фишера. Еще у них в целом кайфовое интро в тему higher-order methods и то, какие есть варианты, включая разные матрицы кривизны, их представления (тут можно их считать и по слоям и по семплам) и солверы, которые как раз используются для расчета preconditining

Админ сам юзал либу для Байесовских методов, которая юзает asdfghjkl и она реально удобная, слова риззерчера даем

👀 LINK

#gradientpreconditioning #optimization #curvature #sharpness

DoRA: Weight-Decomposed Low-Rank Adaptation

Простая (и одновременно гениальная) модификация ЛоРЫ, которая разделяет претрейн веса на magnitude & direction для улучшения генерализации (по сравнению с полным файнтюнингом) и стабильности при обучении, при этом нету никаких доп вычислений на инференсе

👀LINK

#lora #decomposition #finetuning #stability

Cliff Diving: Exploring Reward Surfaces in Reinforcement Learning Environments

Очень Крутая визуальная статья, которая показывает, как всего лишь на одной 3д картинке можно посмотреть на «обобщенную внутреннюю реакцию» модели на награду. Подтверждает некоторые common wisdom, например, что клиппинг в PPO реально не дает агенту сделать слишком большой шаг и разойтись - теперь это видно по графику во время оптимизации

Можно ли такое применить не в рл? Да, можно визуализировать любую метрику, которую вы евалите во время обучения (да или даже после), если вам это надо. Вопрос остается за тем, будет ли валидно смотреть на такие графики для подтверждения или опровержения каких-то гипотез относительно этой метрики

👀LINK

#rl #visualization

Explaining RL Decisions with Trajectories

Довольно простой и работающий пайплайн, как выявить значимость траекторий принятий решений при обучении алгоритма: appropriate encoding + clustering, затем обучаем много-много политик, в каждой исключая по определенному кластеру, разница в перформансе указывает на значимость соответствующих кластеров траекторий

Можно ли применить не только к рл? Конечно, замените в тексте выше «траекторию» на «последовательность», «политику» на «модель» и получите простой метод интерпретации чего-то там для séquence data


👀LINK

#rl #decisionmaking #sequence #interpretability #representationlearning

Understanding, Predicting and Better Resolving Q-Value Divergence in Offline-RL

Момент, когда специфичная теория на стыке областей работает. Применяют теорию диффуров для linear iteration dynamics + neural tangent kernel, чтобы получить метрику под названием Self-Excite Eigenvalue Measure (SEEM), которая показывает в начале обучения, разойдется ли метод оффлайн рл или нет. Если воспроизводить код - (вроде) работает + дает повод логгировать хоть что-то во время обучения, не относящееся к евалу ( с этим в рл туго, потому что зачастую тот же самый лосс практически никогда не говорит о том, какой результат будет на тесте )

Теперь и думай, как это соотносится со статьей про инстинкт выживания


👀LINK


#r #offlinerl #differentialequations #neuraltangentkernel #stability

Generative Models as Distributions of Functions (AISTATS 2022)

А вы когда-нибудь задумывались о представлении картинок не с помощью решетки пикселей, а с помощью функций?

Авторы этой статьи задумались и предложили моделировать картинки именно таким способом. Достигается это с помощью неявного представления функции преобразования координат в RGB значения. В такие представления добавляют random Fourier feature encoding, чтобы выучивать сигнал разной частоты. Нейронка состоит из генератора hypernetwork, веса которой и представляют функцию преобразования, и дискриминатора PointConv, который расценивает выход нашей функции как набор точек с мерой дистанции, т.е это point cloud. Модель учится как GAN с minimax игрой

А спросите, нафиг это нужно? Тема в том, что тут размер сети скейлится линейно от размера данных + мы можем юзать одну сеть для разных модельностей типо картинок, вокселей или даже данных на сфере

Забавная идейка в общем, что сказать 🤑

👀 LINK

#generative #hypernetwork #functionrepresentation

Large Language Models as General Pattern Machines


Really profound paper, который еще больше раскрывает способности инконтекста ллмок. Обученная выполнять языковые задачи, ллм способна принимать на вход закодированные состояния среды и производить адекватные низкоуровневые действия, то есть решать задачу планирования, не говоря уже о том, что в целом решает задачки Abstraction and Reasoning, поданные в виде ascii art

Conclusion: «LLMs can serve as general sequence modelers, driven by in-context learning.»

👀LINK

#nlp #llm #patternrecognition #incontextlearning

Layer-wise linear mode connectivity

Прикольная статья, которая теоретически и эмпирически показывает, почему прямое усреднение параметров моделей с одинаковой архитектурой улучшает результат, а точнее усреднение параметров конкретных слоев

Позволяет выйти в поверхности функции потерь на место с отсутствием linear barrier => parameters averaging снижает лосс, что далеко нетривиально для невыпуклых лоссов глубоких сетей


👀LINK


#representationlearning #parametersaveraging #losssurface

Identifying Policy Gradient Subspaces

В оптимизации супервайзд лернинга есть находка относительно градиентов - они лежат в каком-то подпространстве параметров, при этом это подпространство меняет свою форму относительно медленно

Авторы решили поискать то же самое и в полиси градиент методах рл - и выяснили то же самое!

А что ето значит? А то, что любые методы по ускорению обучения супервайзд лернинга, которые используют факт low-dimensional gradient subspace coverage, можно без зазрения совести использовать и в классичных алгоритмах рл, задумываясь о других аспектах методов


👀LINK

#rl #optimization #subspace #policygradient

To the Max: Reinventing Reward in Reinforcement Learning

Все обучение с подкреплением зиждится на максимизации функции награды, а точнее на ее максимизации в долгосрочной перспективе, в основном - это (дисконтированная) сумма наград

Но что делать в ситуациях, когда сумма наград не подходит под решение задачи? Например, награды, сделанные в лоб для того, чтобы заставить агента делать то, что человек хочет, зачастую разреженные, а такое оптимизируется ой как непросто и в классическом дип лернинге, не то что в рл

Авторы предлагают в таком случае переформулировать постановку оптимизации не суммы наград, а максимума из наград, что поможет в таких случаях
А как такое сделоть? Через доп переменную, которая интуитивно является аккумулируемой переменной максимума, а остальные детали не отличаются от классических имплементаций


👀LINK

#rl #reward