Addressing Some Limitations of Transformers with Feedback Memory
Angela Fan, Thibaut Lavril, Edouard Grave, Armand Joulin, Sainbayar Sukhbaatar
Статья: https://arxiv.org/abs/2002.09402
Unofficial code: https://github.com/lucidrains/feedback-transformer-pytorch
Implementation with comments: https://nn.labml.ai/transformers/feedback/index.html
Прикольная малозамеченная работа годовалой давности.
Общая идея: Трансформеры довольно эффективно параллелятся, обрабатывая последовательность токенов (трансформации каждого токена вычисляются параллельно в каждом слое), но при авторегрессионной генерации это препятствует использовать последовательную природу задачи на полную. Причина в том, что обрабатывая определённый токен, каждый слой получает репрезентации предыдущих токенов только с нижних относительно себя слоёв, и не получает ничего с верхних, хотя там по идее самая ценная информация и сосредоточена. И, главное, на предыдущем шаге генерации мы её уже посчитали, но просто не используем.
В предложенной реализации под названием Feedback Transformer авторы для вычисления очередной (по времени) репрезентации в любом слое делают доступными все предыдущие репрезентации всех слоёв.
На словах, наверное, тяжело воспринимается, но картинка всё легко передаёт (Fig.1 & 2).
Обычный трансформер вычисляет на каждом слое self-attention текущего токена и прошлого контекста (предыдущих токенов), где контекст это репрезентации этих предыдущих токенов, пришедшие [снизу] на текущий же слой.
Feedback Transformer заменяет контекст на специальные вектора памяти, feedback memory, и считает self-attention текущего токена и этой памяти. Feedback memory для каждого токена, входящего в attention span, аггрегирует скрытые состояния всех слоёв в общий вектор. Для агрегации используются обучаемые параметры, по которым дальше считается softmax, дающий в итоговой сумме веса репрезентаций каждого слоя. Я так понимаю, что эти параметры статичны после обучения, и это прямой путь к дальнейшим усовершенствованиям — добавить адаптивное вычисление этих весов по текущим входам и состоянию памяти.
Теперь все предыдущие вичисления становятся доступны всем будущим вычислениям и по идее это даёт возможность выучить более качественные репрезентации или получить на менее глубокой модели тот же уровень абстракций, что у более глубокой.
Также можно на это посмотреть как на модификацию трансформера, дающую способность делать рекурсивные вычисления (да, это не первый такой подход) — выход слоя может отправиться через память в тот же слой на следующем временном шаге. И модель, получается, может поддерживать внутреннее состояние сколько влезет. Здесь существенное отличие от обычного трансформера, в котором слой не может получить свой же выход. И это же отличается от внутреннего состояния RNN, которое хоть и позволяет так же рекурсивно себя обрабатывать, но зато ограничено числом слоёв и их размерами (к тому же в RNN рекурсивность обычно только внутри одного слоя). В Feedback Transformer внутреннее состояние — это вся его память, которая может расти с увеличением длины входной последовательности. Получается побогаче..
Поскольку трансформер становится теперь явно последовательным, то для борьбы с замедлением есть хаки. Главный из них это общие на все слои матрицы для вычисления key и value. Оно и логично, память общая, K и V можно сразу посчитать и отдать всем слоям, которые внутри себя будут вычислять только Q для внимания. Это заодно сокращает и требования к памяти, что даёт возможность использовать батчи побольше, а это в свою очередь возвращает часть параллельности, но через другое измерение. В итоге получается не сильно медленнее. А кроме того теперь можно использовать менее глубокие трансформеры и получать то же качество репрезентаций.
В общем, красиво выходит.
Angela Fan, Thibaut Lavril, Edouard Grave, Armand Joulin, Sainbayar Sukhbaatar
Статья: https://arxiv.org/abs/2002.09402
Unofficial code: https://github.com/lucidrains/feedback-transformer-pytorch
Implementation with comments: https://nn.labml.ai/transformers/feedback/index.html
Прикольная малозамеченная работа годовалой давности.
Общая идея: Трансформеры довольно эффективно параллелятся, обрабатывая последовательность токенов (трансформации каждого токена вычисляются параллельно в каждом слое), но при авторегрессионной генерации это препятствует использовать последовательную природу задачи на полную. Причина в том, что обрабатывая определённый токен, каждый слой получает репрезентации предыдущих токенов только с нижних относительно себя слоёв, и не получает ничего с верхних, хотя там по идее самая ценная информация и сосредоточена. И, главное, на предыдущем шаге генерации мы её уже посчитали, но просто не используем.
В предложенной реализации под названием Feedback Transformer авторы для вычисления очередной (по времени) репрезентации в любом слое делают доступными все предыдущие репрезентации всех слоёв.
На словах, наверное, тяжело воспринимается, но картинка всё легко передаёт (Fig.1 & 2).
Обычный трансформер вычисляет на каждом слое self-attention текущего токена и прошлого контекста (предыдущих токенов), где контекст это репрезентации этих предыдущих токенов, пришедшие [снизу] на текущий же слой.
Feedback Transformer заменяет контекст на специальные вектора памяти, feedback memory, и считает self-attention текущего токена и этой памяти. Feedback memory для каждого токена, входящего в attention span, аггрегирует скрытые состояния всех слоёв в общий вектор. Для агрегации используются обучаемые параметры, по которым дальше считается softmax, дающий в итоговой сумме веса репрезентаций каждого слоя. Я так понимаю, что эти параметры статичны после обучения, и это прямой путь к дальнейшим усовершенствованиям — добавить адаптивное вычисление этих весов по текущим входам и состоянию памяти.
Теперь все предыдущие вичисления становятся доступны всем будущим вычислениям и по идее это даёт возможность выучить более качественные репрезентации или получить на менее глубокой модели тот же уровень абстракций, что у более глубокой.
Также можно на это посмотреть как на модификацию трансформера, дающую способность делать рекурсивные вычисления (да, это не первый такой подход) — выход слоя может отправиться через память в тот же слой на следующем временном шаге. И модель, получается, может поддерживать внутреннее состояние сколько влезет. Здесь существенное отличие от обычного трансформера, в котором слой не может получить свой же выход. И это же отличается от внутреннего состояния RNN, которое хоть и позволяет так же рекурсивно себя обрабатывать, но зато ограничено числом слоёв и их размерами (к тому же в RNN рекурсивность обычно только внутри одного слоя). В Feedback Transformer внутреннее состояние — это вся его память, которая может расти с увеличением длины входной последовательности. Получается побогаче..
Поскольку трансформер становится теперь явно последовательным, то для борьбы с замедлением есть хаки. Главный из них это общие на все слои матрицы для вычисления key и value. Оно и логично, память общая, K и V можно сразу посчитать и отдать всем слоям, которые внутри себя будут вычислять только Q для внимания. Это заодно сокращает и требования к памяти, что даёт возможность использовать батчи побольше, а это в свою очередь возвращает часть параллельности, но через другое измерение. В итоге получается не сильно медленнее. А кроме того теперь можно использовать менее глубокие трансформеры и получать то же качество репрезентаций.
В общем, красиво выходит.
GitHub
GitHub - lucidrains/feedback-transformer-pytorch: Implementation of Feedback Transformer in Pytorch
Implementation of Feedback Transformer in Pytorch. Contribute to lucidrains/feedback-transformer-pytorch development by creating an account on GitHub.
Есть отдельные демонстрации ограниченности обычного трансформера. На задачах типа copy, reverse, counting, random walk и паре алгоритмических где надо отслеживать состояние переменных при разных операциях инкремента/декремента и логических условий, показывают, что стандартный трансформер не особо справляется с задачами, где надо иметь доступ к долгой памяти или иметь возможность долго обновлять внутреннее состояние. Наглядно видно, что профит есть и кое-где существенный.
Есть также профит на задачах машинного перевода и RL.
Из интересного, смотрят как можно было бы агрегировать репрезентации в feedback memory и показывают, что и тупое усреднение работает неплохо, и (ещё лучше) работает просто взятие с последних слоёв. Оно и логично. Полноценный обучаемый механизм агрегирования лишь несильно лучше этого варианта.
На ICLR 2021 правда работу не взяли (https://openreview.net/forum?id=OCm0rwa1lx1):
“This paper focuses on the limitations of the transformer architecture as an autoregressive model. The paper is relatively easy to follow. Though most reviewers find the paper interesting, the idea is not very novel. The introduction of sequential-ness to Transformer is good, though it also slow things down especially as the sequence gets longer.
An extensive set of experiments are performed, though the results are not entirely convincing. The authors are encouraged to add more ablative experiments, efficiency analysis, and large-scale results.”
Ну не знаааю… По мне так экспериментальная часть вполне уже неплоха. Надо было обучить что-то на гигантском кластере, чтобы убедить? Не туда куда-то всё идёт...
Есть также профит на задачах машинного перевода и RL.
Из интересного, смотрят как можно было бы агрегировать репрезентации в feedback memory и показывают, что и тупое усреднение работает неплохо, и (ещё лучше) работает просто взятие с последних слоёв. Оно и логично. Полноценный обучаемый механизм агрегирования лишь несильно лучше этого варианта.
На ICLR 2021 правда работу не взяли (https://openreview.net/forum?id=OCm0rwa1lx1):
“This paper focuses on the limitations of the transformer architecture as an autoregressive model. The paper is relatively easy to follow. Though most reviewers find the paper interesting, the idea is not very novel. The introduction of sequential-ness to Transformer is good, though it also slow things down especially as the sequence gets longer.
An extensive set of experiments are performed, though the results are not entirely convincing. The authors are encouraged to add more ablative experiments, efficiency analysis, and large-scale results.”
Ну не знаааю… По мне так экспериментальная часть вполне уже неплоха. Надо было обучить что-то на гигантском кластере, чтобы убедить? Не туда куда-то всё идёт...
OpenReview
Addressing Some Limitations of Transformers with Feedback Memory
Transformers have been successfully applied to sequential tasks despite being feedforward networks. Unlike recurrent neural networks, Transformers use attention to capture temporal relations while...
Improving Neural Language Models with a Continuous Cache
Edouard Grave, Armand Joulin, Nicolas Usunier
Статья: https://arxiv.org/abs/1612.04426
Уже довольно старая статья частично тех же авторов, что и недавно описанный Feedback Transformer. И, мне кажется, она тоже недостаточно известна.
Идея проста и эффективна: давайте кешировать прошлые активации языковой модели (имеется в виду скрытое состояние RNN) с соответствовавшими им словами, и при вычислении вероятности генерации очередного слова ходить в кеш (через dot product attention), чтобы модифицировать эти вероятности на основе хранимого в кеше длинного контекста.
Это по сути упрощённый вариант memory-augmented моделей. Память активаций есть, модель в неё ходит, но, что интересно, механизм крайне прост, вообще не требует обучения и может быть добавлен к уже имеющейся модели. Такая память может быть объёмом в тысячи ячеек.
Технически, механизм очень простой. При генерации слова X_{i+1} из скрытого состояния H_i мы сохраняем в кеше пару (H_i, X_{i+1}). В момент t генерации очередного слова мы считаем dot product текущего состояния H_t со всеми состояниями в кеше и получаем распределение вероятностей соответствующих слов из кеша. Затем эту вероятность можно замешать с обычной вероятностью генерации слов предварительно обученной моделью (замешивать можно разными способами). С получившимся модифицированным распределением вероятностей работаем как обычно, например, сэмплим из него.
Модель кеша эксплуатирует наблюдение, что как только слово встретилось в документе однажды, гораздо больше шансов встретить его вновь. Она улучшает языковую модель, отлавливая дальние зависимости. Это позволяет эффективно адаптировать модель к новому домену, а также такие модели могут предсказывать внесловарные слова после того, как те один раз уже встретились (и чтобы это работало, я так понимаю, X_{i+1} это не слово, которое мы сгенерили в момент времени i, а слово, которое пришло на вход в момент времени i+1 и которое мы привязали к скрытому состоянию H_i). Ну и вообще хорошая работа с дальними зависимостями улучшает качество сгенерированного текста.
Модель даёт хорошее улучшение относительно базовой LSTM и чем больше размер памяти, тем заметнее улучшение. Авторы продемонстрировали, что модель скейлится до тысяч ячеек, сохраняя способность улучшать результаты. Элементарно добавить поверх обученной модели.
Интересно, кстати, было бы добавить поверх GPT-3, хотя в трансформерах с этим, пожалуй, из коробки несколько получше, но всё равно потенциально можно расширить контекст. И вообще, кажется, тогда получится лайтовый вариант Feedback Transformer. Ну тоже интересно, особенно тем, что отдельное обучение не требуется (которое у Feedback Transformer было к тому же более медленным).
Эта статья попала постером на ICLR 2017.
У статьи есть продолжение “Unbounded cache model for online language modeling with open vocabulary” (https://arxiv.org/abs/1711.02604), попавшее на NIPS 2017. Там добавляют неограниченную память, в которой хранят вообще всё предыдущее, а для вытаскивания из кеша используют approximate kNN (k=200...1000).
Тут по идее можно было бы собрать аналог лайтового Feedback Transformer с очень большим контекстом, и в случае GPT-3 иметь просто гигантские промпты, что весьма интересно. Расскажите, если кто доберётся попробовать раньше меня.
Edouard Grave, Armand Joulin, Nicolas Usunier
Статья: https://arxiv.org/abs/1612.04426
Уже довольно старая статья частично тех же авторов, что и недавно описанный Feedback Transformer. И, мне кажется, она тоже недостаточно известна.
Идея проста и эффективна: давайте кешировать прошлые активации языковой модели (имеется в виду скрытое состояние RNN) с соответствовавшими им словами, и при вычислении вероятности генерации очередного слова ходить в кеш (через dot product attention), чтобы модифицировать эти вероятности на основе хранимого в кеше длинного контекста.
Это по сути упрощённый вариант memory-augmented моделей. Память активаций есть, модель в неё ходит, но, что интересно, механизм крайне прост, вообще не требует обучения и может быть добавлен к уже имеющейся модели. Такая память может быть объёмом в тысячи ячеек.
Технически, механизм очень простой. При генерации слова X_{i+1} из скрытого состояния H_i мы сохраняем в кеше пару (H_i, X_{i+1}). В момент t генерации очередного слова мы считаем dot product текущего состояния H_t со всеми состояниями в кеше и получаем распределение вероятностей соответствующих слов из кеша. Затем эту вероятность можно замешать с обычной вероятностью генерации слов предварительно обученной моделью (замешивать можно разными способами). С получившимся модифицированным распределением вероятностей работаем как обычно, например, сэмплим из него.
Модель кеша эксплуатирует наблюдение, что как только слово встретилось в документе однажды, гораздо больше шансов встретить его вновь. Она улучшает языковую модель, отлавливая дальние зависимости. Это позволяет эффективно адаптировать модель к новому домену, а также такие модели могут предсказывать внесловарные слова после того, как те один раз уже встретились (и чтобы это работало, я так понимаю, X_{i+1} это не слово, которое мы сгенерили в момент времени i, а слово, которое пришло на вход в момент времени i+1 и которое мы привязали к скрытому состоянию H_i). Ну и вообще хорошая работа с дальними зависимостями улучшает качество сгенерированного текста.
Модель даёт хорошее улучшение относительно базовой LSTM и чем больше размер памяти, тем заметнее улучшение. Авторы продемонстрировали, что модель скейлится до тысяч ячеек, сохраняя способность улучшать результаты. Элементарно добавить поверх обученной модели.
Интересно, кстати, было бы добавить поверх GPT-3, хотя в трансформерах с этим, пожалуй, из коробки несколько получше, но всё равно потенциально можно расширить контекст. И вообще, кажется, тогда получится лайтовый вариант Feedback Transformer. Ну тоже интересно, особенно тем, что отдельное обучение не требуется (которое у Feedback Transformer было к тому же более медленным).
Эта статья попала постером на ICLR 2017.
У статьи есть продолжение “Unbounded cache model for online language modeling with open vocabulary” (https://arxiv.org/abs/1711.02604), попавшее на NIPS 2017. Там добавляют неограниченную память, в которой хранят вообще всё предыдущее, а для вытаскивания из кеша используют approximate kNN (k=200...1000).
Тут по идее можно было бы собрать аналог лайтового Feedback Transformer с очень большим контекстом, и в случае GPT-3 иметь просто гигантские промпты, что весьма интересно. Расскажите, если кто доберётся попробовать раньше меня.
👍1
Recurrent Independent Mechanisms (RIMs)
Anirudh Goyal, Alex Lamb, Jordan Hoffmann, Shagun Sodhani, Sergey Levine, Yoshua Bengio, Bernhard Schölkopf
Статья: https://arxiv.org/abs/1909.10893
Ещё пройдёмся по малоизвестным, но интересным статьям.
Рекуррентные независимые механизмы, (Recurrent Independent Mechanisms или RIMs), от весьма достойного коллектива авторов целятся в создание модульной рекуррентной архитектуры, способной поймать динамику среды.
Мотив такого подхода в том, что в реальном мире многие динамические системы состоят из набора сравнительно независимых подсистем, эволюционирующих во времени и реагирующих на различные силы и интервенции. И агенту обычно нет нужды одновременно и одинаково пристально следить за всеми системами, а при построении плана стоит рассматривать совместно лишь сильно взаимодействующие части. Такая разреженность и модульность могут упростить обучение.
В этой архитектуре для моделирования динамической системы вся модель разделяется на k небольших подсистем, каждая из которых рекуррентная (чтобы можно было выучить динамику). Эти подсистемы и называются RIM’ами, и каждый RIM выучивает что-то своё.
Верхнеуровнево группы рекуррентных ячеек (RIM’ов) работают сравнительно независимо и изредка через механизм внимания взаимодействуют между собой, а также со входом. Каждый RIM в работе представляется какой-то рекуррентной сетью (LSTM, GRU) со своим набором параметров и вектором состояния.
Если более детально, то работа RIM’ов состоит из нескольких шагов:
1. Каждый RIM обращается через механизм внимания ко входу системы. RIM генерирует query (Q), а ключи и значения (K,V) получаются из элементов входа. Можно считать, что на входе есть множество каких-то переменных и каждый RIM должен выбрать что-то релевантное для себя.
2. Активироваться в итоге должно какое-то небольшое количество RIM’ов (это гиперпараметр, k_A). Реализация этого проста: ко входу добавляем вектор нулей, смотрим какое “внимание” обращает на этот вектор каждый из RIM, ранжируем по степени активации и выбираем k_A тех, кто обратил на нулевой вектор наименьшее внимание. Это множество активировавшихся модулей, S_t.
3. Активировавшиеся модули из множества S_t обсчитывают свою динамику по своим выученным функциям (то есть делают обычный шаг рекуррентной архитектуры, LSTM, например, h_{t+1} = LSTM(h_t, attention_to_input). Неактивировавшиеся модули остаются неизменёнными.
4. Активировавшиеся модули также могут считать состояние всех других модулей, включая неактивные (там тоже может быть что-то ценное). Это тоже делается через механизм внимания, каждый модуль генерит Q, а состояния остальных модулей дают K,V. Итоговое новое состояние модуля считается как сумма результатов механизма внимания и своего состояния из пункта 3 (в статье, похоже, опечатка, там состояние взято от предыдущего момента времени, но это неверно).
У архитектуры по сути два гиперпараметра: общее число модулей (K) и число активных модулей на каждом шаге (k_A). В принципе также есть тип ячейки (LSTM, GRU, whatever) с её параметрами, а также число голов внимания.
Сетки в принципе гоняли маленькие. Скрытое состояние суммарно 600 юнитов, K=6, k_A обычно 4, головы тоже 4.
Эксперименты проводили на задачах типа копирования (на вход подаётся последовательность символов, затем много пустых входов, а затем сигнал на воспроизведение оригинальной последовательности и система должна её выдать); sequential MNIST (классификация символов из MNIST, вытянутых в последовательность пикселей); задачка с прыгающими мячами (множество шариков разных масс и размеров движется внутри окошка, отскакивая друг от друга в соответствии с базовой физикой); а также RL-задачка на object picking из BabyAI, где много дистракторов.
Anirudh Goyal, Alex Lamb, Jordan Hoffmann, Shagun Sodhani, Sergey Levine, Yoshua Bengio, Bernhard Schölkopf
Статья: https://arxiv.org/abs/1909.10893
Ещё пройдёмся по малоизвестным, но интересным статьям.
Рекуррентные независимые механизмы, (Recurrent Independent Mechanisms или RIMs), от весьма достойного коллектива авторов целятся в создание модульной рекуррентной архитектуры, способной поймать динамику среды.
Мотив такого подхода в том, что в реальном мире многие динамические системы состоят из набора сравнительно независимых подсистем, эволюционирующих во времени и реагирующих на различные силы и интервенции. И агенту обычно нет нужды одновременно и одинаково пристально следить за всеми системами, а при построении плана стоит рассматривать совместно лишь сильно взаимодействующие части. Такая разреженность и модульность могут упростить обучение.
В этой архитектуре для моделирования динамической системы вся модель разделяется на k небольших подсистем, каждая из которых рекуррентная (чтобы можно было выучить динамику). Эти подсистемы и называются RIM’ами, и каждый RIM выучивает что-то своё.
Верхнеуровнево группы рекуррентных ячеек (RIM’ов) работают сравнительно независимо и изредка через механизм внимания взаимодействуют между собой, а также со входом. Каждый RIM в работе представляется какой-то рекуррентной сетью (LSTM, GRU) со своим набором параметров и вектором состояния.
Если более детально, то работа RIM’ов состоит из нескольких шагов:
1. Каждый RIM обращается через механизм внимания ко входу системы. RIM генерирует query (Q), а ключи и значения (K,V) получаются из элементов входа. Можно считать, что на входе есть множество каких-то переменных и каждый RIM должен выбрать что-то релевантное для себя.
2. Активироваться в итоге должно какое-то небольшое количество RIM’ов (это гиперпараметр, k_A). Реализация этого проста: ко входу добавляем вектор нулей, смотрим какое “внимание” обращает на этот вектор каждый из RIM, ранжируем по степени активации и выбираем k_A тех, кто обратил на нулевой вектор наименьшее внимание. Это множество активировавшихся модулей, S_t.
3. Активировавшиеся модули из множества S_t обсчитывают свою динамику по своим выученным функциям (то есть делают обычный шаг рекуррентной архитектуры, LSTM, например, h_{t+1} = LSTM(h_t, attention_to_input). Неактивировавшиеся модули остаются неизменёнными.
4. Активировавшиеся модули также могут считать состояние всех других модулей, включая неактивные (там тоже может быть что-то ценное). Это тоже делается через механизм внимания, каждый модуль генерит Q, а состояния остальных модулей дают K,V. Итоговое новое состояние модуля считается как сумма результатов механизма внимания и своего состояния из пункта 3 (в статье, похоже, опечатка, там состояние взято от предыдущего момента времени, но это неверно).
У архитектуры по сути два гиперпараметра: общее число модулей (K) и число активных модулей на каждом шаге (k_A). В принципе также есть тип ячейки (LSTM, GRU, whatever) с её параметрами, а также число голов внимания.
Сетки в принципе гоняли маленькие. Скрытое состояние суммарно 600 юнитов, K=6, k_A обычно 4, головы тоже 4.
Эксперименты проводили на задачах типа копирования (на вход подаётся последовательность символов, затем много пустых входов, а затем сигнал на воспроизведение оригинальной последовательности и система должна её выдать); sequential MNIST (классификация символов из MNIST, вытянутых в последовательность пикселей); задачка с прыгающими мячами (множество шариков разных масс и размеров движется внутри окошка, отскакивая друг от друга в соответствии с базовой физикой); а также RL-задачка на object picking из BabyAI, где много дистракторов.
👍2
RIM показали себя достойно, лучше LSTM, NTM (Neural Turing Machine), RMC (Relational Memory Core), трансформера, DNC (Differentiable Neural Computer). На Sequential MNIST аналогично. Модель неплохо обобщает, работает на последовательностях длин сильно больших, чем те, что она видела при обучении. На дистракторы тоже реагирует лучше, чем бейзлайны (меньше “отвлекается”).
В играх Атари при замене RIM'ом обычной LSTM и обучении через PPO результат ощутимо улучшается.
На языковом моделировании тоже получше, чем близкая по параметрам LSTM, так что можно и не только для RL применять.
Всякими абляциями показывают, что внимание на входе важно, коммуникация между RIM’ами важна, разреженность в активности модулей тоже. Если каждый механизм сложен, то легко можно получить доминирование одного модуля над всеми и тогда интересного обучения не получается. Если же модули не слишком сложные, то они вынуждены кооперироваться. Что-то в этом есть.
В общем это интересный inductive bias про то, что всё не обязано взаимодействовать со всем.
На ICLR 2020 не взяли :)
У этой движухи есть продолжения. Stay tuned!
В играх Атари при замене RIM'ом обычной LSTM и обучении через PPO результат ощутимо улучшается.
На языковом моделировании тоже получше, чем близкая по параметрам LSTM, так что можно и не только для RL применять.
Всякими абляциями показывают, что внимание на входе важно, коммуникация между RIM’ами важна, разреженность в активности модулей тоже. Если каждый механизм сложен, то легко можно получить доминирование одного модуля над всеми и тогда интересного обучения не получается. Если же модули не слишком сложные, то они вынуждены кооперироваться. Что-то в этом есть.
В общем это интересный inductive bias про то, что всё не обязано взаимодействовать со всем.
На ICLR 2020 не взяли :)
У этой движухи есть продолжения. Stay tuned!
👍1