Improving Neural Language Models with a Continuous Cache
Edouard Grave, Armand Joulin, Nicolas Usunier
Статья: https://arxiv.org/abs/1612.04426
Уже довольно старая статья частично тех же авторов, что и недавно описанный Feedback Transformer. И, мне кажется, она тоже недостаточно известна.
Идея проста и эффективна: давайте кешировать прошлые активации языковой модели (имеется в виду скрытое состояние RNN) с соответствовавшими им словами, и при вычислении вероятности генерации очередного слова ходить в кеш (через dot product attention), чтобы модифицировать эти вероятности на основе хранимого в кеше длинного контекста.
Это по сути упрощённый вариант memory-augmented моделей. Память активаций есть, модель в неё ходит, но, что интересно, механизм крайне прост, вообще не требует обучения и может быть добавлен к уже имеющейся модели. Такая память может быть объёмом в тысячи ячеек.
Технически, механизм очень простой. При генерации слова X_{i+1} из скрытого состояния H_i мы сохраняем в кеше пару (H_i, X_{i+1}). В момент t генерации очередного слова мы считаем dot product текущего состояния H_t со всеми состояниями в кеше и получаем распределение вероятностей соответствующих слов из кеша. Затем эту вероятность можно замешать с обычной вероятностью генерации слов предварительно обученной моделью (замешивать можно разными способами). С получившимся модифицированным распределением вероятностей работаем как обычно, например, сэмплим из него.
Модель кеша эксплуатирует наблюдение, что как только слово встретилось в документе однажды, гораздо больше шансов встретить его вновь. Она улучшает языковую модель, отлавливая дальние зависимости. Это позволяет эффективно адаптировать модель к новому домену, а также такие модели могут предсказывать внесловарные слова после того, как те один раз уже встретились (и чтобы это работало, я так понимаю, X_{i+1} это не слово, которое мы сгенерили в момент времени i, а слово, которое пришло на вход в момент времени i+1 и которое мы привязали к скрытому состоянию H_i). Ну и вообще хорошая работа с дальними зависимостями улучшает качество сгенерированного текста.
Модель даёт хорошее улучшение относительно базовой LSTM и чем больше размер памяти, тем заметнее улучшение. Авторы продемонстрировали, что модель скейлится до тысяч ячеек, сохраняя способность улучшать результаты. Элементарно добавить поверх обученной модели.
Интересно, кстати, было бы добавить поверх GPT-3, хотя в трансформерах с этим, пожалуй, из коробки несколько получше, но всё равно потенциально можно расширить контекст. И вообще, кажется, тогда получится лайтовый вариант Feedback Transformer. Ну тоже интересно, особенно тем, что отдельное обучение не требуется (которое у Feedback Transformer было к тому же более медленным).
Эта статья попала постером на ICLR 2017.
У статьи есть продолжение “Unbounded cache model for online language modeling with open vocabulary” (https://arxiv.org/abs/1711.02604), попавшее на NIPS 2017. Там добавляют неограниченную память, в которой хранят вообще всё предыдущее, а для вытаскивания из кеша используют approximate kNN (k=200...1000).
Тут по идее можно было бы собрать аналог лайтового Feedback Transformer с очень большим контекстом, и в случае GPT-3 иметь просто гигантские промпты, что весьма интересно. Расскажите, если кто доберётся попробовать раньше меня.
Edouard Grave, Armand Joulin, Nicolas Usunier
Статья: https://arxiv.org/abs/1612.04426
Уже довольно старая статья частично тех же авторов, что и недавно описанный Feedback Transformer. И, мне кажется, она тоже недостаточно известна.
Идея проста и эффективна: давайте кешировать прошлые активации языковой модели (имеется в виду скрытое состояние RNN) с соответствовавшими им словами, и при вычислении вероятности генерации очередного слова ходить в кеш (через dot product attention), чтобы модифицировать эти вероятности на основе хранимого в кеше длинного контекста.
Это по сути упрощённый вариант memory-augmented моделей. Память активаций есть, модель в неё ходит, но, что интересно, механизм крайне прост, вообще не требует обучения и может быть добавлен к уже имеющейся модели. Такая память может быть объёмом в тысячи ячеек.
Технически, механизм очень простой. При генерации слова X_{i+1} из скрытого состояния H_i мы сохраняем в кеше пару (H_i, X_{i+1}). В момент t генерации очередного слова мы считаем dot product текущего состояния H_t со всеми состояниями в кеше и получаем распределение вероятностей соответствующих слов из кеша. Затем эту вероятность можно замешать с обычной вероятностью генерации слов предварительно обученной моделью (замешивать можно разными способами). С получившимся модифицированным распределением вероятностей работаем как обычно, например, сэмплим из него.
Модель кеша эксплуатирует наблюдение, что как только слово встретилось в документе однажды, гораздо больше шансов встретить его вновь. Она улучшает языковую модель, отлавливая дальние зависимости. Это позволяет эффективно адаптировать модель к новому домену, а также такие модели могут предсказывать внесловарные слова после того, как те один раз уже встретились (и чтобы это работало, я так понимаю, X_{i+1} это не слово, которое мы сгенерили в момент времени i, а слово, которое пришло на вход в момент времени i+1 и которое мы привязали к скрытому состоянию H_i). Ну и вообще хорошая работа с дальними зависимостями улучшает качество сгенерированного текста.
Модель даёт хорошее улучшение относительно базовой LSTM и чем больше размер памяти, тем заметнее улучшение. Авторы продемонстрировали, что модель скейлится до тысяч ячеек, сохраняя способность улучшать результаты. Элементарно добавить поверх обученной модели.
Интересно, кстати, было бы добавить поверх GPT-3, хотя в трансформерах с этим, пожалуй, из коробки несколько получше, но всё равно потенциально можно расширить контекст. И вообще, кажется, тогда получится лайтовый вариант Feedback Transformer. Ну тоже интересно, особенно тем, что отдельное обучение не требуется (которое у Feedback Transformer было к тому же более медленным).
Эта статья попала постером на ICLR 2017.
У статьи есть продолжение “Unbounded cache model for online language modeling with open vocabulary” (https://arxiv.org/abs/1711.02604), попавшее на NIPS 2017. Там добавляют неограниченную память, в которой хранят вообще всё предыдущее, а для вытаскивания из кеша используют approximate kNN (k=200...1000).
Тут по идее можно было бы собрать аналог лайтового Feedback Transformer с очень большим контекстом, и в случае GPT-3 иметь просто гигантские промпты, что весьма интересно. Расскажите, если кто доберётся попробовать раньше меня.
👍1
Recurrent Independent Mechanisms (RIMs)
Anirudh Goyal, Alex Lamb, Jordan Hoffmann, Shagun Sodhani, Sergey Levine, Yoshua Bengio, Bernhard Schölkopf
Статья: https://arxiv.org/abs/1909.10893
Ещё пройдёмся по малоизвестным, но интересным статьям.
Рекуррентные независимые механизмы, (Recurrent Independent Mechanisms или RIMs), от весьма достойного коллектива авторов целятся в создание модульной рекуррентной архитектуры, способной поймать динамику среды.
Мотив такого подхода в том, что в реальном мире многие динамические системы состоят из набора сравнительно независимых подсистем, эволюционирующих во времени и реагирующих на различные силы и интервенции. И агенту обычно нет нужды одновременно и одинаково пристально следить за всеми системами, а при построении плана стоит рассматривать совместно лишь сильно взаимодействующие части. Такая разреженность и модульность могут упростить обучение.
В этой архитектуре для моделирования динамической системы вся модель разделяется на k небольших подсистем, каждая из которых рекуррентная (чтобы можно было выучить динамику). Эти подсистемы и называются RIM’ами, и каждый RIM выучивает что-то своё.
Верхнеуровнево группы рекуррентных ячеек (RIM’ов) работают сравнительно независимо и изредка через механизм внимания взаимодействуют между собой, а также со входом. Каждый RIM в работе представляется какой-то рекуррентной сетью (LSTM, GRU) со своим набором параметров и вектором состояния.
Если более детально, то работа RIM’ов состоит из нескольких шагов:
1. Каждый RIM обращается через механизм внимания ко входу системы. RIM генерирует query (Q), а ключи и значения (K,V) получаются из элементов входа. Можно считать, что на входе есть множество каких-то переменных и каждый RIM должен выбрать что-то релевантное для себя.
2. Активироваться в итоге должно какое-то небольшое количество RIM’ов (это гиперпараметр, k_A). Реализация этого проста: ко входу добавляем вектор нулей, смотрим какое “внимание” обращает на этот вектор каждый из RIM, ранжируем по степени активации и выбираем k_A тех, кто обратил на нулевой вектор наименьшее внимание. Это множество активировавшихся модулей, S_t.
3. Активировавшиеся модули из множества S_t обсчитывают свою динамику по своим выученным функциям (то есть делают обычный шаг рекуррентной архитектуры, LSTM, например, h_{t+1} = LSTM(h_t, attention_to_input). Неактивировавшиеся модули остаются неизменёнными.
4. Активировавшиеся модули также могут считать состояние всех других модулей, включая неактивные (там тоже может быть что-то ценное). Это тоже делается через механизм внимания, каждый модуль генерит Q, а состояния остальных модулей дают K,V. Итоговое новое состояние модуля считается как сумма результатов механизма внимания и своего состояния из пункта 3 (в статье, похоже, опечатка, там состояние взято от предыдущего момента времени, но это неверно).
У архитектуры по сути два гиперпараметра: общее число модулей (K) и число активных модулей на каждом шаге (k_A). В принципе также есть тип ячейки (LSTM, GRU, whatever) с её параметрами, а также число голов внимания.
Сетки в принципе гоняли маленькие. Скрытое состояние суммарно 600 юнитов, K=6, k_A обычно 4, головы тоже 4.
Эксперименты проводили на задачах типа копирования (на вход подаётся последовательность символов, затем много пустых входов, а затем сигнал на воспроизведение оригинальной последовательности и система должна её выдать); sequential MNIST (классификация символов из MNIST, вытянутых в последовательность пикселей); задачка с прыгающими мячами (множество шариков разных масс и размеров движется внутри окошка, отскакивая друг от друга в соответствии с базовой физикой); а также RL-задачка на object picking из BabyAI, где много дистракторов.
Anirudh Goyal, Alex Lamb, Jordan Hoffmann, Shagun Sodhani, Sergey Levine, Yoshua Bengio, Bernhard Schölkopf
Статья: https://arxiv.org/abs/1909.10893
Ещё пройдёмся по малоизвестным, но интересным статьям.
Рекуррентные независимые механизмы, (Recurrent Independent Mechanisms или RIMs), от весьма достойного коллектива авторов целятся в создание модульной рекуррентной архитектуры, способной поймать динамику среды.
Мотив такого подхода в том, что в реальном мире многие динамические системы состоят из набора сравнительно независимых подсистем, эволюционирующих во времени и реагирующих на различные силы и интервенции. И агенту обычно нет нужды одновременно и одинаково пристально следить за всеми системами, а при построении плана стоит рассматривать совместно лишь сильно взаимодействующие части. Такая разреженность и модульность могут упростить обучение.
В этой архитектуре для моделирования динамической системы вся модель разделяется на k небольших подсистем, каждая из которых рекуррентная (чтобы можно было выучить динамику). Эти подсистемы и называются RIM’ами, и каждый RIM выучивает что-то своё.
Верхнеуровнево группы рекуррентных ячеек (RIM’ов) работают сравнительно независимо и изредка через механизм внимания взаимодействуют между собой, а также со входом. Каждый RIM в работе представляется какой-то рекуррентной сетью (LSTM, GRU) со своим набором параметров и вектором состояния.
Если более детально, то работа RIM’ов состоит из нескольких шагов:
1. Каждый RIM обращается через механизм внимания ко входу системы. RIM генерирует query (Q), а ключи и значения (K,V) получаются из элементов входа. Можно считать, что на входе есть множество каких-то переменных и каждый RIM должен выбрать что-то релевантное для себя.
2. Активироваться в итоге должно какое-то небольшое количество RIM’ов (это гиперпараметр, k_A). Реализация этого проста: ко входу добавляем вектор нулей, смотрим какое “внимание” обращает на этот вектор каждый из RIM, ранжируем по степени активации и выбираем k_A тех, кто обратил на нулевой вектор наименьшее внимание. Это множество активировавшихся модулей, S_t.
3. Активировавшиеся модули из множества S_t обсчитывают свою динамику по своим выученным функциям (то есть делают обычный шаг рекуррентной архитектуры, LSTM, например, h_{t+1} = LSTM(h_t, attention_to_input). Неактивировавшиеся модули остаются неизменёнными.
4. Активировавшиеся модули также могут считать состояние всех других модулей, включая неактивные (там тоже может быть что-то ценное). Это тоже делается через механизм внимания, каждый модуль генерит Q, а состояния остальных модулей дают K,V. Итоговое новое состояние модуля считается как сумма результатов механизма внимания и своего состояния из пункта 3 (в статье, похоже, опечатка, там состояние взято от предыдущего момента времени, но это неверно).
У архитектуры по сути два гиперпараметра: общее число модулей (K) и число активных модулей на каждом шаге (k_A). В принципе также есть тип ячейки (LSTM, GRU, whatever) с её параметрами, а также число голов внимания.
Сетки в принципе гоняли маленькие. Скрытое состояние суммарно 600 юнитов, K=6, k_A обычно 4, головы тоже 4.
Эксперименты проводили на задачах типа копирования (на вход подаётся последовательность символов, затем много пустых входов, а затем сигнал на воспроизведение оригинальной последовательности и система должна её выдать); sequential MNIST (классификация символов из MNIST, вытянутых в последовательность пикселей); задачка с прыгающими мячами (множество шариков разных масс и размеров движется внутри окошка, отскакивая друг от друга в соответствии с базовой физикой); а также RL-задачка на object picking из BabyAI, где много дистракторов.
👍2
RIM показали себя достойно, лучше LSTM, NTM (Neural Turing Machine), RMC (Relational Memory Core), трансформера, DNC (Differentiable Neural Computer). На Sequential MNIST аналогично. Модель неплохо обобщает, работает на последовательностях длин сильно больших, чем те, что она видела при обучении. На дистракторы тоже реагирует лучше, чем бейзлайны (меньше “отвлекается”).
В играх Атари при замене RIM'ом обычной LSTM и обучении через PPO результат ощутимо улучшается.
На языковом моделировании тоже получше, чем близкая по параметрам LSTM, так что можно и не только для RL применять.
Всякими абляциями показывают, что внимание на входе важно, коммуникация между RIM’ами важна, разреженность в активности модулей тоже. Если каждый механизм сложен, то легко можно получить доминирование одного модуля над всеми и тогда интересного обучения не получается. Если же модули не слишком сложные, то они вынуждены кооперироваться. Что-то в этом есть.
В общем это интересный inductive bias про то, что всё не обязано взаимодействовать со всем.
На ICLR 2020 не взяли :)
У этой движухи есть продолжения. Stay tuned!
В играх Атари при замене RIM'ом обычной LSTM и обучении через PPO результат ощутимо улучшается.
На языковом моделировании тоже получше, чем близкая по параметрам LSTM, так что можно и не только для RL применять.
Всякими абляциями показывают, что внимание на входе важно, коммуникация между RIM’ами важна, разреженность в активности модулей тоже. Если каждый механизм сложен, то легко можно получить доминирование одного модуля над всеми и тогда интересного обучения не получается. Если же модули не слишком сложные, то они вынуждены кооперироваться. Что-то в этом есть.
В общем это интересный inductive bias про то, что всё не обязано взаимодействовать со всем.
На ICLR 2020 не взяли :)
У этой движухи есть продолжения. Stay tuned!
👍1
Learning to Combine Top-Down and Bottom-Up Signals in Recurrent Neural Networks with Attention over Modules
Sarthak Mittal, Alex Lamb, Anirudh Goyal, Vikram Voleti, Murray Shanahan, Guillaume Lajoie, Michael Mozer, Yoshua Bengio
Статья: https://arxiv.org/abs/2006.16981
Статья про дальнейшее развитие RIM — BRIM, Bidirectional RIM. Эту взяли на ICML 2020.
Серьёзное ограничение RIM (как и многих других архитектур, работающих с последовательностями наблюдений) в том, что в них отсутствуют top-down сигналы. По идее, предыдущий опыт даёт различную ценную информацию в виде убеждений, ожиданий, контекста и другой верхнеуровневой информации, могущей серьёзно повлиять на восприятие входных данных. BRIM собственно и предлагает совместить оба пути, bottom-up (обычный) и top-down.
Вот, кстати, недавно описанный Feedback Transformer тоже предлагал аналогичный путь для информации в сети, и он был неплох по результатам. В типовых же архитектурах передача информации сверху вниз отсутствует напрочь (рекуррентные сети — это не то, там связи лишь внутри одного слоя, сверху вниз их нет). А в мозгу таких связей навалом.
Ещё одно ограничение оригинальной работы про RIM — это отсутствие иерархии. В модели не было множества слоёв, были лишь конкурирующие модули, они все существовали на едином уровне иерархии.
Текущая работа добавляет к RIM, во-первых, иерархию слоёв, а, во-вторых, связи от более высоких в иерархии слоёв к нижним. Каждый слой по-прежнему состоит из некоторого числа отдельных модулей (как в RIM).
Общение между модулями теперь устроено богаче. Модуль из слоя L в момент времени t генерит ключи Q и обращается через механизм внимания к 1) нижележащим модулям со слоя L-1 в тот же момент времени t; 2) вышележащим модулям со слоя L+1 за предыдущий момент времени t-1; 3) ну и ко всё тому же вектору нулей, чтобы по активациям к этому вектору отобрать активные модули.
Внутри слоя общение модулей устроено как раньше — активные модули обновляют своё состояние по всем модулям текущего слоя, неактивные сохраняют старое состояние.
Никаких дополнительных лоссов модель не требует, это что называется drop-in replacement для LSTM/GRU.
Получается красивая модульная архитектура с иерархией, где потоки информации регулируются механизмами внимания. Это в общем уже близко к теории сознания под названием Global Workspace Theory (теория глобального рабочего пространства).
Проводят эксперименты с различными бейзлайнами: варианты LSTM (иерархические, с фидбеком, со вниманием, или со всем сразу), трансформеры, RMC, RIM, иерархический RIM. BRIM берут двуслойный.
На sequential MNIST/CIFAR BRIM генерализует на более высокие разрешения лучше остальных. Из прикольного, чем больше в данных на входе шума, тем больше модель смотрит на верхние модули.
На задаче сложения (идёт поток чисел на вход, затем сигнал какие два из потока нужно сложить результат лучше аналогичной LSTM.
На stochastic moving MNIST (видео 64x64 в котором одно или два символа летают и отскакивают от стенок, и надо предсказать будущие кадры) результат лучше, чем у другой модели.
На отскакивающих мячиках (в том числе с закрывающей часть картинки ширмой) BRIM даёт результат лучше, чем LSTM или RIM.
Ну и языковое моделирование тоже лучше.
В RL на десяти первых по алфавиту Атари играх работает лучше LSTM/RIM.
В общем с точки зрения перформанса норм.
Важность внимания и модульности показали ещё в RIM. Здесь дополнительно из абляций показали, что двунаправленность и иерархия также очень важны.
Sarthak Mittal, Alex Lamb, Anirudh Goyal, Vikram Voleti, Murray Shanahan, Guillaume Lajoie, Michael Mozer, Yoshua Bengio
Статья: https://arxiv.org/abs/2006.16981
Статья про дальнейшее развитие RIM — BRIM, Bidirectional RIM. Эту взяли на ICML 2020.
Серьёзное ограничение RIM (как и многих других архитектур, работающих с последовательностями наблюдений) в том, что в них отсутствуют top-down сигналы. По идее, предыдущий опыт даёт различную ценную информацию в виде убеждений, ожиданий, контекста и другой верхнеуровневой информации, могущей серьёзно повлиять на восприятие входных данных. BRIM собственно и предлагает совместить оба пути, bottom-up (обычный) и top-down.
Вот, кстати, недавно описанный Feedback Transformer тоже предлагал аналогичный путь для информации в сети, и он был неплох по результатам. В типовых же архитектурах передача информации сверху вниз отсутствует напрочь (рекуррентные сети — это не то, там связи лишь внутри одного слоя, сверху вниз их нет). А в мозгу таких связей навалом.
Ещё одно ограничение оригинальной работы про RIM — это отсутствие иерархии. В модели не было множества слоёв, были лишь конкурирующие модули, они все существовали на едином уровне иерархии.
Текущая работа добавляет к RIM, во-первых, иерархию слоёв, а, во-вторых, связи от более высоких в иерархии слоёв к нижним. Каждый слой по-прежнему состоит из некоторого числа отдельных модулей (как в RIM).
Общение между модулями теперь устроено богаче. Модуль из слоя L в момент времени t генерит ключи Q и обращается через механизм внимания к 1) нижележащим модулям со слоя L-1 в тот же момент времени t; 2) вышележащим модулям со слоя L+1 за предыдущий момент времени t-1; 3) ну и ко всё тому же вектору нулей, чтобы по активациям к этому вектору отобрать активные модули.
Внутри слоя общение модулей устроено как раньше — активные модули обновляют своё состояние по всем модулям текущего слоя, неактивные сохраняют старое состояние.
Никаких дополнительных лоссов модель не требует, это что называется drop-in replacement для LSTM/GRU.
Получается красивая модульная архитектура с иерархией, где потоки информации регулируются механизмами внимания. Это в общем уже близко к теории сознания под названием Global Workspace Theory (теория глобального рабочего пространства).
Проводят эксперименты с различными бейзлайнами: варианты LSTM (иерархические, с фидбеком, со вниманием, или со всем сразу), трансформеры, RMC, RIM, иерархический RIM. BRIM берут двуслойный.
На sequential MNIST/CIFAR BRIM генерализует на более высокие разрешения лучше остальных. Из прикольного, чем больше в данных на входе шума, тем больше модель смотрит на верхние модули.
На задаче сложения (идёт поток чисел на вход, затем сигнал какие два из потока нужно сложить результат лучше аналогичной LSTM.
На stochastic moving MNIST (видео 64x64 в котором одно или два символа летают и отскакивают от стенок, и надо предсказать будущие кадры) результат лучше, чем у другой модели.
На отскакивающих мячиках (в том числе с закрывающей часть картинки ширмой) BRIM даёт результат лучше, чем LSTM или RIM.
Ну и языковое моделирование тоже лучше.
В RL на десяти первых по алфавиту Атари играх работает лучше LSTM/RIM.
В общем с точки зрения перформанса норм.
Важность внимания и модульности показали ещё в RIM. Здесь дополнительно из абляций показали, что двунаправленность и иерархия также очень важны.
👍2