Emerging Properties in Self-Supervised Vision Transformers

🕔 RIZZEARCH THROWBACK 🕔

Авторы делают SSL, мотивируясь дистилляцией. В стандартной дистилляции мы минимизируем кросс-энтропию между распределениями вероятностей ученика и учителя. Чтобы адаптировать этот подход под SSL, по классике добавляют два представления картинки (в нашем случае картинка и ее локальные кропы). Все кропы кодируются через student сеть, когда global views через учителя. Так выучиваются “локально-глобальные” признаки

Для того, чтобы избежать частую проблемы коллапса, используют EMA обучение учителя → это вносит некую асимметрию в веса. Также делают центрирование фичей с учителя, для того, чтобы избегать коллапса из-за склона в определенное измерение. Дополнительно, чтобы избежать uniform коллапс для учителя используют низкую температуру в софтмаксе → распределение имеет более высокую дисперсию

Еще вишенка, что признаки SSL ViTа классно подходят для downstream задач, что авторы показывают в статье. Вообще эта работа (и скажем BYOL) положила некое начало методам self-distillation и до сих поря влияет на современные методы SSL

👀 LINK

xLSTM: Extended Long Short-Term Memory

make LSTM great again 😎😎😎

как бы ни был крут лстм по заверениям Шмидхубера, которому мы обязаны за все современные методы во всех областях дл :roflanebalo:, эта рнн неидеальна в связи с проблемами, который каждый знает по первым урокам в дл

авторы данной статьи, один из которых кстати ответственен за сам лстм, добавили неплохие эмпирические фичи для улучшения оверолл перформанса, и в принципе справились с этим

что же они добавили? заменили нелинейность в forget gate и input gate на экспоненту и добавили матричную память, которая обновляется по covariance update rule

1) зачем заменять на экспоненту? для численной стабильности, в основном, что очень критично для рнн в принципе из-за вечных проблем с затуханием или взрывом градиентов + добавляют стабилизатор в логарифмическом пространстве на входной и забывающий гейты, чтобы точно ниче не разрывалось во время бекворда (часто используемый работающий трюк с экспоненциацией в численном анализе - есть даже факт, что деление чисел с плавающей точкой менее стабильно, чем возводить в экспоненту разницу логарифмов fyi)

2) а матричная память сделана довольно интересно - это не что иное, как ассоциативная память (посты о которой вы можете найти здесь). аналогично терминологии трансформера, создают запросы, ключи и значения qkv и получают хидден стейт в качестве значени v наиболее близких к запросу q (есчо смотрите формулы). кстати в формулу обновления ассоциативной памяти так же включены инпут и форгет гейты чтобы сделать ее более “lstm-like” + это все параллелизуется

правда есть вопросик к последнему пункту - почему бы не получать хидден стейт без ассоциативной памяти, а просто иметь обучаемую матрицу, которую будем домножать на запросы → получим ли то же самое? кнш прикольно, что ассоциативная память так тут используется (и это даже работает!), но простота - сестра таланта хз

также круто, что показывают результаты, где они не лучше всех - потому что суть статьи изначально в том, чтобы показать улучшенный лстм (а значит и лучше резы в большинстве случаев), а не новую соту которая превосходит трансформер брррр

👀LINK

P.S в абстракте пишут “LSTM constituted the first Large Language Models (LLMs)”. имхо спорно, по мне первые большие языковые модели были оч объемные н-граммы от гугла