Do Llamas Work in English? On the Latent Language of Multilingual Transformers

Одна из любимых статей последнего года, прям очень нравится и идея, и реализация, и мотивация, и выводы.

TLDR:
Смотрят на активации внутри llama-2, приходят к выводу, что разные части декодера отвечают за разные задачи внутри модели (перевод в embedding space, рахмышления в concept space, перевод в натуральный язык в output space).

Метод:
- Для создания эмбеддингов, они используют logit lens:
— Перед тем, как модель придумывает следующий токен, она должна взять выход последнего слоя и домножить на некоторую unembedding matrix, которая превратит его в logit scores, которые потом проходят через софтмакс, чтобы получить вероятности токенов
— Поскольку все слои имеют ту же размерность, что и последний слой, нам не так важно, какой слой домножать на unembedding matrix и с какого считать logit scores
— Таким образом, мы можем посмотреть вероятности токенов на любом, даже первом слое
- Три таски:
— Перевод на заданный язык
— Повторение того же слова
— Sort-of MLM, где маскируется одно слово и модели надо вставить пропущенное
- Такие таски нужны для предсказуемости следующего токена
- Каждый слой нужен для того, чтобы добавить небольшой сдвиг на сфере размерностью в хидден
- Mean squared cosine между выходом h и unembedding matrix U (?) даёт token energy, это нужно чтобы понять насколько бесполезна инфа от этого слоя для предсказания следующего токена
- На llama-2-70b получается:
— На 1-40 слоях энтропия вероятных следующих токенов высокая (следующий токен может быть какой угодно), энергия токена низкая (инфа от слоя малополезна для следующего токена), нет чёткого доминирующего языка
— На 41-70 слоях низкая энтропия (следующих токенов мало), низкая энергия токена (инфа от слоя малополезна), английский доминирует, так как модель много его видела и английские токены ближе всего к смысловому эмбеддингу. При этом, информация о языке токена всё ещё остаётся внутри эмбеддинга.
— На 71-80 слоях низкая энтропия (следующих токенов мало), высокая энергия токена (инфа от слоя полезна), язык ответа модели доминирует
- Авторы пишут, что энергия латентов показывает в большей степени не на язык, а на концепты, но концепты больше связаны с английским, располагаясь ближе к пространству английских токенов на шаре

Мысли:
- Модели внутри себя переводят текст на англ
— Это заметно со стихами — у некоторых крутых декодеров классно пишутся стихи на английском, но так себе на русском. А вот если перевести текст на русском на английский, получатся стихи в рифму!
- В начале у нас sort of mapping в латентный язык, в середине sort of размышления, как правильно достать оттуда инфу, в конце sort of unmapping в реальный язык.

Paper: https://arxiv.org/pdf/2402.10588
Github: https://github.com/epfl-dlab/llm-latent-language

Figure 4d: Все эмбеддинги на d-мерной сфере, где d — размерность хиддена модели. Эмбеддинги токенов лежат на экваторе, по x лежит язык (от английского до китайского), по y лежит смысл/концепт (слово sweetness), по z лежит дополнительная информация, которая потребуется на следующих слоях, типа контекста и прочего.

Matryoshka Representation Learning и MatFormer

Есть такая штука, Matryoshka Embeddings. Суть в том, что если мы учим какой-нибудь берт, вит или резнет, мы на выходе получаем довольно жирный вектор эмбеддингов — например, 2048-мерный. Если мы хотим снизить число измерений в нем, мы можем либо взять эмбеддер с меньшей размерностью, либо попробовать порезать этот вектор, повыкидывав часть измерений из него. Ожидаемо, второй вариант снизит качество эмбеддингов, а в первом подходящей нам модели может не оказаться.

Авторы статьи предложили очень простую идею: а что если мы будем вешать лосс не только на весь слой, но ещё и на первые {1024, 512, ..., 32, 16, 8} измерений выхода этого слоя, проставлять веса и оптимизировать всё сразу? В результате они добились того, что самые важные значения вектора оказываются в начале, а менее важные — в конце. Таким образом, качество эмбеддингов при откидывании правой части вектора снижается совсем незначительно.

Идея прижилась, поддержку матрёшек завезли в sentence transformers, теперь их активно используют для, например, ускорения поиска по векторной базе в RAG'е. А потом можно ту же модель, но с большей размерностью эмбеддинга использовать, например, для реранкинга.

Однако авторы на этом не остановились и предложили новую идею — MatFormer. Суть следующая:

- Учим с матрешкой feedforward слои трансформера (хоть энкодера, хоть декодера, не так важно)
- На этапе инференса либо руками, либо через роутинг как в MoE динамически откидываем "лишние" части справа
- Получаем уменьшенную модель, которая становится легче и немножко теряет в качестве

Идея сработала. Более того, оказалось, что можно комбинировать FFN разной размерности и получать не d (размерность матрёшки) моделей, а d^n (где n — число слоев), получая более гибкую настройку размера модели под имеющийся компьют. При этом количество ресурсов на обучение остаётся сравнимым с ванильным трансформером!

Качество такой модели не уступает модели, обученной без матрёшки, а при прунинге мы можем отказаться аж от 40% параметров. Интересно, кстати, насколько тяжело потом пруненные таким образом модели квантовать.

К сожалению, кажется, идея не прижилась. А жаль.

Базовая статья про матрёшки: https://arxiv.org/abs/2205.13147
Статья про MatFormer: https://arxiv.org/pdf/2310.07707

Прикольный бейзлайн для энкодеров для простеньких задач типа мелкой классификации, дедупа или близости. Работает на вынимании первого слоя nn.Embedding у какой-нибудь большой и мудрой модели вроде llama-3-70b и обучения мелкой модельки с теми же матрёшками, если я верно всё понял. Получается 16-мегабайтная модель, которая работает лучше стареньких бейзлайнов типа GloVe, но заметно хуже современных сот большего размера (не для того, всё таки, делалось). Есть замеры на MTEB'е.

Кажется, из-за выбора именно первого слоя в мультиязе такая штука не будет работать хорошо (то есть similarity параллельных переводов одной и той же фразы не будет близким), потому что первый слой, как правило, имеет сгруппированные по языкам представления (см картинку). Но может быть автор как-то по умному их учил, надо будет проверить.

https://github.com/dleemiller/WordLlama

jina-embeddings-v3: Multilingual Embeddings With Task LoRA

В 2022 году, если я не ошибаюсь, впервые представили инструктивный эмбеддер — Instructor. Это была довольно прорывная идея, потому что теперь эмбеддеры могли быть обучены на разные задачи (ретрив, реранк, классификация, кластеризация) и для того, чтобы воспользоваться моделью для новой задачи, надо было всего лишь приаппендить промпт слева к тексту, который мы эмбеддим. Это сильно помогло модели, в своё время она стала сотой на MTEB с довольно уверенным отрывом от конкурентов того же размера на многих задачах. С тех пор, конечно, утекло много воды, соты менялись, придумали даже делать эмбеддеры на декодерах, но идея прижилась. Одна из лучших мультилингв моделей в размере до 1B — multilingual-e5-large-instruct — инструктивная.

Кроме того, в последнее время стали появляться мультилингв эмбеддеры. Но проблема в том, что такие эмбеддеры сильно просаживались по качеству по сравнению с монолингв моделями — BGE-M3, например, по моим замерам, в ретривале сильно отставала даже от bge-1.5-base, модели, которая была в пять раз меньше.

И вот сегодня в Daily Papers прилетела статья от стартапа Jina AI, в которой они представляют эмбеддинговую модель, которая, во-первых, лучше проприетарных text-embeddings-3-large и cohere-embed-multilingual-3.0, лучше моего предыдущего фаворита multilingual-e5-large-instruct, всё ещё хороша на английском, и, внезапно, использует не инструкции, а отдельно натюненные лоры для выполнения итоговых задач. Насколько я знаю, такой подход применяется впервые, круто, что наконец то кто-то это сделал.

Ну а ещё модель размером всего 572M ("всего" — потому что текущие соты на MTEB это здоровенные 7-9B эмбеддеры, которых доучивали с декодеров типа мистрали или геммы), не очень сильно уступает большим сотам по качеству (клеймят, что e5-mistral-instruct лучше всего на 1%), обучена с матрёшками для того, чтобы можно было снизить вес векторной базы и имеет контекст в 8192 токена, так как алгоритм позиционного энкодинга там RoPE. Звучит очень круто, но надо, конечно, проверять самому.

В качестве инита они брали XLM-RoBERTa, дообучали на своём сете, а потом делали пять адаптеров: text-matching для STS, classification для классификации, separation для реранкинга и классификации и query и passage для энкодинга query и passage при ретриве. У каждого был свой лосс и свой обучающий сет, они довольно подробно всё расписывают, интересно было почитать.

Разумеется, надо самому тыкать руками и перепроверять, но звучит как сказка: сравнительно компактный эмбеддер, который ещё и выдаёт сота мультилингв результаты по многим задачам. Единственный минус — лицензия cc-by-nc-4.0, а не пермиссивная MIT, но я думаю, что скоро идею с лорами подхватят и у нас появятся новые соты с нормальными лицензиями.

Paper: https://arxiv.org/abs/2409.10173
HF: https://huggingface.co/jinaai/jina-embeddings-v3

Если я правильно понял эту табличку, то она очень интересная — число ошибок при использовании адаптеров сильно падает, так что есть надежда, что при обучении лор, подобных jina-v3 (а не просто приклеивании инструкций, как в e5-instruct) для других моделей, можно будет добиться неплохого буста в качестве.

To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning

Сначала авторы статьи производят мета-анализ, беря 516 статей с "CoT" в тегах, уфильтровывают выборку до 110 статей и рисуют на графике 1218 экспериментов, пытаясь понять, где, на каком домене и сколько докинул CoT по сравнению с прямым промптингом. Такой мета-анализ показывает, что больше всего качество докидывается на тех вопросах, где для получения ответа можно применить какую-то символьную логику: математику, формальную, etc. Например, на коде или математике (MATH, GSM8k, BBH) качество сильно растёт, а на commonsense reasoning, language comprehension и QA (HotpotQA, Winogrande, ARC-Challenge) повышения качества практически нет, кое-где качество даже падает. Отличить вопросы, где CoT докинет качества, оказалось достаточно просто — если в вопросе используется символ "=", то скорее всего тут используется символьная логика и качество после CoT вырастет, если не используется, то не вырастет. Что забавно, они пытались найти более надёжный способ определить, используется ли символьная логика и у них не удалось. Слишком мощный признак получился.

Потом они решили перепроверить это наблюдение самостоятельно и замерили популярные открытые модели и попробовали воспроизвести результаты статей из мета-анализа. Всё воспроизвелось, и выяснилось, что CoT может ограниченно добавить качества в тех бенчах, где используется логика вперемешку с commonsense reasoning. Например, в MuSR, где описывается сцена с преступлением и модели надо найти виновника, качество при использовании CoT улучшилось, но не слишком сильно.

Самая интересная часть статьи, имхо, последняя: они замерили, насколько сильно помогают разные варианты промптинга и сравнили их с внешними тулами в разных вариантах задач. Авторы рассмотрели пять разных сетапов:

1. Few Shot Direct Answer — просто спрашиваем у модели во фьюшоте что она думает по поводу задачи.
2. Chain of Thought — классический CoT без особых изысков.
3. Plan + Direct Solver — генерим моделью план (например, в виде программы на питоне для математики) и промптим модель сказать, что получится в конце этого плана.
4. Plan + CoT Solver — генерим моделью план, а потом по нему идём в режиме CoT, прося модель проговаривать каждый шаг исполнения плана.
5. Plan + Tool Solver — генерим моделью план, а потом передаём его во внешнюю программу, например, в репл питона или SMT-солвер, которые уже выдают ответ.

Получилось, что CoT это такое слабоватое (но универсальное) приближение внешнего солвера, использование которого почти на всех сетах сильно улучшало метрики. Исключения — тыщу раз протёкший в трейн GSM8k и FOLIO, который, видимо, достаточно сложный для моделей.

Какие мы можем сделать из этого выводы:

- Языковые модели в текущем их виде ненадёжны и использование простого советского Z3 влёгкую обходит сота модели по качеству исполнения уже написанного и корректного плана.
- CoT действительно помогает моделям улучшить метрики на некоторых бенчмарках, в основном, про математику или формальную логику.
- CoT абсолютно бесполезен для фактоидной точности моделей.

Paper: https://arxiv.org/abs/2409.12183

Красивая картинка с результатами метаанализа.