Давайте уже сразу выводы в название папир запихивать ну а че

Another day another model, на этот раз от Mosaic

Почему может быть интересно:
- Выпустили модель MPT-7B-StoryWriter-65k+, с контекстным окном 65k токенов для написания длинных историй (учили на книжках). Кажется самый большой контекст, который есть в опенсорсе сейчас
- Выпустили MPT-7B-Instruct, которая следуюет инструкциям и отвечает в краткой форме. Учили на датасетах Dolly и HH-RLHF от Anthropic
- Last but not least выпустили MPT-7B-Chat, который учили на ShareGPT-Vicuna (это пошернные переписки пользователей с ChatGPT), Alpaca и снова HH-RLHF

Еще из приятного:
- Foundation model MPT-7B (от которой тюнили все остальное) учили на 1T токенов, как и LLaMA
- У всего этого снова божеская лицензия, позволяющая коммерческое использование
- Выложили код для тренировки с FlashAttention
- Поддерживают сервинг из коробки через FasterTransformer (вау!)

hf: https://huggingface.co/mosaicml/mpt-7b
демо для чата: https://huggingface.co/spaces/mosaicml/mpt-7b-chat

Статья с завораживающим названием Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes
https://arxiv.org/abs/2305.02301

В качестве затравки авторы утверждают: 🌸«our 770M T5 model outperforms the 540B PaLM model using only 80% of available data on a benchmark task» 🌸

Что по факту они предлагают делать:
1. Взять действительно большую LLM (они используют PaLM)
2. Попросить ее нагенарить для нужного датасета ответы + объяснение, почему именно такой ответ выбран (rationale). Под ответами в статье в основном имеются в виду конкретно ответы на вопросы, выбрать что-то из multiple choice, задачки на логику и тд. Промт делают достаточно простой, просто во few-shot запихивают пару примеров ответов
3. Обучить на этих данных модель поменьше. Модель-ученика тренируют предсказывать и ответ, и объясение (через спецтокены label и rationale соответственно). Лосс на них считают по отдельности и складывают
4. ???
5. PROFIT

Имхо авторы занимаются здесь хайпожорством, так как дистилляцией такой подход сложно назвать. Вроде еще год назад, что ChatGPT, все поняли, что качество моделей сильно возрастает, если попросить их мыслить step by step и объяснять свой путь принятия решения. Я видела пару работ и про классификаторы, где использовалась ровно такая же логика: модель отдельно просили выдавать лейбл и отдельно объяснение; объяснение далее не использовалось, но сама необходимость его генерации очень бустило качество

В статье показано только то, что огромные LLM очень хорошо генерят эти rationale и на этом можно неплохо обучаться, а не пытаться от маленькой модели такой reasoning без дообучения просить

Неожиданно пожалуй, насколько крутой рост по метриках на бенчмарках это даает и насколько меньше данных оказывается нужно. Так что годный proof of concept получается, но с очень уж претенциозным названием

А вот и мемы подоспели

Редкая рубрика ‘сегодня нейросеть сказала’:

It’s that time of the day again

Возвращаюсь после небольшого перерыва и сразу с овервью еще одной модели Falcon LLM

- Основная модель размером 40B, тренировалась на 1T токенов (это все еще меньше, чем 1.4T у LLAMA). Есть версия и на 7B
- Инференс ускоряли через Flash-Attention и Multi-query Attention, так что модель получилась в 5 раз быстрее GPT-3
- На данный момент эта архитектура занимает первые два места в OpenLLM Leaderboard от Huggingface и наконец-то подвинула LLaMA 65B. Также она обходит StableLM, RedPajama и MPT от Mosaic. Но вообще надо признать, что в топ-10 лидерборда все еще много моделей по 30B, и есть даже одна 13B (вот она)
- Выпущена под лицензией Apache 2.0, и вчера авторы заявили, что больше не будут требовать роялтис за коммерческое использование
- Секрет, как утверждается, снова в кристалльно чистых данных, скауленных с интернета. Но датасет и папиру пока не релизнули(

https://huggingface.co/tiiuae/falcon-40b-instruct

Кстати всякие оптимизации аттеншена, типа Flash Attention и Multi-Query Attention и не только, неплохо описаны в этой статье (которую я честно увидела в DL in NLP)

https://medium.com/gopenai/how-to-speed-up-llms-and-use-100k-context-window-all-tricks-in-one-place-ffd40577b4c

In all seriousness, вижн про выглядят круто, особенно в плане наложения приложений на окружающий мир. С одной стороны, из этого можно сделать крутой функционал, мне лично зашла идея не покупать мониторы к компу, а просто крутить вокруг него головой))) Еще сошлись во мнении с подругой, что так гораздо круче смотреть кино, чем просто на экране впереди себя, так как можно имитировать кинозал
С другой стороны, я думаю реально использование очень быстро приблизится к тому, что описано на картинке, и это убьет и так короткий attention-span зумеров (и не только) просто в ноль. Сейчас нужно все же как-то извернуться, чтобы открыть кучу интерактивных приложений параллельно (сериал параллельно с зумом, хз), а там это будет нативно, плюс, вообще не надо будет находиться у компа (но пока рядом с кабелем). Меня вообще поразил какое-то время назад феномен тиктоков, где сбоку от видео проигрывается еще несколько, часто реально летсплей сабвей серферс, чтобы людям было не скучно смотреть 60-секундный рассказ о чем-то. И думаю it’s just the beginning

Интересно кстати, когда получится избавиться от кабеля, насколько войдет в социальную норму ходить с этими штуками просто по улице? ходить так на свидания?

Back to papers – Direct Preference Optimization: Your Language Model is Secretly a Reward Model
https://arxiv.org/abs/2305.18290

На канале было уже несколько статей о том, как можно скрестить RL и LLM, не используя при этом PPO (например, Chain of Hindsight). PPO всем хочется обойти, так как это а) сложно и нестабильно обучается б) дорого по компьюту. Тут авторы говорят: для RLHF мы собираем данные о предпочтениях юзеров (i.e. отранжированные ими ответы модели), дальше на этом учим reward модель, дальше с помощью нее через PPO обучается LLM. Но мы же хотим научиться не моделировать распределение reward’а, а непосредственно предпочтения юзеров. Почему бы нам не оптимизироваться под сами данные, а не под отдельную промежуточную модель?

Дальше они переформулируют задачу так, что она становится очень похожа на обычное contrastive обучение. У нас есть промпт x и два варианта продолжения – хороший ypref и плохой ydispref. В лосс-функции (на скриншоте), соответственно, мы будем пытаться уменьшать вероятность ydispref и повышать вероятность ypref. Также мы можем посчитать probability of completion и понять, насколько модель ошибается (то есть, насколько она предпочитает плохой ответ хорошему) – p(ydispref) - p(ypref), и заодно домножить ее на гиперпараметр β. Интутивно это означает, что лосс будет больше, когда модель оказывается сильно неправа, и мы будем «дальше» разводить likelihood для этих примеров. Этот элемент лосса также служит вместо KL-дивергенции, которая есть в обычном RLHF, то есть позволяет не отойти слишком далеко от изначальной модели и не скатиться в дегенерацию (в экспериментах авторы показывают, что без этого модель правда расходится)

Касательно результатов, этот метод довольно уверенно обходит PPO и даже SFT (на «хороших» ответах) в задачах суммаризации и на диалоговом датасете Anthropic HH (helpfulness and harmlessness). Интересно было бы посмотреть кстати, насколько дешевле и быстрее их обучение обошлось

Вообще статья безумно математическая, там куча доказательств, и авторы например формально выводят, что objective в RLHF и в их лоссе один и тот же, и собственно формально выводят лосс-функцию. Надеюсь кто-то умный это тоже разберет…
Также вынуждена признать, что Приближаем Сингулярность написал первым про статью, так что чекайте его пост тоже!

Забыла написать про пост от HF про Falcon – The Falcon has landed in the Hugging Face ecosystem
https://huggingface.co/blog/falcon

Найти в нем можно много интересного:
1. Оказывается, >80% датасета для Falcon составляет RefinedWeb (почищенные накрауленные данные из интернета). Успех модели на лидербордах авторы приписывают очень хорошему пофильтрованному датасету, поэтому я ждала, что они как-то хитро проверяли источники и стиль текстов, классифицировали их по куче параметров и так далее. На деле фильтрация там очень минималистичная – жестко вычищали дубликаты, спам, ссылки, бойлерплейт (типа html-вставок) и просто рандом. Но семантический анализ текста там целенаправленно не делали, что для меня довольно удивительно. Guanaco от OpenAssisant например вычищали через валидацию кучи разметчиков. Кстати кусок на 600B токенов из RefinedWeb авторы выложили на HF

2. Еще из приятного HF там рассказывает про свой Text Generation Inference server – контейнер, соптимизированный для сервинга больших моделей (на нем же сервится их HuggingChat). Поддерживает сейчас LLaMA, FLAN-t5, Falcon и в теории все, что можно запихнуть в AutoModelForSeq2SeqLM

3. Выложили код, как потюнить Falcon 7B с использованием QLoRa, в том числе как запихнуть это обучение в колаб

Хотела написать еще про пару очень актуальных ablation studies – The False Promise of Imitating Proprietary LLMs
https://arxiv.org/abs/2305.15717

Сейчас вышло довольно много работ, где предлагается натюнить модель поменьше на ответах модели побольше, тем самым забустив качество и даже обогнав модель-учителя на отдельных заданиях (Distilling Step-by-Step, например). Датасеты типа ShareGPT и GPT4all также выкладываются, чтобы можно было научиться имитировать ChatGPT. Но насколько такое обучение может реально вытянуть качество модели, гораздо меньшей по размеру?

Тут в статье авторы собрали broad-coverage датасет из ShareGPT, HC3 и r/ChatGPT, а также task-specific QA датасет (взяли вопросы и просили ChatGPT ответить). Дальше обучали на этом модели и варьировали число параметров (GPT-2 1.5B, LLaMA 7B и 13B) и число токенов в обучающем датасете (0.3M–150M tokens)

Что обнаружили: в pairwise сравнении ChatGPT и LLaMA 13B, натренированной таким способом, 40% ответов LLaMA были сочтены одинаково хорошими или лучше ChatGPT, по мнению и людей-разметчиков, и GPT-4. Но дальше провели автоматическое сравнение на задачах MMLU, HumanEval и Natural Questions (результаты на скриншоте). Там оказалось, что обученная на imitation data модель оказалась хуже, чем изначальная. На Natural Question даже видно, что чем больше на таких данные обучали, тем хуже модель ставновилась. Это при том, что в датасете была даже часть конкретно с QA-задачками

И напротив, скейлить размер модели, при прочих равных, приближало метрики к уровню ChatGPT на этих бенчмарках

Какие выводы из всего этого делают авторы: 1) скорее всего, получить перфоманс огромной модели, обучившись на датасете в тысячу примеров, не получится. Да, хорошие данные это очень важно, но capabilities gap остается и его не преодолеть без увеличения числа параметров. 2) при обучении на imitation data модели учатся повторять стиль ответа ChatGPT, но не приобретают ее скилы (например, не приобретают фактологичность, скорее даже наоборот). Поэтому ответы таких моделей нравятся разметчикам, так как не всегда им хватает экспертизы и времени на фактчекинг.

Если в целом ваша задача выучить определенную стилистику ответов, это может быть даже не плохо. Например, авторы показывают, что само обучение на генерациях ChatGPT снижает токсичность модели