Компиляция нескольких постов про то, что читать про ML/NLP/LLM:

Обучающие материалы 🗒
- https://habr.com/ru/articles/774844/
- https://lena-voita.github.io/nlp_course.html
- https://web.stanford.edu/~jurafsky/slp3/ed3book.pdf
- https://www.youtube.com/watch?v=rmVRLeJRkl4&list=PLoROMvodv4rMFqRtEuo6SGjY4XbRIVRd4
- https://huggingface.co/docs/transformers/perf_train_gpu_one

Блоги 💻
- https://huggingface.co/blog/
- https://blog.eleuther.ai/
- https://lilianweng.github.io/
- https://oobabooga.github.io/blog/
- https://kipp.ly/
- https://mlu-explain.github.io/
- https://yaofu.notion.site/Yao-Fu-s-Blog-b536c3d6912149a395931f1e871370db

Прикладные курсы 👴
- https://github.com/yandexdataschool/nlp_course
- https://github.com/DanAnastasyev/DeepNLP-Course
(Я давно не проходил вообще никакие курсы, если есть что-то новое и хорошее - пишите!)

Каналы 🚫
- https://t.me/gonzo_ML
- https://t.me/izolenta_mebiusa
- https://t.me/tech_priestess
- https://t.me/rybolos_channel
- https://t.me/j_links
- https://t.me/lovedeathtransformers
- https://t.me/seeallochnaya
- https://t.me/doomgrad
- https://t.me/nadlskom
- https://t.me/dlinnlp
(Забыл добавить вас? Напишите в личку, список составлялся по тем каналам, что я сам читаю)

Чаты 😁
- https://t.me/betterdatacommunity
- https://t.me/natural_language_processing
- https://t.me/LLM_RNN_RWKV
- https://t.me/ldt_chat

Форумы 🍿
- https://www.lesswrong.com/tag/ai
- https://www.reddit.com/r/LocalLLaMA/
- https://www.reddit.com/r/Oobabooga/
- https://www.reddit.com/r/LanguageTechnology/
- https://www.reddit.com/r/datasets/

Основные статьи 🌿
- Word2Vec: Mikolov et al., Efficient Estimation of Word Representations in Vector Space https://arxiv.org/pdf/1301.3781.pdf
- FastText: Bojanowski et al., Enriching Word Vectors with Subword Information https://arxiv.org/pdf/1607.04606.pdf
- Attention: Bahdanau et al., Neural Machine Translation by Jointly Learning to Align and Translate https://arxiv.org/abs/1409.0473
- Transformers: Vaswani et al., Attention Is All You Need https://arxiv.org/abs/1706.03762
- BERT: Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding https://arxiv.org/abs/1810.0480
- GPT-2, Radford et al., Language Models are Unsupervised Multitask Learners https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
- GPT-3, Brown et al, Language Models are Few-Shot Learners https://arxiv.org/abs/2005.14165
- LaBSE, Feng et al., Language-agnostic BERT Sentence Embedding https://arxiv.org/abs/2007.01852
- CLIP, Radford et al., Learning Transferable Visual Models From Natural Language Supervision https://arxiv.org/abs/2103.00020
- RoPE, Su et al., RoFormer: Enhanced Transformer with Rotary Position Embedding https://arxiv.org/abs/2104.09864
- LoRA, Hu et al., LoRA: Low-Rank Adaptation of Large Language Models https://arxiv.org/abs/2106.09685
- InstructGPT, Ouyang et al., Training language models to follow instructions with human feedback https://arxiv.org/abs/2203.02155
- Scaling laws, Hoffmann et al., Training Compute-Optimal Large Language Models https://arxiv.org/abs/2203.15556
- FlashAttention, Dao et al., FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness https://arxiv.org/abs/2205.14135
- NLLB, NLLB team, No Language Left Behind: Scaling Human-Centered Machine Translation https://arxiv.org/abs/2207.04672
- Q8, Dettmers et al., LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale https://arxiv.org/abs/2208.07339
- Self-instruct, Wang et al., Self-Instruct: Aligning Language Models with Self-Generated Instructions https://arxiv.org/abs/2212.10560
- Alpaca, Taori et al., Alpaca: A Strong, Replicable Instruction-Following Model https://crfm.stanford.edu/2023/03/13/alpaca.html
- LLaMA, Touvron, et al., LLaMA: Open and Efficient Foundation Language Models https://arxiv.org/abs/2302.13971

Про определение языков по мотивам сегодняшней беседы в nlp чатике, чтобы каждый раз не возвращаться.

🔨 Древние штуки

Langdetect: https://github.com/Mimino666/langdetect
Презентация: https://www.slideshare.net/shuyo/language-detection-library-for-java
Суть: Наивный байесовский классификатор на символьных [1,3]-граммах с нормализацией и удалением строк, добавляющих шум.
Данные: wiki
Языков: 55

CLD2 (Compact Language Detector): https://github.com/aboSamoor/pycld2
Суть: Наивный байесовский классификатор на символьных 4-граммах.
Данные: неизвестны
Языков: 83

CLD3 : https://github.com/google/cld3
Суть: Двухслойная сетка поверх символьных [1,3]-грамм
Где-то в 3-5 раз медленнее CLD2 и не без косяков (см. https://github.com/google/cld3/issues/45, https://t.me/experimentalchill/108)
Когда-то CLD использовались в гугловском Chromium.
Данные: неизвестны
Языков: 107

Langid: https://github.com/saffsd/langid.py
Статьи: https://aclanthology.org/I11-1062, https://aclanthology.org/P12-3005/
Суть: Наивный байесовский классификатор на символьных [1,3]-граммах с отбором признаков.
Данные: wiki, reutres, debian, jrc-acquis
Языков: 97

🥇 Fasttext

lid.176: https://fasttext.cc/docs/en/language-identification.html
Статьи: https://arxiv.org/abs/1802.06893, https://arxiv.org/abs/1607.01759
Суть: Однослойная (embedding+linear) сетка поверх символьных [2,4]-грамм с иерархическим softmax'ом.
Данные: wiki, tatoeba
Языков: 176

lid.218 (NLLB): https://huggingface.co/facebook/fasttext-language-identification
Статья: https://arxiv.org/abs/2207.04672, секция 5.1
Суть: Та же модель, больше языков
Данные: неизвестны
Языков: 218

openlid: https://github.com/laurieburchell/open-lid-dataset
Статья: https://aclanthology.org/2023.acl-short.75
Суть: Та же модель, но с выложенными данными
Данные: см. дополнение A статьи
Языков: 201

glotlid: https://github.com/cisnlp/GlotLID
Статья: https://aclanthology.org/2023.findings-emnlp.410
Суть: Та же модель, но на вообще кучу языков
Данные: https://github.com/cisnlp/GlotLID/blob/main/sources.md
Языков: >1600

🪑 Сравнения

Есть в некоторых статьях выше, а также вот щепотка постов:
https://modelpredict.com/language-identification-survey
https://aclanthology.org/2022.clib-1.18.pdf
https://towardsdatascience.com/benchmarking-language-detection-for-nlp-8250ea8b67c

Субъективно оно примерно вот так:
lid.176 > lid.218 > CLD2 > CLD3 > langid > langdetect
openlid и glotlid ещё не тестил

☠️ Смерть бенчмарков ☠️

Последнее время появилась куча статей о том, что некоторые базовые модели (не) случайно учились на тестовых выборках бенчмарков и о том, как такое обнаруживать.

Есть даже шуточная статья Pretraining on the Test Set Is All You Need.

Но и серьёзные дяди обеспокоены:
- В статье про Лламу-2 есть секция A.6, где честно признаётся, что утёк HellaSwag и MMLU.
- В техническом отчёте GPT-4 есть таблица 11, где тоже честно признаётся, что утёк HumanEval и DROP.
- То же касается техничского отчёта Gemini: там утекли LAMBADA и HellaSwag, поэтому цифры на них не опубликовали.

Все статьи далее расследуют утечки в black-box режиме. То есть нужно определить, что тестовые данные были в обучении модели, но при этом у нас нет доступа к обучающим данным. Что по-моему правильно, учитывая, что для большинства моделей это именно так и работает.


Detecting Pretraining Data from Large Language Models
Статья: https://arxiv.org/abs/2310.16789

Концепция 1:
WikiMIA, бенчмарк для методов определения утечек. Делим данные с Википедии на новые и старые, старые должны определяться как утечки, а новые не должны. Есть ещё такой же, но про книги, BookMIA

Концепция 2:
Min-k% prob метод, считаем среднюю вероятность наименее вероятных токенов. Если она выше определенного предела, значит пример был в обучении.

Эксперименты:
- поиск копирайтных книг в text-davinci-003
- дообучение на тестовых данных бенчмарков и последующая проверка утечек
- оценка качества "забывания" определенной информации моделями
- разрешение скандала в лидерборде 🍿


Proving Test Set Contamination in Black Box Language Models
Статья: https://arxiv.org/abs/2310.17623

Концепция:
Переставляем примеры местами, и смотрим, как меняется их вероятность. Если при оригинальном порядке вероятность выше, чем при почти всех перестановках, значит тестовые данные были в обучении. Однако все перестановки тяжело оценивать, поэтому бьём на шарды, переставляем внутри шардов и считаем среднее отклонение вероятности от каноничного порядка. И потом ещё усредняем по шардам.

Эксперименты:
Сначала эксперименты ставили на своей GPT-2 с намеренно подсунутыми в предобучение тестовыми данными, и так показали, что это вообще работает. И только потом на известных открытых моделях и бенчмарках. Так выяснили, что в предобучение Мистраля утёк Arc, и (кажется) в предобучение Мистраля и Лламы утёк MMLU. 😭


Investigating Data Contamination in Modern Benchmarks for Large Language Models
Статья: https://arxiv.org/abs/2311.09783

Концепция:
Берём датасеты с выбором вариантов (типа MMLU), маскируем один из неправильных вариантов ответа и просим модель его восстановить. Есть ещё несколько вариантов подобных тестов, но этот самый интересный.

Эксперименты:
Таким образом показали, что MMLU жёстко утёк в ChatGPT и GPT-4, и чуть-чуть утёк TruthfulQA в Мистраль. 😂


Выводы: 😳
- Если в статье про какую-либо модель нет секции про проверку на утечки — все цифры бенчмарков из неё можно смело игнорировать. То же касается различного рода анонсов.
- Статические бенчмарки с публичными тестовыми данными обречены. При этом, в случае приватных тестовых данных есть проблема доверия: нельзя быть на 100% уверенными, что их никому не отдают. Особенно это касается крупных корпораций, которые числа на этих данных используют для пиара.
- Обязательно тестируйте модели на своих бенчмарках и своих задачах, и будьте аккуратны с их составлением.

Долго не писал, но Rogue Trader сам себя не пройдёт.

Этот пост — про одну статью. Она забавна тем, что существовала в моей голове до того, как я её нашёл. И если бы я её не нашёл, есть ненулевые шансы, что я бы провёл очень похожие эксперименты и получил бы очень похожие результаты. К счастью, добрые люди с Реддита подсказали ссылку на неё.

В одном из постов выше я писал об инструменте для писателей. В качестве очень важной фичи такого инструмента я вижу загрузку уже существующих черновиков в этот инструмент. А для этого нужна суммаризация больших текстов. И вот об этом статья ниже.

BooookScore: A systematic exploration of book-length summarization in the era of LLMs
Статья: https://arxiv.org/abs/2310.00785
Рецензии: https://openreview.net/forum?id=7Ttk3RzDeu, статья принята на ICLR 2024
Код: https://github.com/lilakk/BooookScore/

Суть: Метрика оценки качества выжимок из книг на основе GPT-4, которая оценивает исключительно саму выжимку, никак не опираясь на текст. Идея в том, что когда вы читаете такую выжимку, у вас не должно возникать вопросов типа "Кто этот персонаж?", "Почему просходят описанные события?", "Почему меняется главный герой?", и так далее. И метрика просто оценивает долю предложений в выжимке, к которым возникают подобные вопросы.

Центральная проблема: Невозможность вместить всю книгу в контекст модели. Авторы используют два метода суммаризации, в общем-то описанных в литературе: иерархическую и инкрментальную. Оба метода работают через zero-shot промпты к языковым моделям. В одном случае мы разбиваем текст на куски, считаем выжимки этих кусков, потом выжимки выжимок, и так далее. Во втором случае — поддерживаем обновлямую "память".

Корпус: Недавно опубликованные книги на английском. Это довольно важно, чтобы книги не попадали в преобучение моделей. Я сам буквально на днях убеждался, что популярные книжки модели помнят, даже на русском. Сам корпус не публикуют, потому что это во-первых не по копирайту, а во-вторых бессмысленно из-за выхода новых моделей. 😂

Разметка: Сгенерировали выжимки по обоим методам, попросили людей разметить неясности, потратили 3к$, зато теперь подтверждают, что автоматическая метрика коррелирует с оценками людей. Плюс ещё потом сделали side-by-side выжимок, сгенерированных двумя методами.

Эксперименты: 2 метода суммаризации, 2 типа окошек (2к и 88к), 4 модели (GPT-4, ChatGPT, Claude 2, LLaMA-7b Instruct). Измеряем метрики для всех случаев, получаем красивые таблички. В процессе тратим на API моделей 9к$!

Выводы:
- Метрика почти настолько же точна, насколько и люди
- Иерархический метод лучше инкрементального, особенно для коротких окошек

Проблемы:
- Дорого. Я запустил на одной выжимке, пришёл счёт на 40$. 😭 Но покопавшись, можно сделать раз так в 100 дешевле. GPT-4 заменить на турбо, не спрашивать модель отдельно по каждому предложению, и всё такое. 🧠
- Центральная проблема может решиться сама через какое-то вермя. Нынче много моделей с очень широким контекстом, но вот что-то я не уверен, что они в состоянии сделать хорошую выжимку длинного текста. GPT-4 не справляется, по крайней мере.
- Нет опоры на оригинальный текст. Просто по задумке.
- Разные предложения и разные типы ошибок имеют одинаковый вес в метрике.

В целом очень крепкая и подробная статья.