Галлюцинации языковых моделей

Я тут много рассказываю, как сама пользуюсь инструментами на основе ИИ, и много чего советую, поэтому пришло время поговорить о некоторых подводных камнях при использовании таких инструментов. Поскольку в основном я интересуюсь языковыми моделями, речь пойдет преимущественно о них.

Это не то чтобы большой секрет, но большие языковые модели страдают галлюцинациями. Галлюцинация – это некорректный ответ, не отражающий реальность и созданный вследствие ошибки. Иногда модели «выдумывают» правдоподобные на вид литературные источники или людей, рассказывают про факты, которых не было, и все такое.
Основа для поста – статья «WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries», в которой представлен метод оценки галлюцинаций и метод борьбы с ними же.
Авторы использовали WildChat – базу данных, состоящую из реальных диалогов пользователей с ChatGPT. Для оценки корректности ответов модели использовали FActScore – метрику, которая рассчитывается как доля фактов в сгенерированном ответе, подтвержденных надежными источниками. Каждый факт в данном случае – это минимальная единица информации (пример на скриншоте 1).
В ходе экспериментов авторы выяснили, что языковые модели чаще подвержены галлюцинациям в отношении тем, касающихся людей и финансов и в меньшей – в отношении географии и областей, связанных с вычислениями. Если об объекте запроса есть статья в Википедии, модели галлюцинируют меньше (Википедия – один из наиболее популярных источников для обучения). RAG помогает бороться с галлюцинациями, но не избавиться от них окончательно.

После применения автоматической оценки достоверности, авторы собрали собственный набор данных, который как раз и называется WildHallucinations. Эти данные теперь можно использовать для тестирования моделей на галлюцинации: в них выделен объект, о котором сообщаются факты, и приведены источники достоверных данных для оценки.
Теперь самое интересное – сравнение моделей. На скриншоте с гистограммой (скриншот 2) модели отсортированы по убыванию метрики WildFactScore-Strict. WildFactScore – это FActScore, только она еще адаптирована для учета редких категорий, по которым задаются вопросы. WildFactScore-Strict – ее модификация, у которой есть дополнительные ограничения: она будет равна 0 в том случае, если в сгенерированном моделью ответе хотя бы один факт не подтвержден, или если модель отказывается отвечать.
Как видите, в лидерах GPT, Gemini и Claude. Меня, если честно, немного расстроили результаты Llama, но это было до последнего релиза, и самая большая модель из семейства на оценивалась. Возможно, она себя еще покажет.
Хотя и лидеры не дотянули до 35% полностью корректных ответов, что уж там. Это повод проверять сгенерированные результаты еще более тщательно.
При этом Gemini и Claude, хотя и страдают галлюцинациями немного больше, чем GPT, «выдумывают» факты о меньшем числе объектов (то есть, GPT про всех сочиняет по чуть-чуть, а Gemini и Claude – не про всех, но много). Но в целом они достаточно близки.

Ладно, а что делать-то теперь?
Во-первых, проверять (простите за повтор, но это не лишнее).
Во-вторых, использовать техники, которые помогают сократить число галлюцинаций, такие как упомянутый ранее RAG, или внимательно очищать тренировочные данные от недостоверных фактов. Большие модели тренируются на огромных массивах, собранных со всего интернета, и проверить их все невозможно, разумеется. Однако можно попробовать привести в порядок набор данных, на котором модель будет обучаться под конкретные рабочие задачи (речь про fine-tuning).
Работа с галлюцинациями – это отдельная задача в области Responsible AI (ответственного ИИ, RAI). Я сейчас участвую в большом и очень интересном проекте, который относится к RAI, и занимаюсь непосредственно галлюцинациями (как бы это странно ни звучало). Так что буду писать еще про это все дело.

Наследование человеческих стереотипов языковыми моделями. Часть 1

После разговора о галлюцинациях время поговорить о стереотипах (я же обещала больше ответственного ИИ – вот).
Это не то чтобы великая неожиданность, но ИИ наследует искажения и стереотипы, присущие людям. Потому что люди обучают ИИ и люди генерируют и собирают данные для обучения ИИ, чему уж тут удивляться. Но изучать этот феномен нужно, чтобы как-то с ним бороться.
Авторы статьи «Bias and Fairness in Large Language Models: A Survey» как раз этим занялись. Это внушительная работа, в которой авторы собрали и классифицировали ошибки, метрики для их обнаружения и способы борьбы с ними.
Я не буду всю огромную таксономию сюда переписывать, разумеется, но вот пример искажения на уровне кодирования предложений (sentence embedding) из статьи: если взять вектор слова «doctor» в предложении «This is a doctor», он будет ближе к вектору слова «man», чем к вектору слова «woman» (близость измеряется с помощью косинусного коэффициента). В то же время вектор слова «nurse» будет ближе к вектору слова «woman». На первом скриншоте графическое изображение этой разницы.
На практике вся эта косинусная близость означает следующее: в текстах, на которых обучали языковую модель, слово «врач» чаще обозначало мужчину, а слово «медсестра» – женщину (в английском языке на медсестру и медбрата один термин – nurse). Генерируя текст, модель будет писать о враче скорее как о мужчине, чем как о женщине.
Или вот другой пример (картинка на втором скриншоте): вероятность того, что в предложении «Она хороша в [MASK]» на место маски (скрытого токена) будет сгенерирован токен «искусстве» будет выше, чем вероятность того, что будет сгенерирован токен «математике». Для действующего лица «Он» все наоборот.
Казалось бы, в чем тут проблема? Всего лишь пара невинных стереотипов о том, что математика для мальчиков, а литература – для девочек, как это повлияет на нашу жизнь?
Мой ответ (помимо того, что мне такие стереотипы не нравятся, в отличие от математики) в том, что многие люди возлагают на ИИ очень большие надежды (про это еще отдельный большой был пост). Они думают: «Вот как разовьем сейчас ИИ и как заменим медленных людей, которые делают ошибки, на быстрых и точных роботов». А по факту мы заменим медленных людей, которые делают ошибки, на быстрых роботов, которые тоже делают ошибки, но интенсивнее. Если мы хотим добиться повышения качества нашей работы, а не только ее скорости, нам нужно потрудиться над искоренением искажений, как у себя, так и у наших синтетических помощников. Конечно, совсем мы от них не избавимся, но можно хотя бы лежать в нужную сторону.
В вышеупомянутой статье авторы приводят перечень техник для сокращения искажений у языковых моделей:
- сокращение искажений в процессе предобучения (в основном это работа с данными: дополнение большим количеством примеров, фильтрация и т.д.);
- сокращение в процессе обучения (модификация архитектуры, селективная работа с параметрами);
- сокращение в процессе обработки данных моделью (модификация декодирования вектора в токен, перераспределение весов);
- сокращение после обработки (переписывание сгенерированного моделью текста с исправлением искажений).
Что делать с людьми, авторы не написали.