В одном из предыдущих постов я рассказывала про Turbolearn.ai, а вскоре нашла еще одно похожее приложение – Coconote. Его существенное преимущество перед Turbolearn заключается в том, что он многоязычный, и русский язык тоже понимает (Turbolearn умеет только английский расшифровывать).
Он работает и с аудио, и с видео (но не с любыми, а только с теми, к которым есть субтитры, во всяком случае, в бесплатном варианте). Тоже умеет создавать для вас тесты и карточки для запоминания материала, а еще может перевести его на русский язык, что полезно.
Пока подробно не тестировала, планирую. Один раз пробовала использовать Coconote для записи рабочего совещания и подготовки протокола. На первый взгляд нормально смотрится.

#инструменты

В воскресенье вышел пост про GANs, можно глянуть.
А тут вот красивые картинки про языковые модели, которые я взяла с сайта Dr. Alan D. Thompson lifearchitect.ai, который героически собирает все современные знания про ИИ и выкладывает их у себя для всех желающих. Хочу быть как он, когда вырасту.
Первая картинка – сравнение размеров крупнейших языковых моделей, представленных в виде планет солнечной системы. В роли Юпитера выступает модель Claude 3 Opus. У меня она стоит в плане на осень (разбор архитектуры со статьями, все как мы любим), а пока можно почитать про нее тут. Она выглядит перспективно.
Вторая картинка – рейтинг моделей по размеру контекстного окна (это число токенов, которое модель может принять на вход за один раз).
И последняя в моем посте, но не в том, который я цитирую – список ачивок, которые выбили самые большие модели. Тут и понимание текста, и дебаггинг кода, и математика, и дедукция – в общем, просто посмотрите на это.
И обязательно заходите lifearchitect.ai, вам оно точно надо.

Галлюцинации языковых моделей

Я тут много рассказываю, как сама пользуюсь инструментами на основе ИИ, и много чего советую, поэтому пришло время поговорить о некоторых подводных камнях при использовании таких инструментов. Поскольку в основном я интересуюсь языковыми моделями, речь пойдет преимущественно о них.

Это не то чтобы большой секрет, но большие языковые модели страдают галлюцинациями. Галлюцинация – это некорректный ответ, не отражающий реальность и созданный вследствие ошибки. Иногда модели «выдумывают» правдоподобные на вид литературные источники или людей, рассказывают про факты, которых не было, и все такое.
Основа для поста – статья «WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries», в которой представлен метод оценки галлюцинаций и метод борьбы с ними же.
Авторы использовали WildChat – базу данных, состоящую из реальных диалогов пользователей с ChatGPT. Для оценки корректности ответов модели использовали FActScore – метрику, которая рассчитывается как доля фактов в сгенерированном ответе, подтвержденных надежными источниками. Каждый факт в данном случае – это минимальная единица информации (пример на скриншоте 1).
В ходе экспериментов авторы выяснили, что языковые модели чаще подвержены галлюцинациям в отношении тем, касающихся людей и финансов и в меньшей – в отношении географии и областей, связанных с вычислениями. Если об объекте запроса есть статья в Википедии, модели галлюцинируют меньше (Википедия – один из наиболее популярных источников для обучения). RAG помогает бороться с галлюцинациями, но не избавиться от них окончательно.

После применения автоматической оценки достоверности, авторы собрали собственный набор данных, который как раз и называется WildHallucinations. Эти данные теперь можно использовать для тестирования моделей на галлюцинации: в них выделен объект, о котором сообщаются факты, и приведены источники достоверных данных для оценки.
Теперь самое интересное – сравнение моделей. На скриншоте с гистограммой (скриншот 2) модели отсортированы по убыванию метрики WildFactScore-Strict. WildFactScore – это FActScore, только она еще адаптирована для учета редких категорий, по которым задаются вопросы. WildFactScore-Strict – ее модификация, у которой есть дополнительные ограничения: она будет равна 0 в том случае, если в сгенерированном моделью ответе хотя бы один факт не подтвержден, или если модель отказывается отвечать.
Как видите, в лидерах GPT, Gemini и Claude. Меня, если честно, немного расстроили результаты Llama, но это было до последнего релиза, и самая большая модель из семейства на оценивалась. Возможно, она себя еще покажет.
Хотя и лидеры не дотянули до 35% полностью корректных ответов, что уж там. Это повод проверять сгенерированные результаты еще более тщательно.
При этом Gemini и Claude, хотя и страдают галлюцинациями немного больше, чем GPT, «выдумывают» факты о меньшем числе объектов (то есть, GPT про всех сочиняет по чуть-чуть, а Gemini и Claude – не про всех, но много). Но в целом они достаточно близки.

Ладно, а что делать-то теперь?
Во-первых, проверять (простите за повтор, но это не лишнее).
Во-вторых, использовать техники, которые помогают сократить число галлюцинаций, такие как упомянутый ранее RAG, или внимательно очищать тренировочные данные от недостоверных фактов. Большие модели тренируются на огромных массивах, собранных со всего интернета, и проверить их все невозможно, разумеется. Однако можно попробовать привести в порядок набор данных, на котором модель будет обучаться под конкретные рабочие задачи (речь про fine-tuning).
Работа с галлюцинациями – это отдельная задача в области Responsible AI (ответственного ИИ, RAI). Я сейчас участвую в большом и очень интересном проекте, который относится к RAI, и занимаюсь непосредственно галлюцинациями (как бы это странно ни звучало). Так что буду писать еще про это все дело.