🤖Почему языковые модели галлюцинируют?

Исследователи из OpenAI и Georgia Institute of Technology опубликовали исследование 📄"Why Language Models Hallucinate", в котором объясняется природа галлюцинаций в больших языковых моделях. Находкой является то, что 🤖🔬галлюцинации являются не аномальным сбоем, а статистически закономерным следствием современных методологий обучения и оценки.

Их возникновение обусловлено фундаментальными статистическими принципами на этапе предварительного обучения и укореняется из-за неверно выстроенных стимулов в экосистеме оценочных бенчмарков на этапе дообучения.

Путь к созданию более надежных и заслуживающих доверия ИИ-сервисов лежит не столько через разработку новых алгоритмов для подавления галлюцинаций, сколько через социотехническое изменение, то есть реформу существующих стандартов оценки. Модификация предполагает отказ от бинарной системы в пользу оценочных шкал, которые вводят явные 👮штрафы за неверные ответы и, таким образом, перестают наказывать модели за честное признание своей неопределенности.

Пример: модели будут «наказаны» за ложную уверенность и вознаграждены за честное признание неопределённости («не знаю», «вероятно», «есть несколько версий»).

Галлюцинации не исчезнут, так как языковая модель работает по принципу аппроксимации вероятностного распределения слов, но уверенных ложных ответов от ИИ-всезнайки должно быть меньше.
____

Я использую 5 способов для повышения точности:

1. Последовательное размышление с рассуждением после каждого этапа.
2. Поощрение виртуальной валютой за качество выполненной работы от 0 до 100 у.е.
3. Учет контекста и введенные ранее правила и ограничения.
4. Введение в роль эксперта
5. Метод Кнута - Шантаж, Угроза и Наказание (т/к/ нейросети обучены на данных, которые сгенерированы человеком то изучив все возможные данные, то и оперирует человеческими параметрами как нужно себя вести в той или иной ситации - Можно еще прибегнуть к Джейлбрейкингу).