DevNotes Live

Новая статья: Large Language Models Do Not Simulate Human Psychology. Большие языковые модели не моделируют человеческую психологию. Шок контент, оказывается, ЛЛМ - не люди

https://arxiv.org/abs/2508.06950

Действительно, результаты работы LLM оказались настолько впечатляющими в различных задачах, что LLM стали почти синонимом искусственного интеллекта (ИИ). Однако основная функция любой LLM заключается в простом предсказании вероятности следующего слова (точнее: следующего токена), случайном выборе следующего слова в соответствии с предсказанными вероятностями и продолжении этого процесса до генерации всего желаемого текста — без явного учёта смысла или правды .

Проще говоря: для каждого возможного входного текста (часто называемого «промптом») LLM создаёт кубик с миллиардами граней, каждая из которых помечена возможным словом, которое может следовать (более вероятные слова получают больше граней), и затем «бросает кубик», чтобы выбрать следующее слово. Слово добавляется к входному тексту, и процесс повторяется, пока не будет выбран специальный токен «конец последовательности».

Мы сосредотачиваемся на одном случае использования LLM, особенно важном для психологической науки: моделировании ответов человеческих участников, что позволяет сократить или даже устранить необходимость в таких участниках. Для этого достаточно предоставить LLM трёхкомпонентный промпт: (1) описание человека или группы участников, которых LLM должна моделировать (например, американские женщины старше 40 лет), (2) стимул, например, промт, и (3) анкету, которую смоделированные участники должны заполнить. На основе промпта LLM возвращает ответы, которые должны имитировать ответы реальных участников.

LLM не могут надёжно моделировать человеческую психологию. Здесь мы обобщаем наиболее важные критические замечания.

Нечеловеческие реакции на инструкции. Для достижения симуляции человеческих ответов LLM необходимо инструктировать — через текст в промпте — какого рода человеческого участника они должны моделировать и какую контекстную информацию учитывать. Однако предыдущие исследования показали, что LLM не всегда реагируют на эти инструкции так, как предполагалось. Например, Zhu et al. эмпирически исследовали LLM как симуляторы пользователей в рекомендательных системах (например, системах, автоматически рекомендующих фильмы или продукты в интернете) и обнаружили, что рекомендации становились точными только при наличии большого количества информации о целевом пользователе в промпте, тогда как менее подробные промпты приводили к неточным рекомендациям

Непоследовательность в симуляциях. Несколько авторов также сообщают о непоследовательности в симуляциях LLM, например, при смене LLM или переформулировке промпта. Ma исследовал поведение LLM в играх диктатора, сравнивая их с ожидаемым человеческим поведением, основанным на обширной литературе. Они заключили, что присвоение LLM человекоподобных идентичностей не приводит к последовательному человекоподобному поведению, подчёркивая значительную вариативность и непоследовательность даже внутри одной и той же модельной семьи и отмечая, что эти поведения очень чувствительны к формулировкам промптов и архитектурам моделей.

Неспособность уловить человеческое разнообразие. Даже если LLM способны воспроизводить средние человеческие ответы, несколько авторов сообщают, что LLM не могут воспроизвести вариативность и разнообразие человеческих ответов — даже при использовании разных персон

Предвзятость LLM. Как и другие системы машинного обучения, LLM склонны воспроизводить предвзятости, присутствующие в тренировочных данных, такие как культурные, гендерные, профессиональные и социально-экономические предубеждения

1 view19:35