#nlp #про_nlp #nlp_papers #agi_russia
Прошла незамеченной работа

🌸Theory of Mind May Have Spontaneously Emerged in Large Language Models🌸

Модель психического состояния человека (Theory of mind, ToM), или способность приписывать ненаблюдаемые психические состояния другим, занимает центральное место в человеческих социальных взаимодействиях, общении, сопереживании, самосознании и морали. Мы протестировали несколько языковых моделей, используя 40 классических задач на ложные убеждения, которые широко используются для проверки модели поведения на людях. Модели, опубликованные до 2020 года, практически не продемонстрировали возможности решения задач ToM. Тем не менее, первая версия GPT-3 («davinci-001»), опубликованная в мае 2020 года, решала около 40% задач на ложные убеждения — производительность, сравнимая с 3,5-летними детьми. Его вторая версия («davinci-002»; январь 2022 г.) решила 70% ложных задач, производительность сравнима с шестилетними. Его последняя версия, GPT-3.5 («davinci-003»; ноябрь 2022 г.), решила 90% ложных задач на уровне семилетних детей. Опубликованная в марте 2023 г. GPT-4 решила практически все поставленные задачи (95%). Эти данные свидетельствуют о том, что способность, подобная модели ТоM (до сих пор считавшаяся уникальной для человека), могла возникнуть спонтанно как побочный продукт улучшения языковых навыков языковых моделей.

🌸Поспекулируем?

🖥Paper: https://arxiv.org/abs/2302.02083
🖥Colab: link