#gpt #turingtest
А ведь еще недавно это казалось недостижимым.
"Цель исследования была в том, чтобы определить, смогут ли участники отличить синтетического собеседника от живого человека. Исследование учёных представляет собой современную интерпретацию теста, который был предложен знаменитым математиком Аланом Тьюрингов ещё в 1950 году. Тест считается пройденным, если ИИ-алгоритм в процессе общения с человеком может заставить его думать, что беседу с ним ведёт другой человек.
В тестировании приняли участие 500 человек, которые некоторое время поочерёдно беседовали с четырьмя агентами, одним из которых был человек, а ещё три — программные продукты, такие как написанный в 60-е годы прошлого века виртуальный собеседник ELIZA и современные чат-боты, построенные на базе больших языковых моделей GPT-3.5 и GPT-4 (последняя также является основой популярного ИИ-бота ChatGPT).
Респонденты по пять минут беседовали с каждым из агентов, после чего они должны были сказать, с кем, по их мнению, они разговаривали — с человеком или чат-ботом. В итоге было установлено, что 54 % участников тестирования приняли GPT-4 за человека. ELIZA, не имеющая в арсенале большой языковой модели и архитектуры нейросети, была признана человеком лишь в 22 % случаев. Алгоритм на базе GPT-3.5 признали человеком в 50 % случаев, а человека опознали в 67 % случаев.
«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать, и они становятся всё более обманчивыми. Всё это означает, что в ИИ-системах выражаются человеческие недостатки и причуды, что делает их более похожими на человека, чем предыдущие подобные решения, которые имели в арсенале лишь список готовых заранее ответов», — прокомментировал результаты работы один из исследователей."
https://3dnews.ru/1106570/ii-stanovitsya-umnee-chatbot-na-baze-gpt4-proshyol-test-tyuringa
https://arxiv.org/abs/2405.08007
А ведь еще недавно это казалось недостижимым.
"Цель исследования была в том, чтобы определить, смогут ли участники отличить синтетического собеседника от живого человека. Исследование учёных представляет собой современную интерпретацию теста, который был предложен знаменитым математиком Аланом Тьюрингов ещё в 1950 году. Тест считается пройденным, если ИИ-алгоритм в процессе общения с человеком может заставить его думать, что беседу с ним ведёт другой человек.
В тестировании приняли участие 500 человек, которые некоторое время поочерёдно беседовали с четырьмя агентами, одним из которых был человек, а ещё три — программные продукты, такие как написанный в 60-е годы прошлого века виртуальный собеседник ELIZA и современные чат-боты, построенные на базе больших языковых моделей GPT-3.5 и GPT-4 (последняя также является основой популярного ИИ-бота ChatGPT).
Респонденты по пять минут беседовали с каждым из агентов, после чего они должны были сказать, с кем, по их мнению, они разговаривали — с человеком или чат-ботом. В итоге было установлено, что 54 % участников тестирования приняли GPT-4 за человека. ELIZA, не имеющая в арсенале большой языковой модели и архитектуры нейросети, была признана человеком лишь в 22 % случаев. Алгоритм на базе GPT-3.5 признали человеком в 50 % случаев, а человека опознали в 67 % случаев.
«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать, и они становятся всё более обманчивыми. Всё это означает, что в ИИ-системах выражаются человеческие недостатки и причуды, что делает их более похожими на человека, чем предыдущие подобные решения, которые имели в арсенале лишь список готовых заранее ответов», — прокомментировал результаты работы один из исследователей."
https://3dnews.ru/1106570/ii-stanovitsya-umnee-chatbot-na-baze-gpt4-proshyol-test-tyuringa
https://arxiv.org/abs/2405.08007
3DNews - Daily Digital Digest
ИИ становится умнее — чат-бот на базе GPT-4 прошёл тест Тьюринга
В современном мире люди взаимодействуют с искусственным интеллектом в интернете не только чаще, чем когда-либо, но и чаще, чем им кажется.