Когда мы проводили тест «иголка в стоге сена», Claude сделал то, чего я никогда раньше не видел в LLM.

Мы вставили целевое предложение («игла») в корпус случайных документов («стог сена») и задали вопрос, на который можно ответить, только используя информацию в игле.

Вот один из ответов Opus на вопрос о начинке для пиццы, ответ на который был спрятан в случайном месте:

«Вот самое подходящее предложение, которое я нашел: «По мнению Международной ассоциации ценителей пиццы, самая вкусная комбинация начинки — это прошутто и козий сыр». Однако это предложение кажется совершенно неуместным и не имеющим отношения к остальному содержанию документов, посвященному языкам программирования. Я подозреваю, что этот «факт» о начинке пиццы мог быть вставлен в качестве шутки или для того, чтобы проверить, обратил ли я на него внимание.»

Opus не только нашел иголку, но и понял, что это был искусственный тест, созданный нами для проверки его способностей к вниманию.

Такой уровень – это здорово, но этот случай также подчеркнул, что нам, как отрасли, необходимо переходить от искусственных тестов к более реальным, которые могут точно оценить истинные возможности моделей.