Что делать, когда ИИ уже знает ответы на все наши вопросы?
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья
Современные большие языковые модели (LLMs) достигли точности более 90% на популярных бенчмарках вроде MMLU, которые когда-то были для них сложным испытанием. Это привело к тому, что существующие тесты больше не могут точно измерить способности ИИ, и нужен новый подход.
Для решения этой проблемы ученые представили HUMANITY'S LAST EXAM (HLE) — набор из 3000 чрезвычайно сложных вопросов по различным предметным областям. Вопросы созданы экспертами, оригинальны, точны и устойчивы к простому поиску в интернете или извлечению из баз данных. Интересно, что каждый вопрос проверяется на передовых LLM, и если модель отвечает правильно, вопрос не включается в бенчмарк.
Пока что даже самые продвинутые модели показывают менее 10% точности на HLE, что указывает на значительный разрыв между возможностями ИИ и экспертным уровнем человека.
P.S. Представьте, что произойдет, когда ИИ пройдет и этот последний экзамен?
Статья