Последний экзамен человечества

Новый бенчмарк, на котором все наилучшие LLM набирают меньше 10%. Собирали его всем миром - была открыта форма, где принимались вопросы, если на вопросе фейлились основные передовые LLM - его давали на обсуждение панели экспертов, которая которая отсеивала неподходящие вопросы и модифицировала прошедшие ценз вопросы. Всего LLM не прошли 13000 вопросов, из которых выбрали 3000, на более чем сотню разных тем. Авторы топ 50 лучших вопросов получили $5000, за следующие 500 вопросов уже платили $500, что тоже солидно.

На бенче лидируют o1 и R1, причём кто лучше тут сказать сложно. 10% бенчмарка - мультимодальные вопросы, R1 в изображения не умеет, поэтому её тестили лишь на текстовой части, где она обогнала всех (так что то что она на уровне o1 - не байт). А на полном бенче всех обгоняет o1. Что интересно - у всех моделей, кроме Grok 2, при переходе на текстовую часть бенчмарка, слегка падает точность, но результаты моделей пока что слишком плохие чтобы делать из этого какие-то выводы.

Кроме качества ответов, бенч тестит ещё и самооценку - вместе с самим ответом, модель просят выдать и её уверенность в этом ответе. Это позволяет понять, насколько хорошо модель может оценить свои собственные возможности. У хорошо откалиброванной модели результаты на бенчмарке и среднеквадратичная уверенность должны быть довольно близко. На этой части, с заметным отрывом, лидирует та же R1, но всё равно Calibration Error у неё за 80%. Надеюсь, из-за этого бенча, заоблачную самооценку современных LLM немного поумерят.

Название, конечно, слишком пафосное и далеко не факт что насыщение этого бенчмарка означает что модель - это AGI. Бенч ведь публичный, а это означает что он явно будет потихоньку протекать в претрейн. Жаль что не оставили приватный сабсет вопросов, на котором можно тестить оверфит моделей на бенче. Но новые, ненасыщенные бенчмарки сейчас на вес золота, создавать их крайне сложно, так что грех жаловаться. Авторы ожидают что до конца года новые модели могут выдать более 50% точность на этом бенче, посмотрим как на нём себя покажет o3.

Пейпер
Бенчмарк
Сайт проекта

@ai_newz

🚀HuggingFace выпустил Open-R1: клон DeepSeek-R1 под свободной лицензией

Команда HuggingFace представила полностью открытую репродукцию модели DeepSeek-R1.
Начали бодро - уже 192 звезды, 11 контрибьюторов и 10 форков!

Взяли paper DeepSeek-R1 за основу и воспроизвели пошагово.

Так же выложили код и инструкции, как на базе этого дистиллята разогнать Qwen 2.5!!! :)

Стандартная конфигурация требует 8 GPU NVIDIA H100.

Теперь каждый может собрать своего DeepSeek R1, если найдет восемь H100. И я даже догадываюсь у кого они есть.

Ждем на следующей неделе GigaChat R1, Yandex R1, MTS R1, Tbank R1... кто там ещё потянет ? :)

Кстати, для справки, 8GPU за $22 в час можно взять например тут:
https://datacrunch.io
В immerse.cloud в РФ 8хH100 стоят примерно $37 в час, для сравнения

#HuggingFace #DeepSeek #OpenSource #R1
———
@tsingular