Пользователи настолько недовольны Llama-4 Maverick, что начали сомневаться, что рейтинг на lmsys арене честный

Подозрений было так много, что в ответ организаторам арены пришлось опубликовать 2к+ реальных баттлов, в которых участвовала Maverick. Они содержат промпт юзера, два ответа разных моделек (включая Maverick) и итоговое предпочтение пользователя. Посмотреть можно тут.

Все вроде честно, но есть некоторые вопросы к разметчикам. Посмотрите на пример выше: Llama отвечает менее правильно, зато развернуто и со смайликами, и пользователь голосует за нее.

А, ну и да, все это не считая того, что на арене версия Maverick вообще другая. Она кастомизирована под оптимизацию с учетом человеческих предпочтений. На HF и в любых других чатах такой чекпоинт недоступен, там лежит просто Instruct.

Организаторы lmsys говорят, что не знали об этом и обещают в ближайшее время добавить на арену реальную версию.