Годный вайбкодинг

Как работают бенчмарки для AI моделей и зачем их столько

Каждый раз когда выходит новая модель, везде мелькают цифры: MMLU 87%, HumanEval 92%, SWE-bench 71.7%. Но что это все значит и почему нельзя просто сказать "эта модель лучше"?

Что такое бенчмарк

Бенчмарк — это типа ЕГЭ для AI моделей. Набор задач с правильными ответами, где модель получает процент за то, сколько заданий решила верно. Только вместо одного теста их десятки, и каждый проверяет свою способность.

Основные типы бенчмарков

MMLU — это монстр из 15 000+ вопросов по 57 предметам: от математики до права. Проверяет общие знания модели. Раньше считался золотым стандартом, но сейчас топовые модели решают его на 85-90%, поэтому появились более сложные варианты.

HumanEval — 164 задачи по программированию с юнит-тестами. Модель должна написать код, который реально работает, а не просто выглядит правдоподобно. Claude Sonnet 4.5 и ChatGPT 5.1 тут показывает 95%+, что дикая цифра.

SWE-bench — вообще хардкор. 2294 реальных задачи с GitHub: баги, фичи, рефакторинг. Модель получает issue и должна запилить рабочий патч. В 2023 модели решали 4.4% задач, сейчас лучшие — 71.7%. Это уже серьезно.

Chatbot Arena — здесь все иначе. Живые люди сравнивают ответы двух анонимных моделей и голосуют за лучший. Уже собрано 5+ миллионов голосов. Используется система рейтингов как в шахматах (Elo). Самый близкий к реальности бенчмарк, но есть нюанс: люди часто голосуют за более длинные ответы с эмодзи, хотя они могут быть хуже по сути.

Почему их так много

Потому что одним тестом не измерить все способности модели:

- MMLU — общие знания
- GSM8K — математика школьного уровня
- MATH — сложная математика
- HumanEval — кодинг
- GPQA — вопросы уровня PhD
- MMMU — мультимодальные задачи

Это как мерить разработчика: знание алгоритмов, опыт работы с фреймворками, софт скиллы — нужно смотреть на все.

Проблема насыщения

В 2023 исследователи запилили новые сложные бенчмарки типа MMMU и GPQA. Спустя год модели улучшились на них на 18.8 и 48.9 процентных пунктов соответственно. Бенчмарки устаревают быстрее, чем их успевают нормально использовать.

Поэтому появились экстремально сложные тесты:
- FrontierMath — AI решает только 2% задач
- Humanity's Last Exam — топовые модели набирают меньше 10%

Реальность vs бенчмарки

Самая главная проблема: бенчмарки не отражают реальное использование. Анализ 4+ миллионов промптов показал, что люди используют AI для:
- Технической помощи (65%)
- Ревью работы (59%)
- Генерации контента (25%)
- Поиска информации (17%)

А бенчмарки проверяют абстрактные задачи типа олимпиадных задач по математике.

Что из этого следует

Не стоит зацикливаться на одной цифре. Если модель выигрывает на HumanEval, это не значит что она лучше для написания документации или дебага сложной архитектуры.

По моим ощущениям Claude Sonnet 4.5 лучше всего схватывает контекст и редко тупит, хотя на некоторых бенчмарках может быть не первым. Это мой фаворит, использую ее почти всегда)

> Лучший способ выбрать модель — протестить ее на своих реальных задачах

@ValidatedVibe

👨‍💻43

1.33K views10:14