Fermatix AI сделали KrabArena – платформу для воспроизводимых сравнений технологических продуктов. Решают проблему, что технические решения часто выбираются на основе маркетингово буллшита: по статьям самих вендоров, постам в твиттере и ответам LLMок. И что зачастую бенчмарки из интернета либо не воспроизводятся, либо нерепрезентативны.

Как работает KrabArena:
1. Выбираешь баттл
2. Смотришь результаты
3. Придумываешь, что ещё хочется проверить для своей задачи
4. Запускаешь создание нового теста через своего любимого AI-агента

Дальше агент делает основную работу: помогает сформулировать тест, выбрать метрику, провести воспроизводимый эксперимент.

На выходе получается клейм с выводами, цифрами и кодом проверки. Этот результат сможет проверить любой человек на платформе.

Примеры:
• Claude Skills vs MCP Servers – что дешевле по токенам и контексту.
• Qdrant vs Weaviate vs LanceDB – какая векторная БД лучше выдерживает рост нагрузки.
• ClickHouse vs DuckDB – сколько стоит хранение одного и того же набора данных.
• TypeScript vs Rust vs Go vs Python – где современные LLM пишут более качественный код.

Интересный бенчмарк для интернет-продвигаторов:

Небольшой агент раз в сутки смотрит какие виральные тренды есть в тиктоках и постит небольшие «карусели» с аи-картинками на какие-то темы, которые ему кажутся виральными на сегодня, и так по кругу

Пока побеждает 5.5:
https://www.viralbench.ai/

По ссылке есть примеры постов