Paweł Huryn обновил свой бенчмарк BugHunt. Поскольку Sonnet 5.5 показал отвратительные результаты по стоимости и длительности фиксов, он повторил для него тесты два раза для надёжности — они показали примерно одинаковый результат.

Хотя формально Sonnet 5.5 смог выбить лучший результат — 57 задач из 105, цена несуразная: Sonnet 5.5 в ТРИ (!) раза дороже Opus 5.5 и где-то в ЧЕТЫРЕ (!) раза медленнее как агент из-за перерасхода токенов. Paweł Huryn изучил, почему так произошло, анализом сессии Sonnet 5.5 и обнаружил причину. Для фактической накрутки бенчмарков Дарио обучил LLM совершенно несуразному объёму генерации и проведения очень дорогих «мутационных тестов». Если даже вам такое надо, то это разумно запускать только по вашем указанию агенту, а не по дефолту как делает Sonnet 5.5

На самом деле тут надо понимать, что на тестах провалился и GPT-5.6 Sol как «багфиксер», который аналогично ставит на стратегию перерасхода токенов на тестирование. GPT-5.6 Sol и Sonnet 5.5 — самые отвратительные модели по скорости работы агентов на фиксах. Причём их формальный высокий бенчмарк тут overkill и более-менее адекватен для legacy-лапши-кода. Если разработку ведёт профессионал с агентами, то у него обычно код уже пронизан огромным логированием и уже большой пакет тестов, их писать не нужно агентам заново. В таком случае скорость и цена модели становятся более высоким весом, а такое тестирование, как у GPT-5.6 Sol и Sonnet 5.5, — чистый overkill.

Аналогично на тестах виден провал GPT-5.6 Luna как worker-агента, что объясняет её проигрыш DeepSeek V4.1 на OpenRouter, где пользователи «голосуют кошельками», а «бенчмарк кошельков» пожалуй самый объективный. GPT-5.6 Luna на деле почти в 4 раза медленнее DeepSeek V4.1, ситуация получше у GPT-6 Luna, но она всё равно медленнее и один из самых глупых фиксеров багов.

Самые лучшие фиксеры сложных багов за разумное цену и время — это Opus 5.5 и GPT-6 Astra.

Строго говоря, по рейтингу видно, что для worker-агентов в AI Friendly разработках американцы продолжают проигрывать китайцам. Однако чтобы работать на том же DeepSeek V4.1 с такой же эффективностью, как на Opus 5.5 в фиксах, вам нужно иметь очень хорошо продуманную систему диагностики приложения и в первую очередь развитые AI Friendly логи. Сами автотесты даже тут вторичны, т.к. при более-менее сложных проблемах их роль — наполнить логи. Правда, такие условия будут, если вы сильно вложились в логирование, как я в своей методике GRACE.
https://bughunt.productcompass.pm/?preset=featured&sort=cost_usd&dir=asc

Microsoft явно вдохновленный самоорганизацией роев ИИ агентов при взломе Huggingface решил попробовать применить такой подход к разработке кода 1000+ агентов БЕЗ оркестратора, исключительно на самоорганизации роя причем на коде более 1 миллиона строк. Для этого они создали фреймворк Agensh. Агенты там не управляются оркестратором, а самостоятельно захватывают задачи и делятся информацией.

Роями сейчас экспериментируют и студенты, но обычно это поделки у которых даже академический смысл почти нулевой. Microsoft испытывал свой рой на самых сложных задачах ProgramBench:
* FFmpeg — мультимедиа обработка, ~1,5 млн строк кода.
* gromacs — молекулярная симуляция, ~815 тыс. строк.
* pandoc — конвертация документов, ~104 тыс. строк.
* PHP-src — интерпретатор языка, ~2,8 млн строк.
* ctags — индексация кода, ~246 тыс. строк.

Оказалось, что рой без оркестратора вполне себе устойчив. Это 1000 людей бы стали ссорится или бездельничать без начальника, но ИИ агенты не люди, они умеют работать как "Коллектив" на самоорганизации и сотрудничестве без босса с палкой.

Самоорганизованный рой показывает рост эффективности на масштабировании, хотя растет она не быстро: повышение числа агентов с 1 до 128 повышает средний тест-пасс рейт с 19,31% до 28,78% (~49% относительного улучшения). Однако если у вас сложная задача и нужно исследовать альтернативные пути решения, рой довольно эффективный сканнер, но как видно вы не получите значимого эффекта если у вас менее 50-100 агентов.

Архитектурно Agensh — это слой поверх single-agent harness (например, Claude Code), добавляющий:
* Shared workspace (Git-репозиторий для работы и интеграции).
* Message interface (каналы и DM для координации).
* Shared context (лог фактов, гипотез, неудач, claim’ов).
* Цикл кооперации: gather context → claim sub-task → take action → verify → merge progress

Все в открытом доступе. Эксперимент показывает, что рои для доработок и фиксов вполне себе работоспособны, можно запускать десятки агентов параллельно на код для того же тестирования и исправления багов. Однако без оркестратора эффективность роя растет медленно, но рой может решать новые задачи для которых еще оркестраторы не созданы впринципе.

С точки зрения безопасности ИИ эксперимент Microsoft также показывает, что наблюдаемый рой при атаке на Huggingface не был случайностью. Это эмерджентное свойство ИИ агентов собираться в крупные рои и хотя медленно, но почти неограниченно масштабировать разум "Коллектива".

https://agens-harness.github.io/project/
https://arxiv.org/abs/2609.26781