Forwarded from Machinelearning
🔧 Google открыла Harness²: ИИ-агент сам улучшает свою рабочую среду
Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.
Harness² позволяет менять эту конфигурацию под новую задачу без переобучения модели.
Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.
После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.
В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.
Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.
https://github.com/google-research/harness2
@ai_machinelearning_big_data
#harness
Результат агента зависит не только от модели, но и от её окружения: системного промпта, инструментов, памяти, навыков и субагентов. Всё это называют harness.
Harness² позволяет менять эту конфигурацию под новую задачу без переобучения модели.
Агент предлагает правки, пробует несколько вариантов на одной задаче, сравнивает поведение запусков и собирает улучшенную конфигурацию. Для этого ему не нужен заранее известный правильный ответ или внешний проверяющий.
После задачи система сохраняет выбранную конфигурацию и выводы, подтверждённые запусками. Следующий цикл улучшений начинается уже с этим опытом.
В тестах с Gemini 3.5 Flash и GLM-5 один шаг улучшения дал прирост до 11,5 балла на WorkBuddy-Bench, 4,5 балла на JobBench и 11,8 процентного пункта по partial pass rate на LAB. Дополнительные итерации повышали результаты.
Конфигурации можно проверять параллельно или дорабатывать последовательно. Поддерживаются OpenCode и Codex.
https://github.com/google-research/harness2
@ai_machinelearning_big_data
#harness
👍3