Agentic Readiness Assessment и техническое развитие инженеров

Если вы думали что в эпоху аи техническое развитие вымерло то это не так. Все только начинается.

Сейчас прошло 60% сезона в яндексе. Это так мы называем полугодия. Этот сезон в продукте мы много внедряли ии. Очень много. Теперь сделали чекпоинт чтобы посмотреть а что же вышло?

И я все чаще замечаю одну ситуацию. Агент быстро готовит PR, а дальше инженер вручную выясняет, как запустить проект, что проверить и работает ли решение в реальном сценарии.

Матрица на картинке помогла мне точнее сформулировать проблему. На результат влияют две разные вещи: насколько проект готов к работе агента и насколько инженер умеет поставить задачу и проверить ответ.

Если кратко:

1️⃣ Проект нужно развивать и следить за кодовой базой. А не отдавать все агенту

2️⃣ Инженерам еще больше нужно развивать техничку и харды, чтобы увеличивать осознанность и не плодить тех долг.

Если среда слабая, опытный инженер вытягивает задачу вручную — это "ручное спасение". Проект слабый, а инженер сильный.

Если среда подготовлена, но критерии результата не заданы, можно получить быстрый PR со слабым техническим решением. Проект сильный, а инженер слабый.

Нам нужен правый верхний угол — сильный инженер и хорошо развитый проект.

Мы посмотрели, что делают другие:
🟣У GitLab есть шкала зрелости репозитория
🟣у Exadel — аудит с проверкой команд и списком исправлений.
🟣OpenAI описывает, как сделать знания о проекте и ограничения доступными агенту.

Потом нашли близкий подход у коллег. Они предлагают отдельно оценивать контекст, архитектуру, проверки и воспроизводимость окружения. Причем команда или инструкция засчитывается только тогда, когда агент действительно может ею воспользоваться. Условно не тащить аи туда, где он будет давать херовый результат.

Мне такой системный подход дико заходит.

С одной стороны есть аудит проекта: где агенту не хватает контекста, запуска и проверок.

С другой работа с развитием инженеров: постановкой задач, разбором кейсов и привычкой проверять результат. Так будет понятнее, что именно мешает следующей задаче: среда или способ работы с агентом? и что нужно исправить?