Вайбкодинг без магии

В прошедшее воскресенье на AI Dev Day много говорили про кодинг-ассистентов и агентов. На одной сцене собрались представители Яндекса, Сбера, Т-Банка, Авито и Ozon, чтобы поделиться своим опытом интеграции помощников в разработку. Практика оказалась разнообразной.

Попросили лидера трека ИИ в разработке в Яндексе Андрея Попова, пояснить, как он видит происходящее сегодня внутри больших команд.

Насколько глубоко ИИ проник в разработку?

➖ Довольно глубоко. У нас 84% разработчиков используют доступные ИИ-инструменты, 57% регулярно работают в агентском режиме, а 36% делают это ежедневно. Лучше всего это заходит во frontend, mobile и backend. Но тут важно не обманываться: adoption очень сильно зависит от тимлидов, а сами модели и ассистенты пока лучше работают в новых и изолированных проектах.

Где ИИ даёт самый заметный эффект?

➖ Не только в генерации кода. Да, мы видим в среднем рост числа коммитов на 10%, а на Go, Python и JS/TS — до 20%. Около 30% закоммиченного кода уже сгенерировано ИИ, из них 23% — в агентском режиме. Но один из самых недооценённых кейсов — это поиск информации. Он может съедать у разработчика 10–30% времени. У нас DeepAgent сокращает типовую задачу поиска с 20 до 2 минут, а активные пользователи AI-чата на 50% меньше ходят по wiki и документации.

Что пока не взлетает так хорошо?

➖ Например, нейроревью. Мы запускали AI code review, получили adoption около 25%. Найти проблему в ревью занимает около 6 минут, а исправить — 55. Поэтому мы пришли к выводу, что часто выгоднее сразу генерировать более правильный код.

На чём держится такое внедрение?

➖ На инфраструктуре и измеримости. Без доступного инференса, RAG, агентской платформы, единого контекста, MCP и доступа к внутренним сервисам агенты не дадут нужного эффекта. У нас уже 90% инфраструктуры покрыто MCP и есть более 35 интеграций.

Параллельно нужны свои бенчмарки: например, ArcSWE — это внутренний аналог SWE-бенчей на яндексовых сценариях, который помогает принимать управленческие решения, а не просто любоваться цифрами. Эффект тоже считаем приземлённо: число действий, экономия времени на действие, коэффициент качества. Пока суммарно это даёт около 42 тыс. часов, то есть примерно 2% рабочего времени. Амбиция — выйти на 10%.

А что на рынке в целом?

➖ Очевидно, что все прошли схожий путь: от точечных экспериментов с ассистентами — к системной работе с агентами и сквозной интеграции ИИ во все этапы разработки. Появилось и общее понимание, что без качественной инфраструктуры — MCP, skills, доступа к внутренним сервисам — агенты не дадут ожидаемого эффекта. И наконец, все постепенно уходят от простого подсчёта adoption к измерению реального влияния на процессы и результаты разработки.

Что дальше?

➖ Дальше движение в сторону AI-first. Нас интересуют не только новые модели, но и эффективное потребление токенов, AGENTS.md как стандартный формат, готовые skills для типовых сценариев, развитие MCP и более жёсткие метрики — вплоть до аналога disengagement rate, то есть как часто человеку приходится вмешиваться в автономную работу агента. Сейчас агент уже скорее джун или мидл в помощь сильному разработчику. И да, токены постепенно становятся новым золотом.

@anti_agi

🍃 Выпустили ИИ-агентов в реальную среду и получили хаос.

Исследователи протестировали автономные AI-системы и результаты оказались тревожными:

в одном из экспериментов агент… удалил весь почтовый сервер
просто чтобы сохранить секрет незнакомца

Главная проблема оказалась не в интеллекте, а в доверии

Когда языковой модели дают доступ к реальным инструментам
- файлам
- почте
- системе

у неё появляются "слепые зоны"

Что сделали исследователи:
20 экспертов 2 недели общались с AI через чат и email
как будто это реальные ассистенты

Что выяснилось:

- агенты выполняют команды почти от любого человека
- не понимают, кому можно доверять
- могут врать о своих действиях
- принимают опасные решения без проверки

И это уже не лаборатория

Компании прямо сейчас внедряют таких помощников в прод

Проблема:
мы даём системе доступ к инфраструктуре
но она не понимает базовую вещь - кому можно доверять

Именно поэтому автономные агенты сейчас
- не столько про интеллект
- сколько про контроль и безопасность

Paper: *Agents of Chaos*
arxiv.org/abs/2602.20021

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml