6 ловушек при оценке ИИ 🤖

Разобрали шесть ошибок, из-за которых эффект от ИИ легко переоценить или, наоборот, не заметить.

1️⃣ Считаете один рубль дважды
Нельзя складывать hard- и soft-эффекты, если они описывают один и тот же ресурс. Например, одновременно считать экономией зарплату сотрудников и доход от задач, на которые они переключились после внедрения ИИ.

2️⃣ Забываете про «зарплату» ИИ
Модель — это не разовая покупка, есть инфраструктура, токены, поддержка, обновления и контроль качества. Если не заложить стоимость владения заранее, экономика проекта может перестать сходиться уже после запуска.

3️⃣ Сравниваете ИИ с неэффективным процессом
Высокий эффект получается, если сравнивать новую технологию с тем, как всё работает сейчас. Но иногда лучшая альтернатива — не ИИ, а простая автоматизация, изменение процесса или готовое решение.

4️⃣ Не гонитесь за точностью, которая бизнесу не нужна
Дополнительные проценты точности сами по себе не создают ценность. Важно понимать, какое решение изменится благодаря прогнозу и как это повлияет на экономику процесса.

5️⃣ Верите в эффект без A/B-теста
Метрики могли вырасти не из-за модели. Повлиять могли сезонность, рынок или другие изменения. Контрольная группа помогает отделить реальный эффект алгоритма от внешних факторов.

6️⃣ Смотрите на метрику отдела, а не на клиента
Рост одного продукта ещё не означает рост бизнеса. Клиент мог просто перейти из одного продукта в другой, поэтому важно смотреть на совокупный эффект и, например, оценивать его через CLTV.

Если хотите, чтобы ваш ИИ окупался, начните с правильного учёта. Считайте не то, что легко посчитать, а то, что действительно создаёт для компании ценность.

В полной статье читайте подробнее 🔗

#aaa_hardposting

❤️ Больше рассказываем о работе в IT и Digital в канале Alfa Digital

А сколько ловушек уже успели пройти вы? 🪤

🎨 😭 — похоже, попался на все
🎨
🎨
🎨 😱 — пару ловушек точно
🎨 не заметил
🎨
🎨 👌 — бывало, попадался
🎨
🎨
🎨 😁 — умею обходить
🎨
🎨
🎨 ❤️‍🔥 — сам эти ловушки ставлю и проверяю

Собрали вайб-кодеров, раздали вайба и устроили техно-рейв 🤙

Устроили главную тусовку вайб-кодеров — АЛЬФА ВААА{АИ}ЙЙЙБ МИТАП. Эксперты из Альфа-Банка, red_mad_robot, Kion, Яндекса и других компаний обсуждали, как ИИ меняет разработку и какие задачи всё ещё требуют особого внимания инженеров.

Забрали с митапа несколько мыслей, которые стоит завайбкодить себе в работу:

💫 Инференс может оказаться дороже джуна
Илья Филиппов из red_mad_robot обратил внимание: даже если модели работают на собственных серверах, токены не становятся бесплатными. Если сжечь много ресурсов на reasoning, это может оказаться дороже, чем нанять джуна.

💫 Скорость разработки ещё не гарантия пользы
Максим Иванов из билайна отметил, что вместе с ростом скорости разработки появится и много бесполезного. А Евгения Косенко из Яндекса добавила, эффект от ИИ нужно оценивать по-разному: для прототипов смотреть на количество гипотез и скорость воронки, для разработки на pull request'ы, для крупных продуктов на бизнес-эффект.

💫 Агенту нужны минимальные права
Магдихан Окелла из Яндекса назвал три принципа безопасности: отдельная учётная запись для агента с минимальными правами, все вызовы через одну контролируемую точку и ручное подтверждение критических действий.

💫 Кто отвечает, если агент что-то сделал не так?
В дискуссии после доклада выделили три уровня рисков: технический, информационный и операционный. Также рассказали о системе Agent Risk Management, которая мониторит агентов и автоматически отключает их при подозрительной активности.

Хотите больше деталей и примеров от практиков? Собрали записи выступлений с митапа 🔽

✨ Смотреть записи

Под вечер зал превратился в танцпол! Все отрывались под ЛАУД и наслаждались перформансом digital moss.

До следующего рейва 📌

#af_events

❤️ Больше рассказываем о работе в IT и Digital в канале Alfa Digital