🔴 Мало размеченных данных. На небольшой выборке QMS телемаркетинга LLM опередила RuModernBERT на 17 процентных пунктов по Agg F1
🔴 Сложный контекст. Когда нужно анализировать весь диалог, понимать логику разговора и оценивать, например, насколько оператор отработал возражение клиента

⚫️ Много данных и простая задача. На большой выборке чат-бота разница с LLM составила всего 1,5 процентного пункта по F1 micro
⚫️ Короткие тексты. На открытых комментариях BERT обошёл LLM по всем метрикам, расходуя меньше ресурсов

Михаил Васильев, руководитель департамента внедрения, развития и контроля ИИ-решений Альфа-Банка, рассказал о системе из трёх линий защиты.

Бизнес и разработчики управляют рисками, независимые подразделения проверяют качество моделей и соблюдение требований, а внутренний аудит оценивает эффективность всей системы. Среди ключевых инструментов — независимая проверка, пилотирование, A/B-тестирование и мониторинг.

Игорь Дойников, руководитель дирекции по разработке моделей розничного бизнеса Альфа-Банка, представил процесс ML Model Governance. В банке насчитывается более 800 моделей, их применение охватывает 73% ССП. Единый процесс включает девять этапов, начиная с формирования запроса до вывода модели из эксплуатации.

До разработки фиксируются бизнес-требования, финансовая модель и готовность данных. Эффект проверяется на пилоте, а после запуска модель сопровождают с помощью мониторинга, валидации и переобучения.