Всем привет!
Меня зовут Брянцева Ксения, CPO в продукте GigaLegal, с 2014 в сфере стартапов и развития продуктов.

В этом канале буду делиться заметками
#product про развитие продукта
#inspire вдохновляющие материалы
#surfing про спорт, и в первую очередь серфинг
#life личные заметки и наблюдения из жизни

Канал создан давно, кажется пора начать делиться выступлениями.
В этот раз пропускаю осенний Product Camp.
Но есть записи с прошлого выступления и презентация

Всех с наступившим Новым годом и праздниками!
Пора возвращаться в рабочий настрой, возобновляю активность.

За прошедший год были выступления, которыми ещё не делилась тут - исправляюсь, тк много планов по мероприятиям на 2026.

Ниже ссылка на презентацию: как сделать мультиагентную систему на n8n. Выступление проходило в рамках конференции AI Genius

Это ссылка на презентацию для участников воркшопа https://docs.google.com/presentation/d/1kSG1lrL2kHEPhMJN-aL_P1viwxOUvFJT/edit?usp=sharing&ouid=105555430044071598893&rtpof=true&sd=true

Найдено на просторах интернета
#product

19 мая ходила на конференцию Customer Service Day от Yandex Crowd, где обсуждали AI-внедрения.
Хочу поделиться своими инсайтами и добавить контекст, который в таких дискуссиях часто теряется.

1. AI-стратегия начинается с клиентского пути, а не с выбора модели
Это звучит как банальность, но на практике большинство команд делают наоборот: сначала выбирают инструмент, потом ищут задачу. Пока не описан путь клиента с узкими местами, не выверен финэффект в часах, в доп доходе от внедрения AI, общая цель не обсуждена с кросс-командой, то любой разговор про LLM vs RAG - это разговор ни о чём.

2. CSAT - это ещё не бизнес-кейс
Почти все докладчики говорили о росте CSAT. Но для принятия решений, на мой взгляд, нужны другие вопросы: как AI-внедрение влияет на LTV? Снижается ли стоимость одного обращения? Растёт ли retention после первого контакта? CSAT - прокси-метрика, и она имеет место быть. Финансовые показатели — результат.

3. "Покрыть все интенты через LLM" - кажется, слишком радужно.
Ключевой операционный вопрос в поддержке - не "есть ли у нас AI на каждую тему", а "сколько нам стоит одна ошибочная эскалация". Реальная ценность AI в саппорте: снижение AHT, сокращение переводов на 2-ю и 3-ю линию, уменьшение ошибочных маршрутизаций. Это операционная эффективность с прямым P&L-эффектом.

4. Классификация интентов: LLM хуже BERT и это подтверждено данными
Исследование на банковских чат-ботах (Stanford / Slovak University of Technology, 2024) показало: fine-tuned BERT достиг точности почти в 77%, тогда как LLM - включая Llama 3 8B и Gemma 7B - даже после дообучения не смогли превзойти специализированную BERT-модель. ResearchGate
Вывод для бизнеса: использовать LLM для роутинга - это переплачивать за инструмент, который решает задачу хуже, так ещё и удлинять цикл разработки фичи.

5. Один RAG-пайплайн - это не панацея, это MVP
Базовый RAG не имеет встроенных механизмов повторных попыток, корректировки стратегии поиска или валидации качества результатов - что делает его ненадёжным на сложных запросах. MachineLearningMastery
Зрелая архитектура включает: GraphRAG для базы знаний, Agentic RAG с query decomposition, систему ограничений (что показывать клиенту, что - оператору). MDPI

6. Copilot как стратегия, а не компромисс
В юридическом продукте copilot-подход был для нас вынужденным, тк слишком высока цена ошибки. Но сейчас я вижу в нём самостоятельную ценность: человек в контуре снижает риск дорогостоящих ошибок, упрощает аудит и строит доверие на ранних стадиях. Более того, изначально внедрить AI как Copilot для проверки ценности гипотезы, а далее вывести в самостоятельного помощника пользователя - тоже вариант стратегии.

7. Система роста качества: то, о чём говорили меньше всего
С этим вопросом я столкнулась 2 года назад, когда выстраивала систему оценки GigaLegal (юридический AI-помощник). Что дало реальный буст:

LLM-as-a-Judge - автоматизированная оценка без ручного труда на каждом релизе
Gold dataset с разметкой асессоров - как ground truth для регрессионного тестирования
Совместные сессии оценки качества с заказчиком - обязательный этап, не опциональный

8. Legaltech - не особый случай. Это тот же путь, просто с меньшим правом на ошибку
legaltech считают как супер особенность, на самом деле принцип подхода к внедрению AI очень схож и с другими сферами. Ключевым отличием же является еще более развитое критическое мышление у клиента = юриста, больше требовательности по качеству ответов (accuracy, f-мера), больше ссылочности на первоисточник и выше цена ошибки соответственно.
Федеральные суды в США уже выписали штрафы на сумму свыше $50 000 за AI-сгенерированные фиктивные ссылки в юридических документах. arxiv Verdict
Это не аргумент против AI в legaltech. Это аргумент за то, что те же принципы - гибридная архитектура, gold dataset, human-in-the-loop - в юридическом контексте перестают быть best practice и становятся необходимостью.

Как вы оцениваете зрелость AI-внедрений в своей отрасли? И какие метрики качества вы считаете критическими за пределами CSAT?