Как Morgan Stanley убедились, что AI поможет компании лучше обслуживать клиентов

Друзья, мы начинаем серию постов о том, как AI помогает развивать бизнес и расскажем вам про опыт мировых компаний и то, как они применяют искусственный интеллект (иногда самым неожиданным образом), чтобы улучшить клиентский опыт, процессы внутри компании и как итог вывести бизнес в лидеры рынка. Сегодня поговорим про компанию Morgan Stanley — это мировой лидер в сфере финансовых услуг. А как мы знаем, финансы — во многом бизнес взаимоотношений. Но даже в столь личной и чувствительной работе может помочь искусственный интеллект.

Идея проста: если финансовые советники в Morgan Stanley смогут быстрее получать информацию и тратить меньше времени на повторяющиеся задачи, то будут предлагать клиентам больше качественных идей.
Чтобы убедиться в том, что AI поможет в решении поставленной задачи, эксперты провели ряд тщательных оценок для каждого приложения — Evals.

Evals — это строгий, структурированный процесс измерения того, как модели ИИ реально работают по сравнению с бенчмарком в конкретном сценарии использования. Оценки помогают собирать экспертную обратную связь на каждом этапе внедрения и непрерывно улучшать работу ИИ.

Ключевые метрики зависят от того, что наиболее важно для каждого сценария использования. Оценка Morgan Stanley была сосредоточена на повышении эффективности и результативности их финансовых консультантов. Поэтому в первую очередь эксперты оценили:

Как AI переводит текст. Измерение точности и качества переводов, создаваемых моделью.

Как AI обобщает информацию. Оценка того, как модель сжимает информацию, используя согласованные метрики точности, релевантности и связности.

Как отвечает AI по сравнению с экспертами. Сопоставление результатов ИИ с ответами опытных консультантов, оценки выставлялись за точность и релевантность.

Итоги оценок придали Morgan Stanley уверенности и подтолкнули к интеграции AI в продакшн.
В результате 98 % консультантов Morgan Stanley ежедневно используют OpenAI. Доступ к документам вырос с 20 % до 80 %, время на поиск резко сократилось. И, как главный итог, консультанты проводят больше времени в общении с клиентами благодаря автоматизации задач и более быстрой генерации идей.

Кэйтлин Эллиотт, руководитель по генеративным ИИ‑решениям на уровне всей фирмы:

Отзывы консультантов чрезвычайно положительные. Они активнее взаимодействуют с клиентами, а действия, на которые раньше уходили дни, теперь выполняются в течение нескольких часов.

Источник

Как Indeed делает поиск работы более человечным

Продолжаем узнавать, как AI помогает компаниям развиваться.

Indeed — веб‑сайт № 1 в мире по поиску работы, аналог русского Head Hunter. Компания использует GPT‑4o mini, чтобы по‑новому подбирать подходящие вакансии для кандидатов.

Искусственный интеллект способен обрабатывать огромные объемы данных из множества источников, поэтому именно он формирует более релевантный и персонализированный пользовательский опыт. Именно так компания Indeed улучшила свою рекомендательную систему.

Команда Indeed поняла: чтобы повысить эффективность и увеличить число откликов, важно объяснять соискателю, почему именно ему рекомендована та или иная вакансия. Так компания начала не просто предлагать подходящие вакансии, но и дополнять их контекстом.

С помощью аналитических и языковых возможностей GPT‑4o mini система, при отправке уведомлений или писем на email, добавляет информацию о том, насколько вакансия соответствует опыту или образованию кандидата.

Команда Indeed сравнила прежний механизм подбора вакансий с новой версией на базе GPT, дополненной контекстом:

- Количество откликов на вакансии увеличилось на 20 %.
- На 13 % больше кандидатов получили офферы.

В масштабе Indeed эти улучшения дают значительный бизнес-эффект: сайт компании посещают более 350 млн раз в месяц.

Масштабирование привело к росту использования токенов. Но и эту проблему удалось решить. Чтобы повысить эффективность, OpenAI и Indeed совместно дообучили более компактную модель GPT, которая обеспечила сопоставимые результаты при снижении потребления токенов на 60 %.

«Мы видим большой потенциал продолжать инвестировать в эту новую инфраструктуру — так, чтобы она помогала нам наращивать выручку».

— Крис Хайэмс, генеральный директор Indeed

Источник

Начинаем наш вебинар «Внедряем ИИ в команды: руководство для не-технарей»

👉 Подключайтесь

Запись вебинара «Внедряем ИИ в команды: руководство для не-технарей»

Мы часто встречаемся с проблемой, когда компании начинают внедрение AI со сложных систем: пытаются создавать ML-платформы, делают агентов или RAG.

Тогда как наибольшую эффективность от AI бизнес получает, когда команда использует простые инструменты: автоматизирует рутинную работу и выполняет задачи быстрее и качественнее.

На вебинаре Сергей Чернобровкин и Илона Кравченко разобрали примеры, когда и как применять ИИ в работе команд маркетинга, пиара, финансов, юристов и бэк-офиса: от создания контента до автоматизации.

На основании типичных задач вы сможете собрать более сложные процессы, приоритизировать идеи и пропагандировать AI внутри компании.

Для понимания контекста затронули теорию и познакомились с более сложными агентами, но все же рекомендуем начать внедрение ИИ с простых практик.

Запись уже доступна:

YouTube
VK Видео
RUTUBE

Что такое n8n и как он помогает создавать умных AI-агентов?

n8n — это open source ноукод платформа, которая позволяет без программирования связывать сервисы и создавать сложные сценарии работы.

n8n умеет интегрироваться с разными зарубежными сервисами, недавно там появился блок создания AI-агентов, в который можно подключить облачную LLM от ведущих производителей и создавать tool'ы из готовых инструментов. Или подключить свои MCP-сервера.

Вот пару примеров, которые мы разобрали на последнем вебинаре:

Мониторинг инцидентов. LLM обрабатывает поток инцидентов, выделяет критичные случаи и отправляет уведомления с предварительной обработкой и предложениями решения в Telegram-чат. Это уже применяется на нашей практике в ряде проектов.

Bitrix-бот. Telegram-бот, который с помощью LLM понимает голосовые запросы и ищет ответ (например, данные по сделкам, клиентам и т.д) в данных Bitrix, через MCP, подключенного в n8n. В пилотном режиме бот уже работает в KTS.

Для вдохновения загляните на n8n.io/workflows — там сотни готовых процессов: автопостинг в соцсети, парсинг сайтов, адаптация контента под разные каналы и автоматические рассылки.

MCP-сервер для работы с задачами из Yandex Tracker

На прошлых вебинарах мы разобрали, что такое Model Context Protocol (MCP), из каких компонентов он состоит, и как написать собственный MCP-сервер на Python или n8n. 

А недавно мы релизнули свой MCP-сервер для Yandex Tracker. 
Сейчас с его помощью можно решить следующие задачи: 
- получение и поиск очередей
- работа с пользователями
- поиск и фильтрация задач с использованием языка запросов Yandex Tracker
- получение комментариев и связей задач, а также логов времени

Также он поддерживает аутентификацию через OAuth 2.1, что улучшает безопасность и контроль доступа.

В ближайших планах у нас добавить "изменяющие" tool'ы, чтобы можно было создавать задачи, связывать их между собой прямо из LLM. Об этом и о других фичах еще обязательно напишем в канале.

MCP для Yandex Tracker опубликован в репозитории на нашем GitHub. Описали, как его подключить в различные клиенты, включая Claude Desktop, Cursor и другие. И вы уже сейчас можете создать своего агента с этим MCP-сервером.

Будем рады обратной связи тут и на GitHub. Если у вас есть кейс, который не терпится решить на основе агентов, LLM и MCP, обязательно пишите нам — с удовольствием обсудим.

Как Klarna извлекает выгоду из «накопительного эффекта» знаний ИИ

Продолжаем делиться кейсами эффективного применения AI в бизнесе. Сегодня — опыт финтех-компании Klarna, глобальной платежной платформы. Это достаточно зарегулированный бизнес в ЕС, при этом компания смогла выполнить все юридические требования и внедрить ботов. С помощью системного подхода и дообучения удалось добиться хорошего качества и надежности без репутационных рисков для бизнеса.

Klarna запустила собственного AI-ассистента, чтобы автоматизировать поддержку клиентов. Модель была дообучена на исторических данных чатов и сценариях реальных диалогов, чтобы ускорить обработку обращений и снизить нагрузку на операторов.

Результаты:

— ИИ обрабатывает две трети всех обращений;
— Среднее время решения запроса — 2 минуты вместо 11;
— Потенциальный рост прибыли — на $40 млн в год.

Важно: ассистент прошёл многочисленные итерации дообучения, прежде чем стал точным и безопасным в применении. Klarna поэтапно внедряла более сложные сценарии, расширяла область ответственности модели и отслеживала метрики качества на каждом этапе.

Klarna не ограничилась решением в поддержке. Внутри компании AI стал частью корпоративной культуры:

— 90 % сотрудников ежедневно используют ИИ: в службе поддержки, продукте, маркетинге, аналитике, управлении рисками.

— Созданы внутренние гайды и инструменты для генерации контента, создания сценариев, обработки текстов и кода.

— Отдельные команды занимаются тестированием и настройкой моделей — не только внешних LLM, но и собственных доменных моделей.

— Инициативы запускаются снизу вверх — каждый может предложить AI-решение своей задачи.

Это даёт эффект масштаба: скорость вывода новых идей и продуктов растёт, а стоимость изменений снижается.
Klarna системно инвестирует в адаптацию ИИ и получила накопительный эффект: с каждой итерацией модель становится точнее, а процессы — быстрее. Начав с одного применения, компания выстроила платформенный подход к ИИ.

Если вы хотите таких же результатов — начните с малого, но начните системно: соберите данные, найдите точку боли, адаптируйте модель под себя и итегративно развивайте решение.

Источник

Выпускаем Supabase внутри Nocode Cloud!

Мы собрали 5-й камень — базу данных для реализации RAG.

Почему мы начали с Supabase?

▫️Построена на базе Postgres — надёжный ACID-движок, строгие транзакции и репликация. Вы храните события агента, чат-историю и метаданные в одной базе, пользуясь чистым SQL.

▫️Векторное хранилище на основе pgvector — хранилище живёт в том же Postgres: RAG-запросы, семантический поиск и память агентов без отдельной базы данных.

▫️Opensource аналог firebase — бизнес-логика, векторные embedding’и и привычные реляционные записи собраны в одном месте, что упрощает архитектуру.

Supabase доступен в beta-режиме в Nocode Cloud для пользователей зарегистрированных в другом нашем продукте — конструкторе чат-ботов smartbotpro.ru.
Но скоро вынесем инфраструктурную платформу в отдельный сервис без привязки к Смартботу.

Дайте сотрудникам свободу: как внедрять ИИ «снизу вверх»

Сегодня посмотрим на опыт компаний, которые внедрили ИИ «снизу вверх»: сотрудники сами экспериментируют с технологией и решают, как ее применить в работе.

Самый быстрый способ — предоставить сотрудникам доступ к ChatGPT или другим LLM-моделям в качестве «цифровых ассистентов».

Так поступили в международном банке BBVA. Сотрудникам выдали доступ к ChatGPT. За пять месяцев команда BBVA создала 2 900 собственных GPTs:

— Credit Analysis Pro GPT: автоматизирует анализ кредитных рисков, извлекая данные из годовых отчётов и ESG-оценок.
— Legal Assistant GPT: обрабатывает ≈ 40 000 юридических запросов в год, снижая нагрузку на команду из 9 юристов.
— Client Experience Assistant GPT: анализирует отзывы клиентов, выявляя ключевые инсайты для улучшения сервиса.

Похожий путь прошла консалтинговая компания Bain & Company: команде выдали доступ к инструментам на базе ChatGPT. В результате получилось несколько успешных кейсов:

— Answer Copilot. Кастомный GPT на базе открытых данных из переписки партнёров компании.
— Бот для Due Diligence в сфере частного капитала. Персональный ассистент консультантов автоматизирует и ускоряет анализ документов из Data Room.
— Конструктор опросов. Специализированный GPT дорабатывает черновики анкет до готовых закодированных опросов.
— Аналитика. Бизнес-аналитики генерируют код на Python, чтобы анализировать данные и автоматизировать сложные процессы в Excel.

Чтобы усилить интерес к технологии, Bain запустила конкурс GPT Olympics. Сотрудники создали 2 000+ собственных MyGPT. Теперь 60% консультантов и проектных команд (12 000 человек) используют ИИ ежедневно.

В российских реалиях большая компания не может просто закупить лицензию OpenAI или Anthropic, поэтому корпорации строят внутренние LLM-платформы на базе open source моделей и инструментов. Один из примеров — X5 Tech и их внутренняя LLM-платформа.

А если вы не настолько большая компания, а комплаенс и информационная безопасность достаточно гибкие, дайте сотрудникам удобный доступ к инструментам и покажите, как пользоваться моделью. Пусть команда самостоятельно тестирует гипотезы на своем уровне. Из успешных кейсов делайте вебинары, чтобы другие сотрудники вдохновлялись результатами коллег.

Что такое RL-агенты и как они работают?

Reinforcement Learning (RL) — подход, в котором модель обучается действовать в среде, получая положительные и отрицательные награды. Система учится получать максимальную суммарную награду за весь процесс, а не в моменте. Какие-то действия могут приводить к отрицательной награде, но суммарный результат все равно будет лучше. Понятный пример — «инвестиции»: в процессе где-то мы теряем, но в сумме по итогу стремимся получить больше, чем вложили.

Пример классической задачи для RL — CartPole

RL-агенту нужно сбалансировать шест на движущейся тележке. Как это выглядит, можно посмотреть по ссылке. Агент получает числовое «фото»: где находится тележка, с какой скоростью она едет, под каким углом наклонён шест.
У агента есть два действия на выбор: толкнуть тележку влево или вправо. Если шест не упал, а тележка не выехала за край, агент получает награду и запоминает ситуацию.

После тысяч итераций алгоритм подстраивает свою внутреннюю политику под максимизацию награды — учится заранее определять наклон шеста и двигаться так, чтобы он не упал. За счет подкрепления бонусами и постоянной обратной связи у агента рождается устойчивое чувство равновесия.

Почему CartPole решает RL, а не обычная ML или LLM

CartPole — это не разовая классификация «картинка → ярлык», а динамическая игра, где каждое действие влияет на будущие состояния. У нас нет готовых «правильных ответов» для каждого кадра, зато есть цепочка наград за долговременное удержание шеста. RL учится на последовательных взаимодействиях и оптимизирует политику под накопленную награду. Классический ML на статичном датасете не справится с задачей, так как не поймет, что считать успехом.

Между RL агентами и LLM агентами можно провести параллель:

RL-агент перебирает доступные действия, чтобы заработать максимальную награду.
LLM-агент делает то же самое, только его «действия» — это выбор генерировать ответ на основе текущей информации или вызвать дополнительные инструменты (search, code-exec, image-ген), которые изменяют информационную среду и приближают агента к лучшему ответу.

В обычной жизни вы уже сталкивались с RL, но могли не знать об этом:

Роботы — учатся хватать предметы или ходить на ногах.
Автопилоты — просчитывают траектории, избегают столкновений, адаптируются в реальном времени.
Игровые боты — побеждают людей, потому что играют миллионы матчей и учатся на каждом.

Почему мы решили упомянуть про RL? Алгоритм reinforcement learning from human feedback (RLHF) позволил GPT следовать инструкциям и превратиться в универсальный инструмент, которым сегодня пользуются миллиарды людей — ChatGPT от OpenAI, Claude от Anthropic, Gemini, Grok и далее. С помощью такого подхода можно fine tune”ить модели и обучать их решать более сложные “агентские” задачи, но об этом в следующих постах.

KTS на митапе Cloud․ru Tech Lab

24 июля в Москве пройдет митап AI&ML от Cloud․ru. В программе — четыре доклада об AI-агентах, RAG, Ragas и сборке MCP-сервера без кода. Также вас ждут демозона с тестированием AI-решений, нетворкинг и afterparty.

Среди приглашённых спикеров — Игорь Латкин, управляющий партнёр и системный архитектор KTS. Он выступит с докладом «Model Context Protocol (MCP): главный тренд AI-индустрии».

Митап будет особенно полезен разработчикам, продуктовым менеджерам и архитекторам, а также всем, кто внедряет или планирует внедрять AI в свои сервисы.

Когда: 24 июля, 18:00
Где: Москва, Гоэлро Лофт

Для тех, кто не сможет присутствовать лично, будет доступен онлайн-формат. Cloud․ru поделится записями после мероприятия.

Регистрация обязательна. До встречи на митапе!

Почему мы задумались о создании собственной платформы?

Компании, которые к нам приходят, независимо от сферы, сталкиваются с похожими проблемами при создании и внедрении ИИ-агентов на разных этапах в российских реалиях:

Этап подготовки
— Создание инфраструктуры для запуска ИИ-агентов. Сложная настройка серверов, баз данных и окружений разработки.
— Доступ к передовым моделям из РФ. Географические ограничения блокируют доступ к лучшим ИИ-моделям.

Этап запуска агентов
— Быстрое прототипирование и тестирование агента. Отсутствие инструментов для быстрой итерации и проверки гипотез.
— Доведение агента до необходимого и стабильного качества ответов. Сложность настройки промптов и оценки качества работы агента.
— Интеграция с внутренними системами компании (CRM, базы знаний и пр.). Отсутствие готовых коннекторов и сложность кастомной разработки.
— Выполнение 152-ФЗ. Соблюдение требований по защите персональных данных при работе с ИИ.

Этап эксплуатации
— Отсутствие сквозного мониторинга качества. Нет инструментов для отслеживания производительности агентов в реальном времени.
— Улучшение качества ответов в процессе эксплуатации. Сложность непрерывного обучения и адаптации агентов под изменяющиеся требования.

Мы поняли, как им помочь. В рамках другого продукта KTS Smartbot есть платформа Nocode cloud, которая позволяет разворачивать сервисы n8n, supabase и другие. Мы дополнили ее инструментами, которые необходимы для прототипирования, создания и доведения до продакшна агентских решений. Так получился Agent Platform — платформа для быстрой разработки, развертывания и оптимизации ИИ-агентов.

В следующем посте расскажем, что есть внутри платформы и откроем сбор заявок на ранний доступ ĸ Agent Platform.

Перчатка бесконечности ИИ-агентов собрана!

Познакомьтесь, Agent Platform — платформа для быстрой разработки, развертывания и оптимизации ИИ-агентов.
Она открывает единый доступ к ведущим моделям, инструментам контроля качества и оптимизации, подключению собственных сервисов и MCP-серверов из маркетплейса.

Что входит в Agent Platform:

▫️Конструктор ИИ–агентов. Моделирование логики, условных переходов и интеграций на базе n8n.

▫️Поддержка RAG. Готовое векторное хранилище на Supabase с автоматической индексацией контента и API для RAG.

▫️Единый API к популярным LLM. Доступ к OpenAI, Anthropic Claude, Google Gemini через единую спецификацию API с подключением к конструктору агентов на базе LiteLLM.

▫️Маркетплейс MCP-серверов. Подключение внешних инструментов (поиск, базы знаний, CRM) через Model Context Protocol.

▫️Monitoring & Evaluation. Логирование запросов/ответов, ручная разметка и автоматическая оценка LLM-as-a-Judge на базе LangFuse.

▫️Оптимизатор промптов. Генерирует улучшенные формулировки на основе размеченных выборок и оценок качества.

Собрали все инструменты в одной платформе и приглашаем вас ее протестировать. На сайте собираем заявки на ранний доступ ĸ Agent Platform.

Коммуникация Agent <-> Agent : чем полезна и куда развивается

ИИ-агенты уже умеют ставить встречи, выдавать доступы, проводить онбординг, искать и анализировать информацию. На наш взгляд, больше 80% задач может решать один агент, работающий в конкретной предметной области. Однако есть задачи, которые охватывают сразу несколько процессов или систем и требуют участия нескольких агентов.

Например, онбординг нового сотрудника, которому нужно создать учетную запись, выдать доступы, завести почту и познакомить его с документацией.

В простом случае этим управляет агент-оркестратор: он поочередно вызывает агентов, передаёт им входные данные и собирает результат.

Но если нужно, чтобы агенты координировали работу между собой, встает вопрос о создании межагентного взаимодействия. Например, один агент вызывает другого, передаёт ему задачу, получает артефакт и инициирует следующий шаг, агенты отслеживают прогресс друг друга и доводят процесс до завершения.

И здесь напрашивается некоторая стандартизация коммуникации агентов, в которую должны быть заложены базовые принципы:

— Обнаружение агентов. Каждый агент декларирует свои возможности в каком-то формате и это позволяет другим агентам или оркестратору находить подходящего исполнителя под конкретную задачу.

— Управление заданиями. Агент получает задачу, отслеживает её статус и возвращает результат — артефакт. Если задача длительная, агенты синхронизируют статусы и сохраняют контекст.

— Коллаборация. Агенты могут передавать друг другу инструкции, промежуточные артефакты, ответы и контекст. Это позволяет выстраивать сложные цепочки действий.

На 2025 год уже существуют протоколы, реализующих эти принципы. В свежем обзоре исследователей из университета Shanghai Jiao Tong проведено детальное сравнение и категоризация таких протоколов (и не только).

Наиболее нашумевшие в последнее время:

A2A от Google — протокол и библиотека ADK, ориентированные на промышленное применение. ADK доступен на GitHub и позволяет быстро строить системы взаимодействия агентов на основе A2A.

ACP от IBM — так же протокол взаимодействия агентов между собой, который немного отличается от A2A выбором технологий и форматом общения агентов.

Главная проблема всех протоколов на данный момент — отсутствие широкого adoption в индустрии, и как следствие, фрагментированность в сообществе.

В интеграции LLM с внешними системами роль стандарта уже выполняет MCP и на наш (и не только) взгляд может в будущем стать основой стандартизации даже и в системах агентного взаимодействия.

В следующих постах разберём, можно ли считать MCP агентным протоколом и в каких сценариях это применимо.

#игорь_латкин #MCP #Agents

Главная проблема агентов: прототип сделать просто, а работающую систему на порядок сложнее

Когда мы работаем с ChatGPT, мы общаемся с ним как с ассистентом: задаём вопрос, получаем ответ, берём нужное, игнорируем лишнее. Если ответ не тот — переспрашиваем или корректируем.

Примерно то же самое происходит и при создании прототипа. Загружаем данные, смотрим, как отвечает система, убеждаемся, что «в целом работает» — и на этом этапе говорим, что прототип готов. При этом часто игнорируем ошибки, потому что в прототипе они кажутся незначительными.

Даже если система ошибается в 1 случае из 100 и точность правильных ответов — 99%, оставшийся 1% может нанести репутационный ущерб. А подобных типов ошибок может быть много.

Например: в 2023 году делали ИИ чат-бота для магазина. Клиент спрашивает у бота: «Где находится ближайший магазин?», а бот галюцинирует, ошибается с адресом, клиент приходит — магазина нет.

Поэтому требования к качеству резко возрастают, и простой «работающий прототип» уже не подходит. Исходя из этого, существует 2 стратегии внедрения:

1. Полностью автоматическая система.
ИИ сам отвечает и действует, человек не участвует. На практике 1 стратегия часто заканчивается провалом, так как внедряется ИИ, который работает хуже процесса с человеком, в результате принимается решение, что технология не зрелая, инициатива задвигается.

Сработать такая система может только там, где цена ошибки низкая.

Пример: бот, который продаёт бетон. Его задача — взять телефон и проконсультировать для дальнейших продаж. Он может ошибиться с деталями доставки, но в среднем даёт больше конверсии, чем человек за счёт скорости ответов.

2. Автоматизированная система с участием человека.
ИИ предлагает ответ, но окончательное решение принимает человек. Во 2 стратегии мы рассматриваем ИИ как ассистента. Он находит информацию, формирует готовый ответ. Человек может принять ответ, изменить или отклонить. Все действия логируются и накапливаются данные: вопросы, ИИ-ответы, поддержки, рейтинг удовлетворенности пользователя. На основании данных дообучаем систему: переписываем промпты, файнтюним модели, меняем архитектуру и тд.

Со временем человек всё реже редактирует ответы. Когда процент автоматических решений стабильно высокий и не уступает качеству работы оператора — только тогда возможен переход к первой стратегии и полной автоматизации.

Коллеги из Сбера пошли по второй стратегии: внедрили ассистента поддержки, который сократил среднее время ответа на 20% , а не пытались заменить операторов полностью.

Иногда переход от 2 стратегии к 1 происходит. Иногда технологическая зрелость не позволяет, и человек остаётся в цепочке. Но даже в этом случае он работает быстрее, а инвестиции в ИИ-систему окупаются.

#александр_опрышко

Почему корпорации не любят n8n?

n8n — ноукод-инструмент для сборки LLM-агентов и интеграционных сценариев без программирования.

Но с точки зрения корпоративного внедрения у него есть серьёзные ограничения:

— Нет версионирования. В open source-версии нельзя отслеживать изменения и безопасно откатываться к предыдущим версиям.

— Нет поддержки уровня энтерпрайз. Компании хотят сопровождение, но вендоров, которые умеют эксплуатировать n8n, почти нет.

— Вендор-лок.Если он не подойдёт, перенести сценарии на что-то другое не получится, нужно будет переделывать.

— Сложное логирование. Агентная архитектура требует прослеживать шаги выполнения. Из коробки n8n этого не умеет. В коде трейсинг и логирование сделать проще.

— Ограниченные возможности для кастомных сценариев. Разработчику зачастую проще и быстрее реализовать логику на LangChain, чем собирать её в интерфейсе n8n.

Тем не менее, для Agent Platform мы сознательно выбрали n8n как один из «агентских фреймворков».

Несмотря на ограничения, такие инструменты нужны для массового использования в продуктовых командах. Продуктам, аналитикам, маркетологам важен простой способ быстро проверить гипотезу: можно ли переложить текущий процесс на LLM. Если можно — появляется рабочий прототип, с которым уже есть смысл идти к инженерам. Они смогут превратить его в продакшен-решение с метриками.

Пример: генерация рекламных изображений.
LLM умеют генерировать картинки, но дизайнеру важно ещё адаптировать их под разные площадки и бренд-гайдлайны. Вместо долгого цикла с ресерчем и итерациями от разработчиков, он может сам собрать прототип в n8n, потестировать гипотезу — и только потом подключить инженеров. Тогда они уже перенесут это решение в продакшен, готовый к масштабированию.

Наша практика внедрения агентов показывает, что придумывать промты должен product owner. А задача инженера — сделать так, чтобы результат, который получил product owner в режиме прототипа, стал стабильным.

Поэтому мы даем n8n в руки product owner”ов, помогая им разобраться в инструменте, а потом переносим результат прототипа на n8n в промышленное решение руками инженеров, которые доводят качество и воспроизводимость до нужного уровня.

n8n даёт быстрый результат — и этого достаточно, чтобы начать. Это гибкий agile-подход. Он помогает командам запускать инициативы с ИИ быстрее и внедрять LLM в реальную работу.

#александр_опрышко #n8n

LLM-независимый подход: как снизить риски и расходы на внедрение ИИ

На рынке уже доступны state-of-the-art модели от OpenAI, Anthropic, Google и других разработчиков. Они отличаются по качеству, размеру и стоимости эксплуатации. Но в российских реалиях решения малодоступны из-за ограничений по безопасности и требованиям к инфраструктуре. Нужно использовать облачные решения вроде Яндекса и Сбера или разворачивать open source модели в своем контуре.

Часто на старте внедрения ИИ Агентов у команды есть только набор гипотез, но нет понимания, реально ли воплотить идею на доступных в России моделях, и насколько трудоемко реализовать инициативу.

Есть два базовых варианта, что можно делать на старте внедрения:

1. Сразу начинать с дешёвой, локальной open source модели.
Риск — потратить много времени, чтобы заставить систему работать. Если задача сложная, система может не справиться.

2. Сначала использовать лучшую доступную модель.
Протестировать гипотезу на публичных данных, быстро понять, достижим ли нужный результат. Если не получается на лучших моделях за короткое время — не стоит тратить ресурсы дальше и инвестировать в переезд на доступные модели. Рассмотрите другие инициативы, которые дадут быструю победу. Если результат вас устраивает — можно пробовать решить задачу компании open-source моделями или моделями, которые доступны в российских облаках.

Для этого нужно итерироваться по доступным моделям, опираясь на данные и метрики:

— Выбираем топовую модель для тестирования гипотезы. На публичных данных строим прототип и определяем метрики качества (про метрики качества ответов расскажем в следующем посте).

— Добиваемся стабильных метрик. Ответы прототипа доводим до стабильных метрик и проверяем репрезентативность: если ответ плохой — метрики плохие, хороший — хорошие.

— Итерируемся вниз по моделям. Постепенно заменяем модель на более дешёвую/маленькую. Оцениваем, как это влияет на метрики. Если результат сохраняется — продолжаем и брем модель еще дешевле. Если качество падает — адаптируем систему.

— Находим оптимальный баланс. Останавливаемся там, где сходится экономика процесса: оптимальный трейд-офф между количеством усилий для достижения результата и ценой инференса (генерации токена).

Для пошаговой итерации нужен гибкий инструмент, чтобы переключаться между моделями без изменений в логике приложения.

Один из таких инструментов — LiteLLM, который предоставляет унифицированный API и поддерживает разные LLM-провайдеры.
А для автоматизированной оптимизации агентов советуем DSPy.

Внутри Agent Platform мы добавили LiteLLM, который подключен к российским, американским и китайским провайдерам, чтобы можно было гибко менять модели подходы к оценке качества.

#александр_опрышко #llm