С чего начать внедрять LLM в свой продукт?

Я часто слышу как люди, вдохновленные AI-технологиями, придумывают инновационные сценарии использования LLM в своих продуктах: «вот сейчас мы придумаем как дать такую супер-ценность пользователю, что наш продукт станет лучшим другом пользователя». К примеру, если у нас сервис видео-конференц-связи, то мы соберем все записи разговоров пользователя и будем выдавать ему аналитику и рекомендации для развития ораторских навыков пользователя

И тут сразу надо задаться вопросом «А оно нашему клиенту действительно нужно?» и второй тут же «А как это повлияет на стоимость нашего продукта?». Эти вопросы возвращают в реальность, через их призму становится очевидным, что ключевые зоны внедрения LLM — это всё же старая добрая автоматизация, а не мега-инновационные способы дать пользователю новый опыт

Куда же смотреть? Обратите внимание на повторяющие таски, которые обладают низкой вариативностью входных и выходных данных, какие-то медленные процессы, где можно ускорить решение с помощью предложения подсказок от LLM

Какие цифры могут помочь:
1) можно опираться на коэффициенты конверсий при переходе из одного этапа на другой (например, процент пользователей, которые заполняют форму и переходить на следующий этап воронки),
2) операционные издержки в конкретных процессах (например, стоимость одного тикета в обращении в поддержку)
3) увеличение скорости выполнения задачи (например, время на подготовку отчета, это влияет на количество задач, которые можно обработать без увеличения штата)

Нельзя полагаться на то, что LLM будет способом «заменить людей» в процессе. Скорее речь идёт о том, чтобы поставить LLM в напарники сотруднику. Например, если у вас в бэк-офисе продукта есть процесс, в котором требуется извлекать сущности из договора для дальнейшего внесения в форму, то LLM может помочь в извлечении этих данных, но перепроверку стоит доверить человеку, особенно в том случае если правильность внесения данных влияет на дальнейшие процессы

Когда мы работаем с чувствительными данными пользователей или внутренними корпоративными данными, то может стоять проблема передачи данных третьей стороне (провайдеру API, например, OpenAI или Anthropic). Если ваши данные чувствительны, возможно, стоит рассмотреть локальные модели (Llama, Mistral), но это увеличит сложность разработки

Отдельная сторона вопроса — стоимость использования LLM. Когда вы побрейнштормили и отсеяли кейсы использования, которые явно не бьют в ключевые цели вашего продукта, оцените примерно сколько может стоит сценарий. Смоделируйте работу LLM и оцените сколько токенов будет расходоваться и какая будет стоимость при использовании на модели, которую вы планируете использовать. Порой оказывается, что выхлоп от автоматизации окажется меньше, чем стоимость использования LLM, а окупаемость с учетом потраченных ресурсов разработки будет слишком длительной

Ну и касательно внедрения — не стройте сразу наполеоновских планов. Сделайте небольшой proof-of-concept, который позволит понять «а вообще это работает?» и протестируйте его на реальных данных и сценариях. Это в том числе позволит сделать более качественную оценку стоимости решения

Вижу на рынке излишний оптимизм, часто внедряют решения «ради технологии»: но даже крутая фича бесполезна, если пользователи не готовы за нее платить или она никак не экономит деньги бизнесу. В общем, думая об LLM в своём продукте, сначала концентрируйтесь на реальных проблемах и связывайте результат с бизнес-проблемами. LLM — мощный инструмент, но его сила в решении конкретных задач, а не в создании «магии»

Нашел список из более чем 300 кейсов использования ИИ в реальных компаниях. Так как он собран под кураторством Microsoft, то речь конечно больше про использование технологий Azure OpenAI Service, GitHub Copilot, Microsoft 365 Copilot и Microsoft Fabric

Все кейсы разбиты на категории:
1) Обогащение опыта сотрудников — автоматизация рутины, повышение производительности, персонализация обучения
2) Переосмысление взаимодействия с клиентами — чат-боты и виртуальные помощники, персонализация контента, улучшение сервиса
3) Трансформация бизнес-процессов — оптимизация цепочки поставок, автоматизация документооборота, финансы и риск-менеджмент
4) Ускорение инноваций — разработка продуктов, кейсы здравоохранения и образования

https://blogs.microsoft.com/blog/2025/03/10/https-blogs-microsoft-com-blog-2024-11-12-how-real-world-businesses-are-transforming-with-ai/

AI FORGE

В будущем основным потребителем документации будет не человек, а LLM.
Поэтому уже сейчас компании вроде Stripe делают чтение документации удобнее для агентов, в частности создавая .llm формат. Пример https://docs.stripe.com/llms.txt

#dev #ai #agi #coding

—————————
Мысли Рвачева
—————————

У Вастрика тут вышла прикольная статья про опыт вайб-кодинга

Для тех кто не в курсе, вайб-кодинг — это когда вы на чилле и позитиве (vibe, в переводе настроение) фигачите код через написание промптов для LLM в какой-нибудь AI-driven среде разработки типа Cursor. То есть вы не думаете над архитектурой вашего приложения, стеком технологий, не управляете структурой проекта, не пишите сами нужные сервисы, а просто человеческим языком пишите к ИИшке запрос «Напиши мне приложение, которое будет делать вот это вот»

В фантазиях оно именно так, что ты как будто сидишь с senior-разработчиком за пивком, говоришь ему что ты хочешь видеть как результат, а он с полуслова тебя понимает и тут же исполняет твои желания новоиспеченного фаундера стартапов

Но в реальности оказывается, что для того, чтобы закодить что-то приемлемое нужно общаться с LLM как с джуном, то есть декомпозировать задачу на максимально атомарные составляющие, к каждой из них детально описывать ожидаемый результат и всё перепроверять

То есть AI конечно может быть ускорителем процессов, например, я представляю себе как можно очень легко написать с помощью AI какие-то конфиги на YAML. Но когда мы начинаем иметь дело со сложной системой, состоящей из большого числа компонент, то когнитивная нагрузка на создание правильного промпта для задачи и контролирование результата может существенно превышать те же затраты, когда всё делается самостоятельно

В общем, для меня тут вывод, что а) никуда не денется потребность в системном мышлении, более того она сильно возрастет; б) ИИ будет отличным ассистентом для рутинных и простых задач, но отдельным навыком станет критическое осмысление где затраты времени на написание команды или набора команд к ИИ себя окупят

А ещё жду прироста онлайн-курсов про вайб-кодинг, а потом засилье джунов, которые не просто пишут неготовый к продакшну код, но и код, в котором они не разбираются почти никак

https://vas3k.blog/notes/vibe_coding/

ИИ теперь на службе людей, которые забывают номер овощей, когда подходят к весам. Справляется пока с попеременным успехом

https://vk.com/video-24430626_456239842

Записали с Леной Чебурашкиной короткое, но бодрое видео для «Школьной лиги» — это такая классная образовательная программа, которая помогает школьникам по всей стране по-настоящему влюбиться в науку и технологии

Поговорили про искусственный интеллект — не в стиле «всё пропало, машины захватят мир», а осознанно: разобрали мифы, страхи и ожидания. Может ли ИИ заменить ученого? Делает ли он открытия? А что насчет ИИ в политике и киберспорте — реальность или хайп?

Получился живой разговор про границы и возможности современных технологий

Куда будут развиваться LLM-платформы в дальнейшем

Вижу интересную тенденцию, что большинство LLM-движухи сейчас сконцентрировано вокруг моделей: каналы пестрят новостями о новых релизах Anthropic, Google и остальных. Но на мой взгляд, ключевые инновации, которые будут влиять на то как быстро LLM будут проникать в бизнес и пользовательские приложения сейчас происходят в области LLM-инфраструктуры (LLMOps)

Это как было с data science – с ростом потребности в том, чтобы DS-решения были масштабируемые, управляемые, воспроизводимые появилась целая область MLOps, в которой на текущий момент несколько доминирующих платформ и тысячи узко-специализированных решений

Похожая история будет происходить и с LLM: ключевые задачи тут будут касаться менеджмента LLM-пайплайнов (в том числе промпт-менеджмента, оркестрации в комплексные агентные системы, а также автоматизированной оценки пайплайнов) и resource-management (что-то про то как выдавать качество, валидное для решения задачи, но с минимальной стоимостью, например, через оптимизацию выбора модели/архитектуры под задачу)