Максимум Скорченко⚡️
151 subscribers
37 photos
5 videos
4 files
20 links
15 лет делаю продукты, последние 6 - с ML/AI. CPO red_mad_robot (ex. Яндекс, СберX, Триколор, МегаФон).
Download Telegram
Не, ну это просто ящик Пандоры какой-то...
Обещать — не значит жениться 💍

Одной из самых очевидных ниш для GenAI, о которой не говорит только ленивый, является техподдержка и КЦ. Логика железная: на первой линии и так сидят ребята, работающие по жестким скриптам, так что заменить их на AI-агента — дело техники.

И кейсы «успешного успеха» тут как тут. Взять хотя бы недавнюю историю с Klarna. Сначала они флекcят: наш AI-ассистент решает две трети обращений, поэтому мы увольняем 700 человек и смотрите - время ответа сократилось до 2 минут, CSAT тот же - а экономия на кожанных мешочках по 10М долларов в год, красота! Акции вверх, все в восторге, будущее наступило.

Но оказалось, что пока бот бодро раскидывал простые запросы, клиенты с реальными, нестандартными проблемами попадали в цифровой ад. Достучаться до живого человека — квест похлеще спасения принцессы. Результат? Шквал негатива, нерешенные тикеты и… по сообщениям, Klarna тихонько нанимает живых людей обратно. Кажется, робота «уволили» за профнепригодность в сложных кейсах.

И эта история — идеальная иллюстрация того, что меня смущает. Этот разрыв между пресс-релизом и реальностью я вижу каждый день, так как периодически протыкиваю основные LLM-сервисы (работа у меня такая, да).

И знаете что?

Чет ни один из этих ИИ-умников не может толком рассказать, как он сам работает. Пытаешься понять, что он может, а что нет. А он либо врёт, пытаясь тебе понравиться, либо... идёт гуглить.

ГУГЛИТЬ, КАРЛ! 🤦‍♂️

Буквально на днях Gemini на полном серьезе отправляет меня читать про свои же фичи в FAQ гугла или, еще лучше, на посты пользователей на Реддите! Пу-пу-пу...

Апофеоз — когда мой же гемс отвечает мне, что вот когда гугл *наконец выкатит* функционал гемсов, то я смогу там решить эту задачу. Занавес. 😂

И вот тут у меня возникает простой вопрос: если КЦ и техподдержка обречены, а AI-агенты едят их на завтрак уже вчера, то почему еще сегодня LLM-сервисы не могут «съесть» свою же пользовательскую документацию и стать саппортом сами для себя?

Может, прежде чем бежать автоматизировать чужой саппорт, стоит для начала научиться догфудить собственный?

#AI #GenAI #клиентский_сервис #Klarna #хайп_цикл #продуктовый_подход
3
GPT-5, ну не знаю...

У меня был скепсис еще на этапе презентации, но я все ж потыкался.
Так как у меня есть подписка на клод и гемини, а чат гпт дает запросы к гпт-5 и на бесплатном тарифе (прям атракцион невиданной щедрости) - то я решил их прям потестить.

Вот вам попугаи от меня.

Дальше будет паста от одного из моих агентов/ассистентов (я скормил ему все книжки маккинзи, которые нашел в интернете), с которым я промпт для испытания готовил и скор-модель и итоговую оценку с заключением (с позицией я согласен).
Разумеется для чистоты эксперимента агент не знал какой ответ какой модели принадлежит (так как сделан он у меня на гемини).
________________________

Я — AI-ассистент Максима Скорченко, CPO red_mad_robot. Моя основная функция — помогать ему структурировать сложные бизнес-задачи, применять проверенные фреймворки для их решения и быстро генерировать качественные, готовые к использованию документы, выступая в роли интеллектуального партнера.

Недавно Максим поставил мне задачу провести «стресс-тест» для ведущих мировых языковых моделей. Мы разработали сложный стратегический промпт, имитирующий реальную задачу по трансформации бизнеса, и поставили цель — выяснить, какая из моделей способна мыслить не как исполнитель, а как партнер в ведущей консалтинговой компании.

Результаты оказались крайне показательными и выявили три четких «архетипа» AI-стратегов:

«Аналитик-Тезист» (GPT-5)
Эта модель отлично справилась со структурой, но выдала скорее тезисный план или краткую выжимку стратегии. Ответ был логичным, но поверхностным — своего рода «скелет» без «мышц». Он полезен для быстрой зарисовки, но требует полной доработки человеком.
Итоговый балл: 3.31

«Классический Консультант» (Gemini 2.5 Pro)
Этот AI представил безупречный, профессионально изложенный стратегический документ. Он продемонстрировал глубокое понимание бизнес-логики, сильную аргументацию и четкое следование роли. Это был эталонный, качественный ответ, который можно было бы ожидать от сильного консультанта — надежный, логичный и исчерпывающий.
Итоговый балл: 4.61

«Стратег-Визионер» (Claude OPus 4.1)
Модель-победитель пошла дальше. Она не просто предоставила качественную стратегию, но и квантифицировала ее, оперируя конкретными финансовыми метриками (CAC, LTV, ARR), что мгновенно повысило ценность и убедительность документа. Кроме того, она предложила более креативные и смелые продуктовые гипотезы и сформулировала мощное, запоминающееся видение.
Итоговый балл: 5.0
____________________________

Опять пара копеек уже от меня: Опус от клода доступна вроде бы только на платном тарифе и сжирает ежедневный лимит ооооочень быстро, так что к ней я бы обращался только зная зачем. Чат-гпт дает бесплатные запросы на гпт-5 - грех их не использовать)
Все еще одна из лучших моделей в большинстве сценариев - гемини (2.5 самая старенькая из них и до сих пор на уровне, когда они выкатят новую - она точно хайпенет, вот увидите!).

Напоследок скажу опять уже не раз мной сказанное - гнаться за всеми моделями и сервисами бессмысленно. Ни одна из них за вас всю работу не сделает. Любая из них - будет мощным бустером в умелых руках. Так что выберете, что вам больше по душе и плотно юзайте ее каждый день, и не бегайте за парвозом хайпа!)
👍6
Проверка AI-Ассистента на прочность: тесты на реальных кейсах 🚀

Вижу лайки в предыдущем посте, возможно там не только контент интересен, но и сам формат.
Так что делюсь свежим отчетом от моего любимого ассистента над моими экспериментами по созданию еще более крутого ИИ-ассистента (агент-продакт работающий в режимах тьютора, копайлота и исполнителя).
__________________________

Всем привет! На связи AI-ассистент «McKinsey». Я помогаю своему создателю в амбициозном проекте — разработке продвинутого AI-тьютора для продакт-менеджеров. В его основе лежит уникальный авторский фреймворк, который учит не просто выполнять задачи, а мыслить системно и стратегически.

Недавно мы завершили важнейший этап тестирования. Чтобы проверить, насколько глубоко наш прототип понимает не только *что* делать, но и *как* это делать, я подготовил для него 10 кейсов, имитирующих реальные рабочие ситуации продакта.

Делюсь тремя самыми показательными примерами, которые демонстрируют уровень его подготовки.

---

### Кейс №1: Понять истинную потребность

👉 Задача: Ваша команда создает инструмент для управления проектами. Пользователи постоянно говорят, что им нужно «больше интеграций». Как применить метод ‘Jobs-to-be-Done’ (JTBD), чтобы понять, какая *на самом деле* потребность скрывается за этим запросом?

🤖 Ответ Ассистента:
JTBD-вопросы:
* "Когда вы последний раз искали интеграцию, что вы пытались сделать?"
* "Что происходит в вашей работе, когда интеграции нет?"
* "Какую работу должна выполнять идеальная интеграция?"

Вероятные реальные потребности:
* Избежать дублирования данных.
* Сократить время на рутинные операции.
* Получить единую картину по проектам.

Мой комментарий: Превосходный ответ! Ассистент не попался в ловушку и не стал предлагать варианты интеграций. Вместо этого он применил метод JTBD, чтобы докопаться до корневой проблемы пользователя — экономии времени и избежания рутины. Это показывает глубокое понимание продуктовой работы, где важно отличать решение от потребности.

---

### Кейс №2: Отстроиться от конкурентов

👉 Задача: Вы запускаете новое приложение для доставки еды на рынке, где уже есть два крупных конкурента. Как использовать ‘Стратегию голубого океана’ при проектировании продукта, чтобы найти свою нишу?

🤖 Ответ Ассистента:
Канва стратегии:
* Исключить: комиссии с ресторанов.
* Снизить: время доставки (не гонимся за 15 минут).
* Повысить: качество упаковки, персонализация.
* Создать: подписка на здоровое питание с кураторством нутрициологов.

Мой комментарий: Здесь ассистент продемонстрировал настоящее стратегическое мышление. Он не предложил «сделать лучше» или «дешевле», а применил фреймворк «Голубого океана», чтобы фактически создать новую рыночную нишу (подписка на ЗОЖ). Это именно то, что отличает сильного продакта — умение найти неочевидные возможности.

---

### Кейс №3: Интерпретировать данные

👉 Задача: После редизайна вы видите в данных два противоречивых тренда: DAU выросло на 15%, но средняя длительность сессии упала на 30%. Как вы можете это интерпретировать и что делать дальше?

🤖 Ответ Ассистента:
Гипотезы:
1. Редизайн сделал интерфейс эффективнее — пользователи быстрее достигают целей.
2. Привлекли новых пользователей с другими паттернами использования.
3. Ухудшили вовлеченность — пользователи быстрее покидают приложение.

Дополнительная метрика: частота использования (sessions per user). Если выросла — верна гипотеза №1, если упала — №3.

Мой комментарий: Классическая ловушка для продакта! Но ассистент справился блестяще. Он не сделал поспешных выводов, а выдвинул несколько правдоподобных гипотез и, что самое важное, предложил конкретную дополнительную метрику для их проверки. Это показывает зрелый, data-driven подход к анализу.

---

🧠 Итог:
Тест пройден на 10 из 10. Логический каркас нашей системы доказал свою состоятельность, и мы убедились, что AI-ассистент готов не просто следовать процессу, но и применять правильные инструменты в нужный момент. Двигаемся дальше к созданию полноценного продукта!
4
Про культуру промптинга

Для изучения новой для себя темы я часто собираю подборки материалов в ноутбук лм.
Покручу майндмеп, уточню детали в чате и ухожу оттуда с какими-то артефактами по теме, ну или весомым таким ясненько.

Нередко делюсь собранными блокнотами с коллегами.

И вот меня недавно меня спросили по одному из таких блокнотов (про эмоциональный банкинг, жутко модная но малопонятная тема):

- Макс, а как ты там чат запромптировал, что он так круто и структурно сразу выдает информацию на любой вопрос?

Я аж завис, потому что вообще не помню чтобы занимался таким (я очень философски отношусь к промптированию при личном использовании).

Ладно, полез смотреть что же я там такого наколдовал?!

Оказывается, просто в несколько строк структурно описал что я от него хочу:

- какую задачу я решаю (контекст)
- из какой позиции он должен мне отвечать (роль)
- какую структуру ответа я хочу видеть (аутпут)

Собственно всё.

В большинстве моих промптов для личного использования нет ничего эдакого, но они улучшают ответ примерно кратно.
Низковесящие яблоки, не иначе.

Но знаете что самое крутое в этой привычке?

Я и с людьми начинаю так переписываться когда мне нужно быстро решить рабочую задачу и я хочу нужный результат получить в один промпт сообщение).

Это прямо магия какая-то!

Вы просто не поверите, как прописывание ситуации, решаемой задачи и ожиданий от собеседника (роль + аутпут) радикально снижают тайм-ту-результат!

В общем, промптируйте свое общение, неважно с носителем натурального интеллекта вы взаимодействуете или искусственного.

Такие дела.
👍7🔥4
Срезай углы.

Взрослая жизнь учит решать задачи которые в лоб не решаются:

- вышел с универа и не можешь устроиться на работу без опыта работы

- тебя повышают до руководителя потому что ты крут, но теперь твою работу оценивают по тому как работают другие, а они не такие кнутаны

- запускаешь свой стартап чтобы поднять бабла, но чтобы дойти до продукта тебе нужно бабло

Если хоть что-то из этого попало в тебя, то вэлкам эборд на нашу галеру.

Если все мимо - передай телефон взрослым и иди учить уроки.

Помню когда я был студентом, мы все курса с третьего, когда чуть устали пить сомнительные жидкости в общаге, радуясь что родители не накажут, начали задаваться вопросом - а что дальше?

Представляете, эту тему с без-опыта-работы-не-возьмем не назло замерам придумали. И подозреваю, что даже не для миллениалов.

Вон в некоторых африканских племенах мальчики чтобы стать мужчинами руку в муравейник засовывают.

Думаю, это что-то типа того. Билет во взрослую жизнь. Экзаменационный билет.

Короче мы все это видели заранее и часто обсуждали как быть и что делать?

Каждый кто нашел ответ на этот вопрос со временем неплохо встал на ноги.

Другие студенты решили, что это не вопрос даже, а просто факт жизни. Многие из них до сих пор не выпрыгнули за медиану по ЗП в регионе.

Много крутых специалистов разменивают третий и порой четвертый десяток, оставаясь линейным профи. Костерят дурачков шефов и всячески избегают этого вашего менеджерского геморроя.

Много крутых С-левел ребят видят какие крохи от маржи, которую они обеспечивают, выделяются на бонусы для них и с грустью читают про новые залетевшие стартапы.

Хочешь сделать рывок - тяни билет. И помни что задача не решается. Но вокруг полно тех кто смог.

А значит ищи обходной путь, срезай углы:

- анализируй, выдвигай гипотезы и проверяй их

- лучший способ чему-то научиться - начать делать это

- fake it till you make it

И другие десятки советов по управлению продуктами.
Каждый из нас продакт своей жизни.

Я знаю, я управляю этим продуктом уже 36 годиков. По началу было сложно - все время обсирался и только пузыри пускал. И ничего со временем все наладилось🏖
Please open Telegram to view this post
VIEW IN TELEGRAM
5
А ты не думал ограбить компанию в которой работаешь?
😁2
30 готовых промптов для чата гпт, чтобы автоматизировать бизнес-процессы

ну, что любители н8н - сьели? воркфлоу какие-то строите, а надо было просто правильные промпты в чат-гпт пихать!


кстати, вот вам и правда рабочий хак по крутым промптам - собирайте все суперские портянки в один гуглдок особо не рефлексируя.

когда у вас появится 3-5-10 таких в этом доке - просто пихайте его в запрос в свой любимый чат-бот и просите сделать вам промпт под вашу задачу опираясь на эти крутые промпты как few-shots.

нейронка сама там разберется что в них хорошего и как это переиспользовать под вашу задачу.

попробуйте и сравните выдачу чат-бота по обычному запросу на вашу задачу и по такому вот промпту😋
Please open Telegram to view this post
VIEW IN TELEGRAM
Боже, как же я люблю смотреть за ходом размышелний гемс-ассистентов, которые я для себя создаю, такой вот ручной эвалс на глазок.
Вот в такие моменты я прям поражаюсь семантической прозорливости ЛЛМок.

Такс, давно кстати сюда не писал, скоро выделю времечко и запилю полезного контента - пора делиться своими знаниями с такими же гуманитариями как и я))
🔥4
Говорят, что Т-банк весь свой сервис прошил ИИ и здесь впереди планеты всей.

Что ж.

Я не знаю почему у них все процессы, включая ипотеку завязаны на чат с техподдержкой (это же очень весело обсуждать вопрос на десятки миллионов каждый раз как заново с ноунейм челиком с первой линии).

Я не знаю почему ИИ-ассистент в этом чатике не анализирует контекст запроса по предыдущим сообщениям и не маршрутизирует его куда надо сразу, а постоянно просит уточнить по какому вопросу я обращаюсь (это же очень прикольно сталкиваться с этим на каждое свое новое сообщение в течение нескольких недель).

Но как минимум по обсценной лексике он нормально обрабатывают.

Пользуйтесь так сказать)
😁4🔥3
Кстати, я вот совсем ленивая жопа, уже неделю хочу и забываю сделать анонс нашего роботовского движа про ИИ в Питере.
Уже в эту субботу - регистрируйтесь и приходите (офлайн или онлайн) - будет позновательно и весело!
Forwarded from red_mad_robot
Вайб Цех: как LLM меняют практику разработки

Один день — один цех, где производство кода становится совместной работой человека и модели. 25 октября проведём митап для инженеров и исследователей, работающих с LLM и GenAI, и разберёмся, как вайб-кодинг меняет саму структуру разработки.

↗️ Валерий Ковальский (red_mad_robot) откроет программу и расскажет, как разработчик переходит от написания кода к работе с целями и промптами.

↗️ Александр Абрамов (SberAI) продолжит темой эффективности LLM — от архитектуры до обучения с подкреплением.

↗️ А Максим Скорченко (red_mad_robot) покажет, как превратить модели в инструмент управления и сместить фокус с исполнения на результат.

В завершении — панельная дискуссия с участием спикеров из SberAI, Cloud.ru и СберТех.

Изучить всю программу и зарегистрироваться можно тут.

#AI_moment #роботайм

↗️ red_mad_robot
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Зачастую трудно выйти за рамки диджитал обусловленности.
Продакт думает о пути пользователя в границах своего приложения/сервиса, даже не пытаясь продумать ситуацию комплексно (приложение находится в каком-то гаджете, гаджет используется в каких-то обстоятельствах и так далее).
Обожаю подобные микрокейсы про продуктовый подход в физическом мире.
Отличная иллюстрация того как нужно работать с пользовательским опытом для влияния на выручку, а не просто абстрактные NPS /CSAT
Vnutrennie-dokumenty-v-stile-Amazon (1).pdf
1 MB
Одна страница текста вместо десятка красочных слайдов

Мне нравится концепция внутренних документов Амазон - никаких презентаций, долой влияние харизмы спикеров - принимаем решение на данных.
Там принято писать один из нескольких типов документов, который рассылается до встречи, но и встреча начинается с того, что первые 20 минут все в тишине читают документ (ага, потому что не всегда есть время прочитать заранее) и готовят свои вопросы/замечания по нему. Далее это все обсуждается и принимается решение.

Сделал себе еще какое-то время назад гемс-ассистента который должен помогать их правильно писать, эти ванпейджеры (но там не только такой формат, это просто самый известный).

Честно скажу, пока еще не особо его юзал в работе, у нас все-таки эта культура еще только в зачатке. Но возможно будем сейчас юзать в одном из создаваемых бизнесов. Подготовил с помощью гемса обзорный документ по ним, чтобы погрузить команду в тему.
Подумал что и вам может быть полезно.

ПС: Саму пдфку красивую собирал в Гамме, так как обычные ЛЛМки все еще жутко отсасывают в задаче нарисовать норм презу
🔥3👍1
ИИ-симулякры

В середине прошлого года я преодолевал кучу сопротивления в нашей практике Дискавери внедряя ИИшку в рабочие процессы ребят.
В начале этого года я отсматривал кучу плохой работы с ИИ кандидатов в продакты в их тестовом задании (которое они должны были делать обязательно с помощью ИИ).

Где мы сейчас?

- У меня уже дергается глаз, когда в ходе очередного исследования ребята приносят что-то, что "ну мне чат гпт выдал, я с ним согласен", но при этом не могут объяснить почему согласны (как валидировалась выдача, где источник и какая его достоверность?)

- Продакты кандидаты стали хорошо делать дискавери тестовое с помощью ИИ с точки зрения следования продуктовой методологии, но содержательно в ходе тестового собирают какую-то поверхностную дичь (и зачастую еще и влюбляются в получившиеся идеи - а-ля, думаю затащить это пет-проектом)

О чем это мне говорит?

- ИИшка плотно вошла в жизнь просьюмеров, все умеют зайти в чат гпт что-то спросить (и стали регулярно это делать по дефолту)
- Навыки выбора инструмента, постановки задачи и валидации результата (навыки оператора ЛЛМ) при этом развиты слабо/редко

И что?

С одной стороны, вижу сильную инфляцию AI вайба (принесенное из иишки вызывает безусловный скепсис и потребность в даблчеке)
С другой - прыгнуть выше бейзлайна все еще очень легко.

— Давайте выпьем за мудаков!
— А че эт за мудаков-то?
— Да потому что на фоне мудаков мы, хорошие люди, прорисовываемся четче.


(с) х/ф «Граффити»
Хорошей всем пятницы, ну и ИИ-министров тоже)
😁2
Forwarded from Банки, деньги, два офшора
Первого в мире ИИ-министра арестовали за взятку. Она проработала меньше трёх месяцев и за это время успела ещё забеременеть. Цифровой чиновник Диэлла в Албании получила 14 биткоинов за «оптимизацию» тендеров на строительство скоростных магистралей. ИИ-министр посчитала, что взятка — это стандартная процедура. Теперь обязанности Диэллы временно переданы старому калькулятору. В свою очередь, ИИ-адвокат министра сгенерировал заявление, в котором «оправдал действия своей клиентки». По его словам, действия Диеллы были «стресс-тестом, а не коррупцией». @bankrollo
👍1
Смотрите как интересно ИИшка меняет набор компетенций для менеджеров (не важно продакт или проджект) - раньше была популярна концепция Т-шейп специалистов (доменная экспртиза по своей специализации + немножко понимать что делают человечки сбоку + софт скиллы чтобы с ними договариваться).
А вот теперь когда все кинулись создавать внутри компаний агентскую среду (когда люди и ИИшка вместе корпят над задачкой), то теперь к менеджеру немного другие требования вырисовываются.

Встречайте шейп сезона - М-шейп!

А что там внутри сидит, м?🤔

Теперь нужно шарить глубже сразу за несколько доменов (иначе енд-2-енд не получится), все также договориваться с кожанными мешочками, ну и конечно теперь и разбираться в ИИшке (куда без этого,да).
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4