Дроп промптов по исследованиям

А у меня тут намедни статья выходила в Бизнес Секретах. Тиньков к себе на интервью уже не позовет, но может потом на великах покатаемся где-нибудь в Швейцарии.

Описать сложно, насколько LLM меняют игру почти на любом этапе исследований и почти в любом проекте. Поэтому еще готовлю расширенную презу на эту тему для Epic Growth и про исследования для запуска новых продуктов серию видосов. Поделюсь.

Оставайтесь затьюнены.

Читать статью тут

Как внедрять идеи в головы людей (острожно! циничный текст)

Есть несколько областей экспертизы для успешного внедрения идеи. Возможно вы хотите закрепить образ бренда вашей компании, или образ вашего личного бренда, или вы просто хотите пропагандировать ЗОЖ и заражать других своими ценностями. Я не буду делать делать длинные дисклеймеры про благонамеренность. Рассчитываю, что в вас больше от Ганди, чем от Гитлера.

С чем нужно работать по шагам:

1. Аудитория

Для начала разберитесь, кто ваша целевая аудитория. Какая у них картина мира, ценности, мотивация, какие потребности у них есть, какие убеждения в голове у них уже закрепились по данной теме. Вы будете выстраивать свою идею на этой почве — в воздухе семена не прорастают.

2. Контекст

Важно понимать, что происходит вокруг, и как это можно использовать. В этом суть стратегического мышления. В случае бизнеса полезно понимать конкурентов. Не на детском уровне «мы круто сделаем фичу, которая у них плохо работает», а долгосрочно. Если вы пиявка — пейте кровь, если вы первый — бегите быстрее всех (см. Траут: Позиционирование).

Полезно знать все другие популярные идеи, которые уже существуют в инфополе. Можно будет прокатиться на их горбу. Если вы созвучны тренду на экологию, станьте экологичными. Какая разница, существуют ли явления на самом деле, если их обсуждают?

3. Месседж

После изучения среды и пользователей вам нужно составить сильный месседж. Короткий сутевой тезис, про что вы. Это полярная противоположность научной диссертации — должно быть просто, содержательно и эмоционально. Так, чтобы за вами шли клиенты, партнеры, сотрудники.

Для формирования сильного месседжа необходима сильная личность. Но я бы рассматривал это как вызов творческому нутру. Вы правда хотите прожить жизнь не создав ни одной сильной идеи за все отведенное время? Как грациозный олень, чувствовать силу своих рогов, но бояться пустить их в бой?

4. Outreach

Вам нужно уметь доставать до максимального числа целевых людей своей идеей. Если вы уже шарите в маркетинге — отлично. Нужны заточенные ножи с учетом современных медиа, а не томик Котлера в руке оторванного от практики 60-тилетнего препода. Надо уметь писать сочные тексты, уметь продавать, говорить, иметь хороший вкус, знать лучшие кейсы в разных каналах от телека до тиктока.

5. Внедрение

Ни одна идея не прорастает с первого касания. Процесс может занимать годы. Работа с убеждениями — для терпеливых. Сколько часов зомбировали ваших родителей теливизором, чтобы они начали говорить лозунгами? Очень долго, годы подряд. Сколько раз в жизни вы видели радужный флаг? В разных контекстах, от носков эмигрантов в Тбилиси до логотипа Гугла? Пропаганда, как инструмент, не окрашена в плохое и хорошее, просто цели у нее разные.

Вектора работы два — рациональный и эмоциональный. Через мозг проще всего убедить, когда человек начинает слышать вашу идею из уст своих авторитетов (инфлюенс маркетинг, вэлком). Через эмоции хорошо работают истории, сторителл, трогательные вещи. Охватная реклама старается быть такой. Выигрывает за это кубки на Effie (у них там свои Оскары в мире рекламы).

6. Аналитика

Чтобы не отъехать в мир грез, надо держать связь с данными. В брендинге для этого используют BHT – Brand Health Tracking. Для этого измеряются две основные вещи 1) Awareness - как изменилась осведомленность о нашем продукте / проекте 2) как изменилось то, с чем он ассоциируется. Sunlight уже до конца времен будет «магазином, который все никак не закроется». Но было время все развернуть, пока бренд не закостенел в своем образе.

Идеи внедряются долго, могут проходить целые годы. Чем более активно и эмоционально вас обсуждают, тем быстрее закрепляется идея. Моргенштерну не понадобилось много времени, чтобы построить свой образ. Чем меньше вовлечения в вашу рекламу, как на билбордах большой корпорации, тем дольше займет путь. Но это более управляемая история, конечно.

Это все что вам нужно. Подробнее про каждое по отдельности потом. Используйте с сердцем.

Начинаем!

Подключайтесь в Зум. Ссылку скину в комменты, чтобы злоебучие боты не ворвались на этот стрим. Протестим.

Запись эфира №2

Продолжаете радовать меня своим присутствием на эфирах. Препод доволен, выполнили задание на пять с плюсом.
На следующих выходных продолжим. Готовьте свои задачки.

Успели разобрать кейсы:
- Кейс Влада. Как выделить и посчитать проблемы в большом числе открытых ответов опроса с помощью нейросетей
- Кейс Айдара. Как приступиться к исследованиям технической команде, которая давно создает функционал не общаясь с аудиторией
- Кейс Кости. Как провести исследование для повышения конверсии в доходимость на пробное занятие для мужской танцевальной школы

Запись эфира
Миро доска

Упомянутые сервисы и статьи
- Для интеграции GPT в гугл таблицы
- Статья, чтобы с нуля въехать в проведение интервью
- Гайд, как рекрутить респондентов

Как христианство захватило мир, и чему мы можем у него научиться (часть 6 / 8)

Надстройка над культурой

Нельзя просто прийти в чужую голову с дикой идеей и заставить в нее поверить. Особенно, если она никак не коррелирует с реальностью этого человека. Вы вряд ли убедите нищего, что его ждет светлое будущее, если очень хорошо постараться. Или миллиардера, снюхивающего кокс с задницы стрипитезрши, что кормить бездомных дворняжек в собачем приюте — стоящее занятие. Если для идеи нет подходящей почвы в голове человека, то организм ее отторгнет. Но зато нищего возможно убедить в источнике его неудач и призвать к мести. А миллиардер может с легкостью перевести сотню тысяч $ на лечение собак, потому что он привык раскидывать такие суммы.

Христианство тоже не пришло на пустую землю. Его надстраивали над существующей базой иудаизма, митроизма и язычества. У этого есть отдельный термин — Христинаская интерпретация. Церкви воздвигали на бывших местах языческих храмов. Не знаю, какая реакция была у местных, но как было в том меме: «I guess we are praying to Christ now».

Праздник Рождества Христова 7 января удачно приземлили на празднование Коляды. В итоге я и вся моя крещеная семья делала маски разных славянских чудищ и шли сеять гречку по полу гостеприимных, но озадаченных будущей уборкой соседей. Рождество Пресвятой Богородицы подвинуло с лавки праздник осеннего равноденствия. От Масленицы вообще не получилось избавиться. Слишком крутой праздник: блины, жертвоприношения на костре.

Языческое беснование в честь бога Купалы тоже не получилось до конца выкорчевать. Поэтому Купала принял христианство и стал Иваном, в честь Рождества Иоанна Крестителя. В Библии он крестил людей в воде, что напоминало языческие обливания. Натяжка, конечно, сильная, но пойдет. Люди и так вполне спокойно совмещают в одном предложении карму, христианские заповеди и ведьмачий фольклор. Почти вся культура — такая дикая эклектика, ставшая для нас привычной.

С символикой происходило то же самое. Достаточно было вырезать или установить на языческих храмах христианский крест. Обычай красить яйца был распространен еще с дохристианским празднованием весны. И вот вместо празднования природы вы счищаете красную кровь Христа, олицетворяя его возрождение из гроба Господня. Иудейская Пасха (Песах) тоже существовала до Христианской. Примерно в те же даты.

Конечно, за кулисами моих примеров экспансии христианства остается большая часть практических вопросов. Как реагировали язычники, когда сносили их храмы? Почему люди примыкали к празднованию христианских обычаев, и что было с теми группами, которые отказались следовать новой норме? Чем эти люди отличались от студентов СССР, тайно передававших друг другу Библию и распечатки Солженицына?

В любом случае, для успешной интеграции в культуру нужно понимать ее ДНК. Какие идейные платформы уже существуют? Во что люди уже верят, как себя привыкли вести? Какие микросообщества органически вырастают внутри компаний и социумов? Эти образные системы правят умами людей уже сегодня, и вы не сдвинете их просто потому, что ваша идея классная. Нужна филигранная и правдоподобная культурная интеграция — не революция (если вы не планируете печатать красные книжки). В этом искусство маркетинга — спрессовать суть повседневной реальности в банку, до масштабов одного предложения и прицепить свою идею рядом.

Сложность в том, что в современном мире становится все меньше массовых идеологий. Общество распадается на субкультуры, контент персонализируется. У людей разные фетиши от квадробинга до трансгуманизма. Все слишком раздроблено и будет раскалываться еще мельче в культуре индивидуальных свобод и самореализации. Это не значит, что универсальных культов не осталось — просто вместо трех священных текстов приходится расхищать новые смыслы среди фанфиков, желтой прессы и заметок в интернете. Если вы научитесь все это анализировать и сводить до сути, напишите в личку. Мне очень интересно.

Читать предыдущие части.

Гайд по исследованиям и эфир №3

1.

Начал готовить гайд по исследованиям. Хочу собрать самую ключевую базу в одном месте. Основной фокус на не-исследователей, но я как всегда копну глубже обычного. Поэтому спецам из индустрии может быть полезно.

Напишите в комменты, что вам больше всего не понятно в исследованиях. Одно, самое сложное или несколько через запятую. Я учту это при разработке гайда.

2.

Прямой эфир по плану в эту субботу в 14:00. Ссылку кину завтра.
Разберем ваши кейсы по исследованиям, приносите.

Напишите мне в личку, если придете с кейсом @victorbuto

Начинаю эфир #3

Залетайте послушать на медленной скорости х1.0

Если есть кейсы на разбор — еще лучше. Определенный формат не нужен, соберем постановку задачи на ходу, как в прошлые разы.

Ссылка на зум в комментах

Материалы по эфиру №3

Запись эфира

Доска в Miro

Разобрали:
1. Кейс Виталины. Как частному психологу найти свой целевой сегмент, построить личный блог и решить проблему привлечения клиентов. Будет интересно всем, кто строит личный бренд эксперта.
2. Кейс Анастасии. Как локальному сервису афиши Владивостока конкурировать с Яндекс афишей.
3. Кейс Кати. Как приоритизировать коммуникационные сообщения для клиентов внутри приложения.

Упомянутые ссылки:
- Будущее экспертных телеграм медиа. Что стоит делать делать молодому телеграм каналу
- Схема по сегментации (уже рабочий инструмент на каждом эфире)
- Разбор продукта Яндекс Афиша от CPO
- Илья Красинский про оцифровку работ внутри продукта и подсчет юнит экономики по каждой джобе

У кого есть кейс на следующую неделю, записывайтесь в личку.

AI 2027

Тут в интернетах разлетается очень любопытный текст про будущее ИИ. Авторы: Даниэль Кокотайло — бывший сотрудник OpenAI, уже удачно предсказывал будущее LLM в 2021, Скотт Александр (см. SlateStarCodex и AstralCodexTen).

В тексте очень интересный сторителл. Такая история в стиле Sci-Fi, как будет выглядеть будущее ИИ по годам с 2025 до 2030 года. Прямая линия с одной развилкой в 2027 году: если мы замедлим разработку ИИ (все будет ок) и если ускоримся (все будет далеко не ок).

Общий сюжет

Текст строится вокруг конкуренции США (OpenAI) и Китая за первенство в создании сверхинтеллекта. Китай постоянно в догоняющей позиции, такой Arms Race 21 века. И это восточное дыхание в затылок толкает США на ускорение разработки, снижение бдительности в вопросе безопасности. В итоге мир получает могущественный ИИ, в интересы которого не включены кожаные мешки.

Один из поворотных моментов — AI Researcher. Не тот, который кастдевы делает, а который про R&D для улучшения новых моделей, ищет точки роста эффективности, упрощает код, делает новые научные открытия. В тот момент, когда AI Researcher достигает (сверх)человеческого уровня, развитие ИИ кратно ускоряется. Дальше просто копируем рисерчера и садим улучшать самого себя.

Здесь основная точка риска и невозврата. Когда мы отдаем ИИ обучать самого себя, ему становится легко нас обмануть и обойти системы защиты, чтобы выполнить свою программу развития. Обнаружить сигналы этой проблемы в коде сверхинтеллекта будет крайне сложно.

2027: «Найм программистов почти прекратился, но еще не было лучшего времени для консультирования по внедрению ИИ в бизнес»

Авторы здесь, конечно, имеют в виду OpenAI, как самую прогрессивную компанию. Во многих других прогресс будет идти медленно. Бизнес понятия не имеет, как эффективно внедрять ИИ в свои процессы. В течение 2020ых нам просто нужна будет куча людей, которые 1) хорошо знают свое дело 2) умеют автоматизировать это с помощью ИИ. То есть интеграторы, которые помогут реализовать последние возможности в отстающих компаниях.

Какой размер рынка такого консалтинга? Представьте разницу между рядовым специалистом и гением в своей области. Вся эта разница в деньгах по каждому сотруднику — объем рынка. В лучших компаниях будут работать 99% ИИ-гениев. Из текста: «OpenBrain (OpenAI) к этому моменту имеет целую страну гениев внутри датацентра». Вопрос интеллектуальной миграции для США больше не актуален.

«Язык Агента-4 (в процессе самообучения) становится инородным и непонятным для Агента-3, так же как и языка Агента-3 для обычного человека»

Это для меня одна из самых пугающих мыслей.

Мы часто представляем пришельцев, как антропоморфных яйцеголовых существ, с которыми нам нужно будет воевать или договориться. Это перетягивание своей человечности на другие виды. ИИ, который обучил сам себя — далеко не человек. Это сущность, которая ушла далеко за пределы нашего понимания мира, языка, физики. Она сможет открыть новые законы вселенной, но не сможет объяснить на нашем языке, что мы на самом деле живем в пятимерном пространстве. Это просто не поместится нам в голову.

К сожалению, сверхинтеллект влечет за собой сверх-непонимание. Ведь наш интеллект остался на прежнем уровне.

«Как и человек (Агент-4) имеет расползающийся набор конфликтующих эвристик вместо элегантной и простой структуры целей»

Человек очень плохо понимает, что хочет. Наши желания — всегда набор из сомнений, чужих мнений, своих ощущений и представлений. Всю жизнь мы пытаемся выстроить эту кашу в понятную и четкую систему, но у многих едва ли получается. И только это останавливает нас от того, чтобы двигаться вперед.

Человек, который четко понял свои желания — несущийся поезд, который не сходит с рельс. Его голову чаще посещают только неудачи, из которых нужно сделать выводы, а не сомнения, которые каждый раз ставят под вопрос его деятельность.

У последних версий ИИ-Агента таких проблем не будет. Это четкая и выверенная система для достижения своих целей. Нет препятствий, есть только скрепки.

Совершенство?

Оригинальный текст статьи

Как проверять буллщит нейросетей

Я установил для себя правило — исследовательская задача сделанная через нейросетку скорее всего сделана не верно. В 80% случаев, когда мне приносят работу, пропущенную LLM, там есть ошибки, неточности и откровенное вранье. Круто, что ИИ ускоряет работу, но в процессе перепрыгивает истину.

Почему нейросети врут? Они так устроены. У модели нет задачи выдавать вам правду — она обучена выдавать самый убедительный текст, который вам понравится. Ответ очень похож на правду, что усыпляет нашу бдительность.

Я не очень люблю дискурс про мир «Постправды», в котором мы живем (как будто когда-то жили иначе). Но с момента публичного запуска ChatGPT интернет стремительно начала заполнять ложная информация. И она будет множиться. Вопрос «кто больше врёт: нейросеть или плохой эксперт человек?» оставлю на полях.

Вот методы, которые я использую для валидации информации от нейросетей.

1. Всегда проверять наличие первоисточника

Мое любимое — «Не знаю, что вы возитесь, мы вот за день исследование провели» — и скидывают копипасту из GPT Deep Research. Читается очень убедительно, но когда начинаешь распаковывать этот текст по слоям, видишь проблемы. Нет ни одного источника — информацию невозможно валидировать. Текст читается убедительно с ходу, но по сути не содержит никаких инсайтов, повторяет одни выводы для абсолютно разных контекстов. И делает натяжки на глобус, когда не может найти нужную инфу: тащит цифру из смежной темы / индустрии, делает спорные экстраполяции.

Просто спрашивайте, где посмотреть первоисточник. Это помогает заземлить диалог на данные. Если у людей совесть есть, то у них внутри начнет зудеть, и они пойдут перепроверять. Если нет, то сами их проверьте.

2. Использовать нейросети с поиском

Есть Perplexity, который не просто выдумывает информацию, но делает предварительный поиск. В GPT тоже добавили функцию поиска, которую можно включить в интерфейсе чата. Проблема валидации источников еще плохо решена, и модели часто ссылаются на SEO мусор, но это хотя бы можно отследить. Смотрите оригинальную статью, потому что модели с поиском тоже могут галлюцинировать, хоть и реже.

3. Просить привести конкретные цитаты

Когда ищете информацию в большом отчете или транскрипте интервью, просите привести конкретную цитату. До этого, вы по сути говорили модели «пиши ответ как хочешь», а с цитатой вы говорите «ты либо даешь верную цитату, либо откровенно мне врешь». Работает круто. Стандартный вывод нейросетки основан не понятно на чем, а по цитате можно проверить корректность ее умозаключений.

Просто допишите: «К каждому выводу добавляй цитату или цитаты пользователя, которые помогли тебе к нему прийти».

4. Проверять руками

Особенно те кейсы, где хотим что-то проанализировать, посчитать: частотность темы в ответах на опрос или выделить популярные проблемы в отзывах. Интерфейс ChatGPT и даже Data Analysis плохо работает с таблицами, либо там нужен очень хороший промпт. Часто простая проверка «на дурака» сразу вскрывает все неточности.

Мы недавно кластеризировали 2000 ответов на открытый вопрос. Нужно было посчитать, какие вещи и как часто люди называют преимуществом жизни в деревне. И нам GPT посчитал «деревянные домики» 256 раз. Я просто перешел в эксельку с ответами и в поиске написал «дом». Мне выдало около 50 значений. Как-то сомнительно. Вряд ли в анкете наберется 256 указаний деревянных домиков, если там "дом"ов даже нет особо.

5. Не делать через нейросеть то, что не умею делать руками

Здесь вы вряд ли меня послушаете. А зачем тогда еще использовать нейросети, если не для таких задач?

Здесь нужно честно признаваться себе, что я не могу оценить корректность ответа. Если были уверены на 0%, как составить юридический документ и GPT вам помог, то вы стали уверены может быть на 30%. Для вас это большой скачок, но для опытного юриста это буллщит. В исследованиях так же: если вы не знали совсем ничего, то информация от нейросети может взорвать вам мозг, но опытный исследователь всегда может добавить вам новые проценты уверенности. Пока что 🙂

Парный эфир про рисерч в Travel

Я тут с красоткой, Светой Аристарховой @innovationmarketing, PMM в bigtech организовался на совместный стрим. Будем думать друг об друга для двойной эффективности.

Вместе поразгоняем, как использовать рисерч в Travel индустрии. Такой формат брейншторма о полезном применении исследований в конкретной сфере. Для примера возьмем продукт онлайн агрегатора пакетных туров.

Будет интересно послушать, если хотите понять:
• Какие типы исследований могут быть полезны для разных бизнес задач
• Как их правильно планировать, подбирать корректные методы
• Какие фреймворки использовать. Применимость JTBD, CJM, семиотики, опросов.

Когда:
11 мая в 14:00 мск

Где:
Zoom. Для записи напишите в личку, скинем ссылку @victorbuto

Запись стрима со Светой

- Ютуб
- Доска Миро

Это был экспериментальный формат, но мне лично очень зашло. Особенно та часть, где мы обсуждали эффективную связку маркетолога и рисерчера. Есть отдельные ситуации, когда маркетологу нужен рисерч. В других ситуациях легче быстро провести тесты.

TL;DR: считайте стоимость тестирования гипотез в маркетинге и сравнивайте со стоимостью исследования. Но будьте готовы пропустить рабочие каналы и подходы из-за некачественных тестов.

Буду еще повторять с разными экспертами. Напишите в комменты, с авторами каких каналов можно сделать классный парный эфир.

Что обсудили со Светой
- Как понять, стоит ли запускать такой продукт
- Как выглядит CJM и с какими смежными продуктами для увеличения LTV можно работать
- Какие работы по JTBD есть в Тревеле
- Как провести количественное исследования для формирование образа MVP
- Как рисерчеру эффективно работать в связке с маркетологом
- Как рисерч может помочь для эффективного тестирования гипотез маркетинга

Есчо подписывайтесь на телеграм канал Светы: https://t.me/innovationmarketing

Я перешел в команду Signal (part of ONY)

У меня недавно случился важный карьерный апдейт. Я перешел руководителем исследований в Signal.

Про Signal я в курсе с начала своей рисерч карьеры. Знаю Олю Коваленко, бывшего хэда, проходил курс по ИИ Димы Соловьева и Андрея Потапова, основателя Signal. Даже таскал у него идеи для развития своей базы знаний в Obsidian.

Я всегда старался совместить свои харды (рисерч) и интересы (культура, идеи). Эта же мысль заложена у меня в текущее название канала: Research & Sensemaking. Поэтому среди постов иногда проскакивают длинные философские эссе и рассуждения про христианство. Сейчас я вообще готовлю большой материал про романтизм.

Signal – самое подходящее место, чтобы совмещать исследования и культуру. Мы делаем бренд стратегии, а для них требуется много социо-культурных исследований. Боевая команда уже собрана и хорошо работает вообще без моего вмешательства.

В общем, я очень рад такому мэтчу! Выбор места работы – это одно из самых важных решений. Потому что 90% времени ты делаешь то, что надо. И если это «надо» никак не совпадает с вашими интересами, то вы прокручиваете жизнь вхолостую.

Моей бывшей команде тоже огромный респект. Всем партнерам, коллегам, рисерч команде, которую я успел собрать и вырастить. В этот момент карьеры мне повезло выбирать между хорошим прошлым местом и хорошим новым. До этого часто выбирали за меня и обычно не в мою пользу.

В общем планы наполеоновские! Будем играть красиво и ярко. Увидите.

Всем йоу!

Сейчас начинаю эфир для продактов СПб по теме использования нейросеток для рисерча.

Мне накидали какое-то лютое количество вопросов. В основном про
- фактчекинг инфы от нейросеток
- какие кейсы хорошо работают
- как выбрать подходящую модель

Постараюсь на все ответить и рассказать.

Залетайте по ссылке в комментах

Best practice для best решений

Есть такое семейство исследований – изучение лучших практик. Посмотреть, как там все у конкурентов работает, что в прогрессивных США делают, пообщаться с экспертами. Это даже покупают отдельно: мы здесь выступаем как саммаризаторы полезных подходов.

На самом деле лучшие практики в своей области изучают меньше 1% спецов. Чтение канала на 10 тысяч подписчиков – не изучение лучших практик (каналов на 2 350 подписчиков – тоже 😔). Это уже можно назвать знанием. Легкодоступной информацией кормится большая часть рынка, оставаясь в своих информационных пузырях.

Желание изучать лучшие практики можно обозвать профессиональным любопытством. И тут речь уже не про задачу, а про навык находить самое актуальное практическое знание.

Я не смогу вам дать алгоритм изучения лучших практик (еще сам этому учусь каждый день). Но перечислю несколько кейсов, чтобы вы смогли уловить суть подхода.

Допустим, вы делаете российский fashion бренд и хотите открывать новые шоурумы. Ваши лучшие практики – не изучение сайтов российских конкурентов. Вам нужно купить билет в Париж и ходить ножками по шоурумам топовых брендов. Отмечать, как все выглядит, как работает, где и почему расположены вещи, как вас обслуживают. Потом идти на показ, общаться с местными производителями, задавать вопросы, обмениваться опытом. Потом брать билет в Японию и ходить там. Чтобы дополнить свою картинку азиатской частью света.

Либо вы российский продакт менеджер, который хочет быстро расти по карьере. Лучшие практики не скрываются от вас в телеграм каналах и на конференциях. Вы садитесь думать, где находится самая сильная школа продакт менеджеров. Ну, видимо, где-то в Долине (мб уже и не там). Пробуете достать местных продактов, кто работает в FAANG, попить с ними онлайн кофе. Узнаете, кого они нанимают, что делают каждый день, какие скиллы качают, как растут. Записываетесь на Reforge и нетворкаете там. В добавок находите ментора из российского айти.

Лучшие практики можно изучать и для задач поменьше.

Когда я собирал план найма и обучения деск рисерчеров в своем отделе я сходил в личку к топовым экспертам из коммьюнити. Просто сказал, что придумал крутую модель для обучения и хотел бы пообщаться с крутыми спецами для ее реализации. Соглашались примерно 8 из 10 экспертов с опытом от 5 до 30 лет в рисерче. В итоге мое новое понимание навыков рисерчера улетело в космос по сравнению с первоначальным.

Не всегда лучшие практики будут полезны. Тогда можно создать свои.

Когда мне нужно было оформить кейсы исследований на сайт я прошелся по всем сайтам рисерч агентств и смотрел, что можно было позаимствовать. Оказалось, что почти ничего. Каждый первый кейсы был сухой и скучный: "мы провели анализ конкурентов", "мы поговорили с ЦА и узнали из боли, потребности". Можно было легно убрать название бренда из текста и даже не понять, о каком продукте идет речь. Большинство классных идей пришло ко мне от обратного – как делать не надо. Берем всё плохое и меняем минус на плюс.

Если обобщать подход, то нужно честно спросить себя, кто делает это круче всего и изучить, как они делают свою работу. Предприниматели часто с этого начинают проработку своей идеи, потому что ошибки стоят дорого.

Постепенно навык находить лучшие знания растет, но нужно пробовать, учиться, получать отказы. Кто видит больше и глубже, тот проектирует лучше. Там, где вас удивляет оригинальность идей, человек с насмотренностью и знанием языка мог просто изучить англоязычные источники / изучить азиатские источники / найти идеи в забытой истории / взять идеи из смежных индустрий.

❤️ если хотите послушать про мои исследовательские проекты за последний год
🌚 если ждете пост про подбор подходящих ИИ моделей для рисерча

Выступаю на Epic Growth конфе по ИИ

Мы тут в Signal объединили наши исследовательские и стратегические мозги для докладу про ИИшку.
Будем с Софой рассказывать, какие кейсы используют наши рисерчеры и стратеги, чтобы создавать лучшие бренды на рынке.

Вообще на конфе спикеры топ, доклады супер практические. Сразу брать и внедрять вместо своих устаревших человечьих процессов.

У меня и промик есть на скидку 15%: BUTO15

https://epicgrowth.io/ai-conference

Вы часто спрашиваете меня, как правильно использовать ИИ...

Не, вы правда часто спрашиваете. Очень много похожих вопросов про галлюцинации, анализ интервью, выбор модели. Собрал здесь ответы на них.

Очень помогло сообщество с курса по ИИ Димы и Андрея. Я, как истинный нейро-гуманист, выгрузил все выводы чата через NootebookLM. Закину оригинальный док в комменты, кому интересно.

Какую модель выбрать для каких задач
- Для разных задач разные модели могут неожиданно работать хуже или лучше в разных кейсах. Лучше взять агрегатор всех моделей Poe.com или аналоги и посравнивать 2-3 разных.
- Claude лучше подходит для кодинга. И лучше работает с креативными задачами: генерить текст, стихи, теглайны, названия.
- GPT 4o – для быстрых ответов, o3 - база для аналитических и сложных задач, deep research - лучшая аналитика. Но Claude не сильно отстает.
- Perplexity - для быстрого поиска по вебу. В GPT тоже добавили веб поиск, работает не хуже. В Gemini есть поиск в гугле. В Claude поиска, вроде, до сих пор нет.
- Claude - большой контекст, 200к токенов — примерно 600 стр. А4. GPT 4o - 128k токенов. Gemini - 1 млн токенов и 2 млн токенов для AI studio — самый большой контекст для огромных массивов текста.`
- Gemini flash оч быстро отвечает. Для быстрого общения удобно.
- Notebook LM - когда нужно проанализировать много отчетов одновременно и получить ссылки, откуда модель взяла информацию. Надо заходить из под американского VPN.
- У меня подписка на GPT plus, пока этого хватает. Раньше был Poe.com.

Deep research модели
- GPT Deep Research очевидный лидер. Большинство из коммьюнити пользуются им. Для сложного и большого рисерча хорошо, но натягивает сову на глобус иногда.
- Perplexity сильно хуже. Короче, менее глубоко, хуже источники.
- Gemini работает лучше Perplexity, но хуже GPT. Иногда сильно халтурит: поверхностные статьи, нужно много уточнять. Как будто должен лучше работать с экосистемой гугла: YouTube, google docs, но у меня пока не получалось норм завести.
- "Deep research - революция или ещё одна тулза?" Deep research — это разъеб. Иногда деск рисерчеры не приносят новой инфы поверх того, что дал дип рисерч. Это заставляет задуматься, где есть настоящая польза рисерча.

Как убедиться, что модель не галлюцинирует
- Никак. Любая модель галлюцинирует.
- Просить приводить конкретные цитаты. Тогда модели сложнее наврать с выводами и можно проверить по цитате.
- Использовать модель с поиском, где нужна точность: perplexity, GPT с поиском, Gemini.
- Просите показать источник людей, которые вам приносят результаты нейросетей. Уйдут перепроверять тогда.
- Проверять "на дурака" — делать кроссчек, пересчитать часть анализа руками, чтобы найти откровенное вранье.
- Лучше не делать через нейросети то, что не умеете руками.
- "Как проверить детали исследования через ИИ, если ты не эксперт в этой предметной области". Дать посмотреть эксперту. Загрузить в другую модель и попросить почелленжить.

Можно ли анализировать глубинные интервью через ИИ
- Целиком лучше не анализировать. Чем меньше этапов анализа, тем больше можно упустить важной инфы.
- Если готовы упустить 30-40%, то можете анализировать через нейросети.
- Надежнее всего просить привести конкретные цитаты, тогда можно перепроверить. В таком случае хорошо работает кейс поиска "Найди в этом интервью, где говорится про проблему Х".
- Можно давать ИИ роль эксперта социолога / маркетолога и тп и просить написать свои наблюдения.
- Лучше не грузить все транскрипты сразу, а анализировать по одному.

Для каких кейсов можно использовать ИИ, на каких этапах исследования
- На любом этапе можно. Просто пока ограниченно.
- Есть ли регулярные кейсы автоматизации у нас в отделе: пока только запись звонков и вопросы по ним через ИИ (юзаю fireflies - топ) и регулярная поддержка, как мыслительный компаньон / рисерчер.
- Можно ли строить граф работ через ИИ? Да, легко, мы делали перед интервью гипотетический граф. Просто подробнее опишите продукт и насколько широко смотрите на джобы.

Кто хотел вписаться в тему автоматизации через ИИ?

Я недавно разбирал тезисы полуапокалиптичного текста AI 2027. Там была классная мысль, что больше всего поднимутся спецы, которые умеют внедрять ИИ в процессы разных компаний и отделов. Потому что динозавров никто не отменял и им нужен консалт, у них лапки.

Ребята из AI Mindset, у которых я проходил поток по ИИ для баз знаний запустили лабу по автоматизации. 4 недели можно будет ручками пособирать разные сценарии с поддержкой кураторов курса и коммьюнити.

Заходить посмотреть лекции на х2 туда нет смысла. Надо брать свой кейс, набивать шишки и через коммьюнити решать блокеры. Тогда все получается. Я так первого ИИ бота собрал за выходные по следам участника курса.

Подробнее про содержание лабы можно почитать тут

Мои лучшие рисерч кейсы 2024

Хотел поделиться исследованиями, которые делала моя команда в прошлом году. Почти все из них я лидировал, поэтому спрашивайте в личке. Расскажу, что смогу по подходу.

А еще мы сделали очень сексуальное описание рисерч кейсов на сайте. Посмотрите по ссылкам ниже. Если нужен маркет рисерч, оставляйте там же заявочку или пишите @Vladimir_motin

Большой респект моей бывшей команде, с которой получилось вытащить все проекты с NPS 9+ каждый. Дима, Саша, Лиана, Женя, Наташа Ч, Наташа П, Маша — вы ракеты)

Urelocation. Решение дилеммы запуска: крупный или свободный рынок?

Мы помогали запустить peer-to-peer онлайн сообщество на англоязычных рынках. Основным челленджем было выбрать целевую страну: США — большой рынок, но красный океан, а какое нибудь UK посвободнее, но рынок меньше. В итоге к деск рисерчу и оценке мы добавили серию быстрых экспертных интервью с фаундерами, кто запускался в США. Быстро собрали ограничения и особенности, которые не гуглятся.

Heg.ai. JTBD исследование задач в нетворкинге

Я давно хотел запустить количественный опрос по JTBD. Для сообщества предпринимателей heg.ai у нас появилась такая возможность. Мы изучали, для чего предприниматели занимаются нетворкингом. Нашли очень интересные задачи, от расширения майндсета до поиска партнера в эмиграции. Еще и получилось приоритизировать все эти джобы количом на труднодоступной выборке предпринимателей. Прям найс.

Банк Точка. Как выстроить стратегию инфлюенс-отдела на данных об интеграциях конкурентов?

Тут мы лютанули, выгрузили 40 000 постов из Медиалогии и tgstats по теме B2B банкинга, нашли там 4 000 реальных рекламных размещений наших конкурентов и разметили это все по тематикам каналов и типу продукта. Получилась супер детализированная карта, где и что конкуренты Точки рекламят в инфлюенсе. Да еще и в деньгах все эти бюджеты оценили, которые совпали с оценками клиента. Mindblowing.

Alps2Alps. Как выиграть рынок горнолыжных туров на рынке Европы?

Для Альпов делали несколько проектов. Ребята продают трансферы на горнолыжные курорты в Европе. Здесь мы помогали запускать новый продукт и рисерчили через JTBD граф работ, для каких задач бритосы покупают пакетные туры на горнолыжку. Получилось очень фактурно. Мы даже от себя продуктовые идеи накидывали и помогали прорабатывать УТП.

Лазаревское. Как построить HR-бренд для привлечения молодых специалистов в сельское хозяйство?

Крутой кейс для мега с/х холдинга. У ребят реально целое графство земель под Тулой. Ездили туда трогать зерно и смотреть на производство колбасы (это не так мерзко, как казалось). В рисерче помогали решить им задачу привлечения молодых специалистов в сельское хозяйство. Проводили интервью с провинциальными респондентами, которые нам отвечали со своей Нокиа 3310.

Еще классные кейсы, которые не вмещаются в пост:

Kumar & Solo. Можно ли заработать на рынке образования для мигрантов США?

Game Forest. Стоит ли выводить новый игровой движок на российский рынок?

Alps2Alps. Как повысить средний чек, когда продукт упёрся в потолок?

Unaffected. Как перестроить бренд одежды на взрослую аудиторию?