🧪 А/Б-тесты в корпорациях: как из rocket-science сделать rocket-fail

Это UGC-заметка от моего коллеги, который занимается методологическим сопровождением А/Б тестов.
Казалось бы, А/Б-тест — базовый метод исследования для любого продакта. Берёшь гипотезу, делишь аудиторию, сравниваешь результат. Даже школьники на уроках химии так делают: «а если я налью побольше — взорвётся или нет?».

Но в корпорациях всё иначе:
🏢 «Указ сверху» не спасает. Руководитель может десять раз сказать «тестируйте», но пока KPI сотрудника не завязан на подтверждении эффекта от доработок, А/Б останется только в презентациях.
📊 Мотивация — ключ. Там, где бонусы завязаны на реальный change эффект, тесты живут. Там, где мотивация = «лишь бы отчёт сходился», всё умирает.
💀 8 из 10 гипотез не проходят. И это нормально. Но в порой это воспринимается как личная обида на менеджера: «Как ты посмел предложить нерабочую идею?!»

⚠️ А ещё есть вторая проблема.
Многие понимают А/Б-тест как «простое разделение на две группы: одной показываем новую кнопку, другой — старую. Дальше смотрим, у кого кликов больше».

На деле этого категорически недостаточно.
1) Нужно как-то обеспечить гомогенность групп сравнения, а это вообще не просто. Важно еще и понимать, что значит слово «гомогенность».
2) При получении результата, как-то доказать себе, что результат статистически значим.
3) Ну и хорошо бы знать слова «доверительный интервал» и «дисперсия» и использовать это в работе с А/Б-тестом.
Простой пример: сравнивать конверсию нажатия «оформить кредит» между группой, где 75% миллионеров, и группой без миллионов на счету — мягко говоря, странно.

⚡️ Примеры в мировой практике
В Booking и Airbnb тесты — религия: гипотеза без проверки = фантазия.
В Amazon идея без эксперимента = даже не идея. Тесты встроены в процесс и влияют на бонусы.
В СберМаркет и Яндексе частота и качество А/Б-тестов — один из ключевых критериев роста команды.
А вот в условной «Корпортивной Корпарации» можно годами запускать фичи «по интуиции» руководителя. Итог: А/Б-тест либо «мешает работать», либо «портит красивую историю для отчёта».

📌 Вывод
А/Б-тест — это не «разделил на группы и сравнил». Это статистический инструмент, требующий дисциплины и методологии. А пока корпорация не привяжет мотивацию к тому, как часто и качественно проверяют гипотезы, всё останется «для слайдов».

👉 А как у вас в командах: А/Б‑тесты — часть культуры или «лишняя практика»? Делитесь опытом 👇

#статья #UGC

🥸 Сегменты vs. когорты: в чём разница

Кажется, что сегментный анализ и когортный — это одно и то же: «разбили пользователей на группы и сравнили». Но нет. Тут тонкая грань, на которой горят даже большие корпорации.

🔍 Сегментный анализ
Берём пользователей и делим их по какому-то признаку здесь и сейчас.
Примеры:
– «У кого айфон, а у кого андроид»
– «Москва vs. регионы»
– «Те, кто пьёт кофе, и те, кто пьёт матча (подозрительно)»
Дальше сравниваем метрики, например: retention, конверсию, средний чек.
👉 Это как фото: щёлкнул момент и смотришь различия.

📅 Когортный анализ
Берём пользователей, объединённых одним событием во времени — например, регистрацией или первой покупкой.
Примеры:
– «Когорта, зарегистрированная в январе, против когорты февраля»
– «Те, кто впервые купил в Чёрную пятницу, против тех, кто в обычный вторник»
Дальше смотрим динамику их поведения: как быстро отваливаются, возвращаются, платят.
👉 Это как сериал: смотришь, как группа ведёт себя по сезонам.

🥳 В чём сложность и где часто путают
Сегментный анализ отвечает: «Чем отличаются разные типы пользователей в один момент?»
Когортный анализ отвечает: «Как ведут себя пользователи со временем после одного события?»

⚡️ Живые примеры
В одной компании сегментный анализ показал, что яблочные бояре оформляют кредиты в 2 раза чаще обладателей андроидов.
Но когортный анализ той же базы показал, что «январские клиенты», вне зависимости от девайса, активнее, чем февральские — потому что в январе был мощный маркетинг.

💡 Итого:
Сегменты — «смотрим разницу между пользователями по признакам».
Когорты — «смотрим динамику поведения групп во времени».

😏 Шутка напоследок:
«Когда человек говорит “мы сделали сегментный анализ по когортам” — аналитик тихо умирает где-то в углу».

PS: на самом деле, сегментный анализ по когортам можно сделать. Это нужно понимать как многомерный анализ, где учитываются и временные когорты, и дополнительные признаки сегментации. Но какова вероятность, что именно это имеется в виду?

👉 Как часто вы используете сегменты и когорты в работе? Делитесь своими лайфхаками, провалами и вопросами!

#статья

🤖 Почему нейросети разочаровывают бизнес

Владимир Арлазаров, основатель Smart Engines (их ИИ для распознавания документов используют 70% населения России и 275 млн человек в мире), считает: мы в нескольких шагах от новой «зимы искусственного интеллекта».
Главная проблема — переоценка LLM-моделей: ChatGPT и его собратьев.

💬 «В чат GPT вложены десятки миллиардов долларов, а отдачи всё нет».
Большие языковые модели — это реально крутой научный прорыв. Но пока их применение не принесло бизнесу той самой обещанной революции.

⚙️ Мы часто не замечаем предметный искусственный интеллект.
Например, в машине: когда вы заводите двигатель, ИИ определяет положение вала и подачу топлива. Польза очевидна и легко считается в деньгах.
А вот у LLM — всё наоборот: красиво разговаривают, вдохновляют, но экономический эффект пока размытый.

💡 Арлазаров подчеркивает:
1) LLM — это говорящая машина, а не думающая.
2) Она не решает задачи, до которых не додумался человек.
3) Она не придумывает новое, творчество остаётся за человеком.

Ирония в том, что главные выгодоприобретатели от LLM сегодня — мошенники, а не бизнес.

📌 Подробнее читайте в статье.

#новости

🚀 Выпуск подкаста на канале!

В этом выпуске мы поговорили с Антоном Катаевым, директором проектов в Сбере, который до этого 11 лет проработал в Леруа Мерлен.

Что обсудили:
– Как продуктовая культура реально влияет на рост и кайф в профессии
– Зачем нужна матрица компетенций и почему без неё в продукте — никуда
– Лайфхаки от тех, кто рос в реальных корпорациях и выжил 😏

🎧 Слушайте или смотрите выпуск там, где удобно:
▶️ YouTube: смотреть выпуск
▶️ RuTube: смотреть выпуск
▶️ Яндекс музыка

🔥 Вот канал организаторов. Там про Agile и то, как Sbergile вышел за границы не только Сбера, но и IT в банках, меняя самые разные индустрии.

💬 А теперь слово вам: про что ещё хотите услышать? С какими героями или темами ждёте следующий выпуск? Давайте сделаем подкаст вместе — пишите в комменты, идеи обсудим!

#подкаст

🔥 Маржа ≠ Маржинальность. И если вы их путаете — бизнесу крышка.

При работе с командами иногда сталкиваюсь с не пониманием разницы между маржой и маржинальностью.
Давайте предметно разберемся.

💸 Ситуация 1. "Мы растём!"
Выручка: 200 000 ₽
Переменные расходы: 87 000 ₽
Маржа = 113 000 ₽
Маржинальность = 56,5 %

💸 Ситуация 2. "Все еще растем?"
Выручка: 300 000 ₽
Переменные расходы: 180 000 ₽
Маржа = 120 000 ₽ (больше, чем было!)
Маржинальность = 40 % (резко упала)

❓Что произошло?
Вы стали больше зарабатывать, но эффективность бизнеса упала.
Фактически вы гонитесь за выручкой, но сжираете ресурсы быстрее, чем зарабатываете.

⚡️ Почему это опасно
Большая маржа без маржинальности = иллюзия успеха.
Вы как стартап, который радуется обороту, но не понимает, что каждая продажа становится для вас дороже.
Высокая маржинальность без маржи = нищенский масштаб.
Вы умеете считать деньги, но не умеете их зарабатывать.

💬 Вывод:
Маржа — это просто деньги, которые остаются после вычета переменных затрат.
Маржинальность — это % эффективности: сколько рублей прибыли приносит каждый рубль выручки.

⚠️ Помните:
Считать только маржу — значит обманывать себя.
Считать только маржинальность — значит недооценивать масштаб.
Считать оба показателя — значит вести бизнес по-взрослому.

👉 Подробнее - тут.

#статья

✨Когда топы становятся исследователями

На днях вместе с коллегами провёл тренинг по дизайн‑мышлению для команды топ‑менеджеров крупного ритейла. День получился очень насыщенным!

Дизайн‑мышление — это методология поиска решений, в центре которой стоят потребности и опыт пользователей.

Важно: вся работа на тренинге была построена на реальных кейсах с настоящими пользователями. Это не абстрактные задачки, а то, что напрямую касается бизнеса и клиентов.

👥 Команды прожили полный цикл дизайн мышления:
Эмпатию, анализ и синтез данных, генерацию идей, прототипирование и тестирование.
Мы добавили к этому сторителлинг, чтобы участники смогли упаковать решения через истории клиентов.

Результат за один день: 8 интервью, около 1300 гипотез и 16 прототипов, проверенных тут же, на месте.

📊 Интересный факт: в исследовании Стэнфорда, со ссылкой на компанию IDEO, сказано, что для запуска 2–3 успешных новых продуктов нужно примерно 4000 идей. Из них — 226 прототипов (6%), заказчикам понравилось 12 (5%), а коммерчески успешными стали лишь 3. Более 99,9% идей не сработали.

Лайнус Полинг, дважды Нобелевский лауреат, говорил: «Чтобы в голову пришла хорошая идея, вам нужно множество идей».

🔥 Что важно вынести:
— Если вы топ, это не освобождает вас от общения с клиентами. Именно там рождаются самые точные инсайты.
— Ценность бизнеса сегодня — не просто «хороший продукт», а человеко‑центричный сервис.
— Продуктовый подход — это в первую очередь про мышление и нетерпимость к фразе «вот так работает и всё, ничего сделать не могу».
— За 1 день 8 команд сгенерировали ~1300 гипотез, провели 8 интервью, собрали 16 прототипов. Всё ещё думаете, что это долго и дорого?

🤔 А как у вас в команде? Ближе дух «ничего не менять, пока работает» или готовность штурмовать новые идеи десятками и сотнями?

#события

🚀 Хотите лучше понять себя и свои привычки мышления?

Сейчас я прохожу обучение на статус Амбассадора. Нам предложили попробовать платформу психодиагностики Андрея Курпатова — того самого, кто руководит Лабораторией нейронаук и поведения человека. Там есть разные тесты, один из них — «Троица», ссылка здесь.

🧠 Суть в том, чтобы посмотреть на себя через призму четырех областей:
Мышление, отношения, успех и чувства.
Я прошёл и узнал, что по результатам я: "центрист" в мыслях, "консерватор" в отношениях, "спокойный и самодостаточный в успехе" и слегка "невротичный" в чувствах 🙃. Звучит забавно.

⚡️ Самое приятное
Авторизация через СберID даёт бесплатный доступ ко всем тестам. Я к ним отношусь, как к развлечению. Например, можно получить неожиданные инсайты о себе или найти повод подумать о своих привычках и стратегиях.
Важно помнить: тесты всего лишь инструмент, а не приговор. Всё в наших руках.

👉 А теперь мне любопытно, вы проходили «Троицу» или что-то похожее? Какие результаты у вас получились — совпали с ощущением реальности или удивили? Поделитесь, будет интересно сравнить!

#ProductFun

🎭 Как вас обманывают команды

👔 Диалог из open-space:
— Product Owner: «Босс, у нас MAU вырос на 40%, все шикарно!»
— Лид: «А как вы это посчитали?»
— PO: «Теперь “активный” — любой, кто просто зашёл в приложение. Даже если через 10 секунд уже вышел».
— Лид: «Короче, вы изменили логику расчёта, а не продукт. Гениально…»
— PO (про себя): “А бонусы — то по-прежнему в силе!”

Смешно? А ведь именно так часто и “растят” метрики в корпорациях. Стоит только чуть изменить логику подсчёта — и вот у вас уже командный рекорд, KPI, премии, радость в глазах… Только вот в отчётах становится непонятно: реально ли продукт “полетел” или команда просто играла с цифрами.

🪤 Тактики метрик-фрода:
1) Выдумывать собственные формулы: в разных командах MAU, Retention, NPS и все остальные KPI могут считать абсолютно по-разному — и результат нельзя сравнить.
2) “Случайные” изменения точки отсчёта или способа сбора данных: каждый релиз новое понимание “активного пользователя”.
3) Считать метрику с “ограниченным горизонтом”: берём только месяц после запуска, когда всплеск, и выдаём это за успех.
4) Прятать неудобные данные в общем массиве: “Число ошибок воронки снизилось!”, но где ошибка в расчётах, никто не ищет.

Реальные кейсы из практики:
— В одной HR-компании разные департаменты считали Cost per Hire по разным формулам — итоговые расходы “неожиданно” снижались исключительно в Excel, а не в жизни.
— В компании из банковского сектора, при внедрении новой платформы, пользователи внезапно стали “суперактивными”, когда метрику активности “привязали” лишь к факту логина, а не к транзакциям или жизненно важным действиям.

👀 Как не попасться в ловушку KPI-магии?
1) Ставить единые стандарты метрик для сравнимых команд (MAU = логин + действие в продукте, а не что душе угодно).
2) Делать прозрачный мониторинг поведения и сбоев для всех — с интеграцией в BI или сквозные отчёты — чтобы никто не подкручил свою “версию правды”.
3) Внедрять “зонтичный” мониторинг: единое хранилище для всех аналитик, автоматические алерты на расхождение данных.
4) Привязывать бонусы к действительно бизнес-результатам, а не “цифрам ради цифр”. Минимизировать иллюзию успеха на короткой дистанции.
5) Проводить бенчмаркинг с лучшими в индустрии по тем же метрикам — поймёте, кто в вашем отчетном “зоопарке” реально двигает продукт.

🔎 Лайфхак: используйте интерактивные дашборды и прозрачные отчёты, чтобы все изменения в любых параметрах были доступны в моменте и для всех. А ещё — внедряйте автоматический сбор данных, чтобы ни одна ручная “магия” не осталась незамеченной.

🗣 Давайте соберём коллекцию корп-уловок с метриками в комментариях! Какие KPI-фокусы видели вы? Или попадались сами, когда “картинка красивая, а реальность... ну вы поняли”? Делитесь историями!

#статья

🎭 5 типов коллег, с которыми твой рабочий день превращается в ситком

👓 Гуру вечного совещания
Эти ребята могут обсуждать ТЗ до пенсии. Повестка из 3 пунктов превращается в 3 часа рассуждений о «стратегической картине».
Пример: договаривались о кнопке «Купить» на сайте. Через час — обсуждение дизайна, UX, философии потребления и сакрального смысла зелёного цвета. Кнопки нет — зато мозг кипит.
Совет: приходи с готовыми предложениями и таймером. Когда пойдёт пятый круг обсуждения — вежливо сворачивай флипчарт.

🦸‍♂️ Мастер срочных дел
Только ты сел спокойно работать — «нужно срочно», «горит», «прямо сейчас». Срочно — оказывается правкой логотипа на внутренней презентации.
Пример: коллега может в пятницу вечером подключить тебя к «важному созвону» о кофе-машине в офисе.
Совет: научись говорить «нет», или «да, в понедельник», или «объясни в письме». 90% этих «пожаров» тушатся сами.

🎨 Креативный хаотик - на картинке именно он.
Генерит идеи пачками, но с реализацией проблемы. Через неделю не помнит, что предлагал.
Пример: на планёрке бросил: «А давайте сделаем чат-бота». Через месяц его идея в отчёте у тебя, а он уже про NFT для корпоративных бейджей рассказывает.
Совет: фиксируй всё письменно. Если видишь потенциал — бери в работу и не жди, что автор вернётся.

🙃 Оптимист-иллюзионист
Всегда уверен, что «успеем».
Пример: дедлайн завтра, половина задач не начата. Он бодро заявляет: «За ночь справимся».
Совет: держи его энтузиазм под контролем цифрами и фактами. Иллюзии не кодятся сами.

🕵️ Тихий саботажник
В глаза — согласен, за спиной — тормозит. Вроде поддержал задачу, но забывает обновить дизайн, задерживает ревью или не отвечает в чате.
Пример: тесты «не успел запустить» третий спринт подряд.
Совет: ставь чёткие сроки, фиксируй процесс публично. Свет — лучший враг саботажа.

😏 А у тебя в команде есть такие персонажи? Как справляешься?

#ProductFun

🚨 Не CSI'ем единым жив бизнес

Когда слышу "Главное — CSI!", у меня в голове всплывает образ менеджера, который раз в полгода достаёт анкету, спрашивает у клиента «Ну как вам?»… и кладёт результат в презентацию, чтобы красиво смотрелось. Спойлер: от этого ваш P&L не взлетит 🚀.

🤷‍♂️ У меня был кейс: CSI под 95%, все довольны, улыбаются. А в конце года — минус в прибыли. Почему? Потому что удовлетворённость ≠ деньги. Да, метрика важна, замерять её нужно, даже если это внутренние клиенты или сервисные команды. Но строить дерево метрик от одного CSI — это как строить бизнес от лайков в соцсетях. Миленько, но бесполезно без контекста.

📊 Ключевой момент: метрики должны помогать принимать управленческие решения, а не просто быть украшением на слайде. Если вы замеряете CSI раз в полгода, к моменту реагирования проблемы уже могут «сгореть», а команда — уйти в отпуск. Лучше делать замер чаще, комбинировать с финансовыми, операционными, процессными и продуктовыми показателями, и анализировать не только «доволен/не доволен», но «почему».

💡 Совет: держите CSI в наборе инструментов, но всегда дополняйте его данными, которые напрямую влияют на деньги и эффективность. И да — учитесь задавать правильные вопросы клиентам, а не удобные для отчётности.

👇 А вы в своей практике видели ситуации, когда высокий CSI соседствует с плохими результатами бизнеса? Давайте обсудим.

#статья

🎙 Вчера мы записали подкаст с Леонидом — руководителем дирекции блока «Сервисы» в департаменте недвижимости и автором ТГ канала AI для Продакта.
Получился разговор без фильтров: обсудили реальные кейсы, боли и решения, которые помогают держать бизнес на плаву.

📹 Пока основное видео на монтаже, выложил для вас пару секунд бекстейджа — чтобы почувствовали атмосферу и заглянули за кулисы.

💡 Уверен, найдете для себя инсайты. Такой формат помогает заглянуть в «кухню» управленческих решений и понять, что работает, а что — пустая трата времени.

❓С кем и о чём вы хотели бы поговорить в следующем выпуске? Может, позвать кого-то из маркетинга, продуктового отдела или тех, кто отвечает за клиентский опыт?

#подкаст

💸 Хочу больше бюджета! Но продукт не зарабатывает…

Да, звучит сурово, но правда в том, что незарабатывающий продукт редко получает прибавку к финансированию. И главная ценность здесь — не приносить деньги, а минимизировать косты на сопровождение процесса или, например, выполнять требования регулятора. Любая попытка “выбить” больше ресурсов в такой ситуации — это uphill battle.

🤔 Так что же делать, если всё-таки хочется большего?
• Во-первых, подумать о смене продукта. Возможно, где-то рядом есть продукт с прямой выручкой — там шанс выше.
• Во-вторых, чётко понять и померить, какую именно ценность несёт твой продукт. Не “ну мы важные”, а конкретные метрики.
• В-третьих, сверить свои метрики с текущей стратегией компании. Если в планах оптимизация и автоматизация через ИИ, а твой продукт про ручную аналитику — скорее всего, бюджет не вырастет.

📊 Важно помнить: вам платят за ценность, которую продукт приносит бизнесу.
Даже если вы можете принести больше, это не значит, что компании это нужно. Иногда продукт остаётся на минимальном бюджете просто потому, что так заложено изначальной моделью.

➡️ Если цель — реально увеличить финансирование, спросите себя: мой продукт хоть как-то “стыкуется” со стратегическим вектором компании? Если нет — лучшая стратегия может быть не борьба, а переход на другой продукт.

👇А как у вас в компании — реально ли увеличить бюджет на продукт без прямого дохода, или всё упирается в железную логику “ROI или ничего”?

#статья