Шпора по A/B-тестам

Постарался собрать воедино базу по а/б-тестам, можете пробежаться взглядом и отдельно с изучить, чего не касались в своем опыте.

Разбил по этапам:
1. Формулируем гипотезу
одна гипотеза → одна основная метрика
фиксируем guardrail-метрики, чтобы рост CTR не оказался падением выручки, retention или качества
сразу определяем единицу рандомизации: кого делим, user/session/order

2. Фиксируем правила до старта
окно атрибуции: за какой период проверяем эффект
α=0,05 - ошибка первого рода: риск увидеть эффект, которого нет
power(1 − β)=80% -мощность(обратная вероятность ошибки второго рода), шанс заметить реальный эффект, если он правда есть
baseline + MDE: от чего отталкиваемся и какой минимальный эффект хотим поймать

Плюс заранее выбираем модель, если сравниваем..
..бинарную метрику, например CTR → z-test
..среднее, например time spent → t-test
..отношение, например ARPU → delta method

Главное: заранее определяем критерий принятия решения.

3. Считаем до запуска
размер выборки берем из калькулятора1
выдерживаем качество выборки - используем корректную рандомизацию
длительность считаем примерно так:
дней = выборка целиком / (DAU × доля пользователей в эксперименте)

4. Проводим тест
во время теста проверяем SRM, можно по калькулятору2 чекнуть критичность
если группы разъехались по размеру, сначала разбираемся с экспериментом, а не с результатом

5. Подводим итоги
считаем результат, но не отдаём решение на аутсорс калькулятору3.
статистика отвечает, похож ли эффект на случайность,
продакт решает стоит ли это раскатывать

#pm #abтесты #аналитика

Что живет рядом с A/B-тестами

A/B-тест - это строгий эксперимент: гипотеза, случайное деление пользователей, основная метрика, размер выборки и критерий решения.

Но рядом есть похожие методы, которые часто путают:

Сплит-тестирование
Это разлитие трафика между вариантами
Если есть рандомизация, выборка и статистика - это уже A/B.
Чистый сплит полезен разве что при роллауте.
Каждый A/B - это split, но не каждый split - это A/B.

Когортный анализ
Это не эксперимент, а наблюдение за группами во времени.
Например, заметить, что пользователи января удерживаются лучше, чем пользователи февраля, и пойти разбираться.

SBS (side-by-side)
Это прямое сравнение двух вариантов рядом.
Человек или эксперт видит два ответа, дизайна или сценария и выбирает лучший.

Holdout
Оставляем часть пользователей без изменений для долгого сравнения.

#pm #abтесты #аналитика

Плохие выводы из хорошего A/B-теста

Финальная мысль - скелет лекции готов:)

Можно идеально разлить A/B-тест, проверить SRM, дождаться выборки, получить p-value и всё равно принять плохое продуктовое решение.

Что моет пойти не так:

Статзначимость без продуктового смысла

На большой базе можно поймать эффект в +0,1%.
Да, статистически значимо.
Нет, большого смысла выкатывать нет, если вы не Амазон.

Нужно оценить, окупает ли эксперимент разработку
не просаживает ли guardrail-метрики, не усложняет ли продукт, не конфликтует ли со стратегией

Можно выиграть тест, но проиграть продуктово.

Сегменты после итогов

Представьте, тест не прокрасился, но мы же не зря запускали!
Можно выковырять, что у новых пользователей на iOS из Воронежа в вечернее время выросла метрика!

Если нарезать кучу сегментов, где-нибудь почти всегда найдется победа.

Лучше зафиксировать ключевые сегменты до старта, а приятные находки после - считать не прокрасом, а новой гипотезой.

A/B-тест снижает неопределенность, помогает оценить сигнал.
Но не снимает с продакта ответственность за вывод и
не принимает за него решение, стоит ли по этому сигналу менять продукт.

#pm #abтесты #аналитика

Ты вообще знаешь, как GPT работает? Что такое токены

Когда мы пишем модели запрос, она сначала режет текст на маленькие кусочки - токены.

Это может быть слово, часть слова, эмодзи или кусок кода.
Например: cat может быть одним токеном, а продакт менеджмент почти точно разрежется на несколько.

В токенах считается контекст модели, стоимость запроса, объем файлов и длина ответа.

Лимит 128к токенов - это общий бюджет: на промпт, историю диалога в контексте, приложенные документы и будущий ответ, а не 128к слов.

#словарикпродакта #token #ai #pm

Ты вообще знаешь, как AI превращает вопрос в ответ?

Напишем в ChatGPT:
> Что такое токен?

ОБРАБОТКА ВОПРОСА:
1) Собирается контекст
В него попадает: вопрос, системная инструкция, история диалога, ограничения по формату и длине.
2) Текст режется на токены
3) Токены превращаются в числа
В словаре токенизатор по токену находит ID, а ID указывает, какую строку взять из embedding-таблицы.
такое -> 912 -> [0.34, 0.11, -0.67, ...]

На этом этапе наш запрос превратится в перечень векторов:
> Что такое токен? -> [Что],[такое],[токен],[?]...+весь хвост контекста тоже в векторном виде

НАСЫЩЕНИЕ ВОПРОСА КОНТЕКСТОМ:
4) Строка проходит через слои уточнения
В каждом слое работают два механизма:
1 механизм: Self-attention
Модель пересчитывает связи между токенами: за это отвечает attention: механизм, который помогает понять, какие части контекста важны друг для друга.
Уточнены веса связей между токенами
2 механизм: Feed-forward / MLP-блок
Модель уточняет, что за смысл, роль и контекст у каждого токена.

На этом этапе векторы стали умнее - контекстно насыщенными:
> Что такое токен? -> pm спрашивает про токен в AI/GPT, нужно дать объяснение

ВЫРАЩИВАНИЕ ОТВЕТА ИЗ ВОПРОСА:
5) Модель считает вероятности следующего токена
Модель смотрит на весь контекст и считает, какой токен должен идти следующим
> Что такое токен?
высокие шансы могут быть у вариантов Токен, Это, В, AI
Выбирает один токен и добавляет его в конец текста, итого:
> Что такое токен? -> Что такое токен? Токен
Потом процесс повторяется...
Что такое токен? Токен -> Что такое токен? Токен — -> ... -> Токен — это кусочек текста, с которым работает...

В итоге получаем целиковый текст ответа на изначальный запрос.

Как вам?
❤️ огнище, просто и понятно
😈 просто и понятно, огнище

#ai #how #pm

Ты вообще знаешь, за что мы платим в AI?

TLDR; Платим за compute budget: сколько вычислений сервис тратит на запрос.

Почему какой-то AI дороже?
1. Больше токенов на входе и выходе
История диалога, файлы, инструкции, результаты поиска и сам ответ превращаются в токены.
Чем больше нужно обработать и сгенерировать - тем дороже запрос.
2. Тяжелее модель
У сильной модели больше параметров, слоев и выше размерность векторов.
Значит, каждый токен проходит через более дорогую математику.
3. Больше reasoning
Для сложных задач модель может делать дополнительные внутренние шаги: разложить задачу, проверить варианты, найти противоречия.
Внутри больше вычислений.

#ai #cost #gpt #token #pm

STAR на собесе: структура ответа

На днях собеседовал кандидата с интересным опытом и экспертизой.
НО! решение задач, да и рассказ о себе, приходилось из него доставать с силой.

Хочу порефлексировать через пост про фреймворк STAR.
Первично это метод диагностики софтсклилов, но можно применить для структурирования ответов на кейсы.
Пример:
ВОПРОС> В приложении резко упала конверсия в оплату. Что будете делать?
ОТВЕТ> Посмотрю аналитику, соберу гипотезы, запущу A/B-тест.
Это плохой ответ, своего рода диалоговый черри пикинг: мышления не видно.

А через STAR видно:
Situation
Локализую проблему: когда началось, у кого, на какой платформе и на каком шаге воронки..
!Уточняем ситуацию у интервьюера.
Task
Задача: быстро понять, это баг, релиз, платежка, трафик, оффер или сломанная аналитика.
Action
Оцениваю охват и вес проблемы.
Напрягаю дежурного разработки: проверить релизы, ошибки API, логи и изменения в платежах.
Если баг: фикс или rollback.
Смотрю дэши: по воронке: тариф → кнопка оплаты → платежка → успешная оплата, сравниваю платформы, сегменты и источники трафика.
Если продуктовая просадка: выделяю сегмент, гипотеза, быстрый эксперимент.
Result
На выходе решение: откатить релиз, починить оплату, оплатить Tilda, упростиь флоу или идти в эээксперименты.

Вот так на кейсах делай и интервьюер скажет: я тебя вижу 🤌

❤️ решаю структурно
😈 запускаю A/B на всё

#продуктовыйменеджмент #собеседование #STAR #pm

Не разогнаться в стену: guardrails

Guardrails - защитные метрики, которые не дают продукту вырасти ценой поломанного бизнеса или пользовательского опыта

Запустили скидки → следим не только за GMV, но и за маржой
Ускорили онбординг → проверяем, не вырос ли черн через неделю
Подняли конверсию в оплату → смотрим, не стало ли больше возвратов и жалоб

Главная метрика говорит: куда бежим
Guardrails проверяют: не снесли ли мы по дороге забор, склад и поддержку..

Как вам?
❤️ полезный заборчик
😈 звучит как бюрократия

#словарикпродакта #guardrails #pm

Что почитать?

Наедине с собой. Размышления, Марк Аврелий
Кому: всем, кто хочет посмотреть на стоицизм не через рилсы про контроль эмоций, а через дневник человека с огромной властью и ответственностью
Количество страниц: 280
Оценка: 10 добродетелей из 10

Отзыв:
С этой книгой легко начать, но тяжело закончить.
Текст короткий, смыслы понятные, но в какой-то момент начинаешь улетать мыслями за пределы. Потому что это не мотивационная книжка, а внутренние заметки человека, который буквально уговаривает себя жить достойно.
Мне было интересно читать Марка Аврелия на фоне популярного броицизма - дженерик стоицизма для ленивых: держи лицо, будь эффективным, не ной, контролируй эмоции.
На самом деле все тоньше, стоицизм у Марка про добродетель: не предать себя, не разменяться, не потерять способность поступать правильно.
Книгу можно читать как автобиографию очень крутого менеджера.
Император, огромная система, власть, войны, ответственность, раздражение на людей и постоянная попытка собрать себя обратно.
Обсуждали в книжном клубе про стоицизм как способ справляться с тревожностью, бимбо-стоицизм и броицизм.
Лично я прошел книгу волнами.
Начал с большого интереса к стоицизму, потом начал разочаровываться, но собрав картину целиком укрепил свою любовь к нему.
Помогло посмотреть на правила Марка не как на набор запретов, а как на попытку держаться добродетели.
Заметки с полей:
Стоицизм не отменяет эмоции, он пытается не отдавать им руль.
Самоконтроль без добродетели быстро превращается в токсичную продуктивность.
Даже императору иногда нужно просто сесть и напомнить себе: соберись.
Если хочется понять, что было со стоицизмом до инфоблогеров - Марк Аврелий отличный выбор.

А если хочешь обсудить книги про мышление, лидерство и управление собой - присоединяйся к нашему Книжному клубу для менеджеров!

#чтопочитать #МаркАврелий #стоицизм #книжныйклуб #менеджмент #лидерство

Зачем продакту комьюнити?

Конференции, комментарии в каналах, общие продуктовые чаты, книжные клубы❤️, внутренние сообщества компаний - форматов много, но ценность в другом и на разных этапах карьеры она разная.

Когда только входишь в профессию, приходишь за знаниями: хочется понять, как всё устроено, послушать чужой опыт, собрать инструменты в копилку.

Потом начинаешь приходишь с конкретными вопросами: появилась проблема, которая зудит. Можно обсудить её с людьми, которые уже проходили похожий путь.

Ещё позже начинаешь использовать комьюнити как способ сверить свою картину мира с рынком. Какие вопросы сейчас обсуждают сильные специалисты? Что считается хорошей практикой? Где мои точки роста? Услышать, что похожие проблемы есть не только у тебя.

А ещё комьюнити постепенно превращаются в рынок репутации. Здесь находят коллег, сотрудников, проекты и новые места работы..

..Я уже 2 года в VK!
Как говориться: VK, конечно, хорошо
Поэтому приглашаю вас в VK, тут хорошо
Ищу крутого проджекта для внутреннего EdTech стартапа - пишите в лс:)

Продуктовые комьюнити - мой личный сорт третьего уровня пирамиды Маслоу, помогают не терять ощущение связи с профессией.

Но! Главное помнить, что всё хорошо в меру: даже самая полезная среда не заменит собственный опыт.

А какие продуктовые комьюнити оказались для вас самыми полезными?
🔥 конференции
❤️ чаты и каналы
✍️ клубы по интересам
🤝 внутренние сообщества компаний
#community #productmanagement #pm

Продакт и его Джарвис

На прошлой неделе я давал Codex несколько параллельных задач и прям почувствовал это ощущение работы с Джарвисом. Уже меньше делаю попой(долго-муторно-операционно) и больше управляю потоком решений.

Скриньте: для продакта это важный сдвиг: ИИ-агенты повышают качество первого шага. Продакта не заменят, а усилят.

Сейчас многие вопросы упираются в очередь к смежникам. Будущий продакт сможет быстрее собрать первую версию сам: черновую, местами кривую, достаточно осмысленную для нормального разговора с командой.

Это сменит тон обсуждения. Придешь уже с конкретной гипотезой, первичной проверкой, слабыми местами и вопросами.

Особенно интересно это в приоритизации. В RICE confidence это личное ощущение. Агент сможет сделать его более доказательным: хочу увидеть, как агент впрягается или спорит со мной.

Короче, процессы остаются.
Меняется качество первого шага.

Вы уже ПОЧУВСТВОВАЛИ?
❤️ чувствую
😈 чувствую fomo

#pm #ai #productmanagement

Продакт как играющий владелец клуба

Мне на стажировке говорили, что хороший продакт должен уметь нарисовать прототип на бумажке, теперь хороший продакт может собрать PoC самостоятельно.

Кажется, это одно из самых важных изменений профессии за последние годы. Генеративная разработка дает продакту возможность делать первый проход самому. Не писать ТЗ или PRD, а показать работающий прототип, из которого артефакт документации будет собран автоматически.

Для меня главным открытием оказалось, насколько ИИ позволяет быстро разобраться в области, которая раньше была черным ящиком. Не стать разработчиком за выходные, а достаточно глубоко погрузиться в предмет, чтобы понимать ограничения, задавать правильные вопросы и говорить со специалистами на более близком вокабуляре.

Специалистов это не отменяет. Архитектуру и сложные решения по-прежнему лучше проверять с сильными инженерами. Но разговор меняется: вместо идеи на салфетке ты приходишь с работающим черновиком и вопросом: Я собрал первый вариант. Как его усилить?

Поэтому мне кажется, что генеративная разработка меняет роль продакта. Он остается владельцем продукта, но теперь может иногда выходить на поле сам.
Не как тренер, все же тренер чаще сам бывший футболист и может наставлять в прикладном плане команду. А как владелец клуба/футбольный менеджер.

Как играющему менеджеру усилить команду на матче? Не придумал сильной аналогии)
❤️ генерировать сильные тактические розыгрыши
😈 во время пенальти ложиться на траву

#pm #ai #productmanagement

Продакт, который не понимает экономику, управляет интерфейсом

Удобная кнопка и понятный сценарий могут улучшить пользовательский путь, хотя продуктовая ценность становится полной только там, где это сходится с деньгами.

Продакту важно держать в голове два слоя: как пользователь доходит до ценности и какую ценность это создает для бизнеса:
конверсия может вырасти вместе с падением маржи, GMV может красиво смотреться в дашборде при красной юнит-экономике, а промо может научить пользователя покупать только со скидкой.

Жизненный пример из b2b2c: искали баланс по сроку хранения заказов на ПВЗ. Если держать долго: пользователю удобно, выше выкупаемость, но ПВЗ забиваются и мерчанты теряют деньги на зависших посылках.
Если сокращать срок: разгружаем точки и ускоряем оборот, падает выкуп и растет недовольство мерчантов.
В итоге искали вин-вин через сегментацию, А/В и гибкие правила

❤️ считаю ue
😈 полирую кнопку
#pm #productmanagement

Что почитать?

Наш айсберг тает, Джон Коттер
Кому: тем, кто пытается провести изменения и не понимает, почему очевидная проблема не становится очевидной для всех
Количество страниц: 76, читается за вечер
Оценка: 10 пингвинов-разведчиков из 10

Отзыв:

Книга состоит из двух частей 1-детская сказка, 2-теоретический комментарий
Притча рассказывает про пингвинов, которые поняли, что их айсберг тает, и начали искать решение. Внутри понятная модель изменений Коттера: создать ощущение срочности, собрать команду, объяснить видение, вовлечь остальных, показать первые победы и закрепить новый порядок.

Книга хорошо показывает, что изменения идут через коммуникацию. Постеры, символы, истории, герои, общественное мнение. Местами вдохновляет, местами слегка пахнет пропагандой Бернейса:)

Что забрал себе:
1) Изменения не заканчиваются Большой победой, она только доказывает системе, что новый путь возможен - главная ценность в создании и принятии процесса..
2) В изменениях важно придумать посыл, через который в него смогут поверить остальные.

Часть 2. Как читали в клубе
Книга читалась ОЧЕНЬ легко, обсуждение получилось неожиданно объемным.

Много обсуждали пропаганду. Говорили про то, почему команда не ввела режим военного времени. Возможно, это ускорило бы решения, но могло сломать доверие и превратить изменения в приказ сверху.
Искали себя среди пингвинов. В каждом нашлось что-то узнаваемое: Фред с тревожной наблюдательностью, Алиса с энергией действия, Профессор с объяснением сложного, Бадди с умением разговаривать с людьми и даже Нет-Нет со своим сопротивлением.

Если вам интересно не просто читать, а разбирать книги через управленческий опыт, присоединяйтесь к нашему Книжному клубу для менеджеров.

@product_lev
#чтопочитать #книжныйклуб #менеджмент #изменения #productmanagement

8 шагов перемен Коттера

Изменение нельзя просто объявить. Его нужно воплотить через организацию.

Сильный пример таких изменений я видел в Яндекс Маркете при смене CEO: появилась более живая стратегия, новые смыслы старались доносить не только через большие презентации, но и через маленькие победы, регулярную коммуникацию, материалы на кофепоинтах и заставки телевизоров в переговорках.
Сохранил себе структуру Коттера, которая ниже, чтобы было куда смотреть в будущих изменениях.

Коттер описал 8 шагов, которые помогают провести изменения системно:
1. Создать ощущение срочности
2. Собрать коалицию изменений
3. Сформулировать видение
4. Донести его до команды
5. Убрать барьеры
6. Дать короткие победы
7. Не сбавлять темп
8. Закрепить новый подход в культуре

После Наш айсберг тает схема ощущается менее учебниковой, пингвины проходят ровно этот путь. Признают проблему, собирают сильную группу, объясняют стае, зачем двигаться, находят первых героев и превращают разовый переезд в новую норму.

Кстати, книга может работать как дешевый тренинг для команды: дать прочитать за неделю, а потом обсуждать изменения уже через общую историю- поможет выделить группу для второго этапа.

#pm #управление #изменения #книжныйклуб