🍕Что такое каннибализация?
Представьте ситуацию: ваши продуктовые маркетологи добавили в меню новую пиццу - анчоусы с ананасами (простите за мой вкус) с целью бустануть выручку в компании.
Проходит месяц после запуска, вы с командой открываете дашборд - и видите восходящий график заказов, продажи новинки уверенно растут. Вроде бы успех и пора праздновать.😏
Но потом смотрите на общую выручку пиццерии и замечаете, что она почти не изменилась.
Куда же делись деньги за эти 10 000 пицц?
А никуда. Часть клиентов просто взяла новинку вместо тех пицц, которые покупала раньше.
Это и есть каннибализация - когда новый продукт растёт за счёт ваших же старых продаж, а не за счёт нового спроса или клиентов конкурентов. Деньги перекладываются из одного кармана в другой, а в сумме бизнес не растёт.
Где встречается каннибализация?👀
А много где:
- Новая позиция в меню отъедает заказы у старых блюд вместо того, чтобы приводить новых гостей.
- Скидочная акция дарит людям скидку, которые купили бы и по полной цене.
- Дешёвая версия товара перетягивает спрос с более дорогой и маржинальной (продажи в штуках растут, а прибыль падает).
- Новую точку открыли слишком близко к старой - и вместо новых клиентов она забирает часть гостей у соседнего ресторана.
Когда это нормально?🤔
Каннибализация - не всегда зло.
Иногда на неё идут осознанно: например, запускают акцию, которая отъедает часть продаж по полной цене, но взамен растит частоту заказов или приводит новых клиентов.
Вопрос не в том, чтобы каннибализацию исключить, а в том, чтобы знать её масштаб и сознательно на него соглашаться.
А чтобы знать масштаб, его нужно измерить.
Как посчитать каннибализацию через A/B 🧪
-> Шаг 1: Делим аудиторию
Одной половине пользователей показываем меню с новинкой, другой - старое меню без неё.
Вторая группа (контроль) нужна, чтобы поймать всё, что влияет на выручку помимо новинки: сезон, погоду, параллельные акции.
Без неё вы потом не докажете, что старые пиццы просели именно из-за новинки, а не из-за того, что закончился предновогодний пик.
-> Шаг 2: Выбираем метрику для оценки
Хочется взять продажи новой пиццы и сказать: вот сколько денег она принесла. Но эта цифра показывает только саму новинку и молчит о том, что стало с остальным меню.
Считать нужно суммарную выручку на пользователя - по всему меню целиком. Только она покажет, прибавилось денег или они просто перетекли внутри ассортимента.
-> Шаг 3: Считаем реальный прирост
Допустим, в тесте новая пицца принесла 100 рублей с пользователя. Но суммарная выручка в тесте оказалась выше контроля только на 60 рублей.
Эти 60 рублей и есть реальный, инкрементальный прирост - деньги, которых без новинки в кассе бы не появилось.
-> Шаг 4: Вычисляем каннибализацию
Дальше простая арифметика. Каннибализация - это разница между продажами новинки и реальным приростом.
В нашем кейсе:
Каннибализация = 100 (продажи пиццы с анчоусами) - 60 (инкремент продаж в тесте относительно контроля) = 40 рублей
Перепроверить себя можно с другой стороны: посмотрите, насколько в тесте просели продажи старых пицц по сравнению с контролем.
Они упадут ровно на те же 40 рублей - деньги не пропали, они переехали в новинку.
💡 Главное: радоваться нужно не продажам новинки, а тому, что выросла суммарная выручка. Если новинка собрала 10 000 заказов, но в сумме денег не прибавилось - вы просто переложили их из кармана в карман.
А вы сталкивались с каннибализацией в своих продуктах? Поделитесь в комментах 👇
Представьте ситуацию: ваши продуктовые маркетологи добавили в меню новую пиццу - анчоусы с ананасами (простите за мой вкус) с целью бустануть выручку в компании.
Проходит месяц после запуска, вы с командой открываете дашборд - и видите восходящий график заказов, продажи новинки уверенно растут. Вроде бы успех и пора праздновать.
Но потом смотрите на общую выручку пиццерии и замечаете, что она почти не изменилась.
Куда же делись деньги за эти 10 000 пицц?
А никуда. Часть клиентов просто взяла новинку вместо тех пицц, которые покупала раньше.
Это и есть каннибализация - когда новый продукт растёт за счёт ваших же старых продаж, а не за счёт нового спроса или клиентов конкурентов. Деньги перекладываются из одного кармана в другой, а в сумме бизнес не растёт.
Где встречается каннибализация?
А много где:
- Новая позиция в меню отъедает заказы у старых блюд вместо того, чтобы приводить новых гостей.
- Скидочная акция дарит людям скидку, которые купили бы и по полной цене.
- Дешёвая версия товара перетягивает спрос с более дорогой и маржинальной (продажи в штуках растут, а прибыль падает).
- Новую точку открыли слишком близко к старой - и вместо новых клиентов она забирает часть гостей у соседнего ресторана.
Когда это нормально?
Каннибализация - не всегда зло.
Иногда на неё идут осознанно: например, запускают акцию, которая отъедает часть продаж по полной цене, но взамен растит частоту заказов или приводит новых клиентов.
Вопрос не в том, чтобы каннибализацию исключить, а в том, чтобы знать её масштаб и сознательно на него соглашаться.
А чтобы знать масштаб, его нужно измерить.
Как посчитать каннибализацию через A/B 🧪
-> Шаг 1: Делим аудиторию
Одной половине пользователей показываем меню с новинкой, другой - старое меню без неё.
Вторая группа (контроль) нужна, чтобы поймать всё, что влияет на выручку помимо новинки: сезон, погоду, параллельные акции.
Без неё вы потом не докажете, что старые пиццы просели именно из-за новинки, а не из-за того, что закончился предновогодний пик.
-> Шаг 2: Выбираем метрику для оценки
Хочется взять продажи новой пиццы и сказать: вот сколько денег она принесла. Но эта цифра показывает только саму новинку и молчит о том, что стало с остальным меню.
Считать нужно суммарную выручку на пользователя - по всему меню целиком. Только она покажет, прибавилось денег или они просто перетекли внутри ассортимента.
-> Шаг 3: Считаем реальный прирост
Допустим, в тесте новая пицца принесла 100 рублей с пользователя. Но суммарная выручка в тесте оказалась выше контроля только на 60 рублей.
Эти 60 рублей и есть реальный, инкрементальный прирост - деньги, которых без новинки в кассе бы не появилось.
-> Шаг 4: Вычисляем каннибализацию
Дальше простая арифметика. Каннибализация - это разница между продажами новинки и реальным приростом.
Каннибализация = Продажи новинки − Инкрементальный прирост общей выручкиВ нашем кейсе:
Каннибализация = 100 (продажи пиццы с анчоусами) - 60 (инкремент продаж в тесте относительно контроля) = 40 рублей
Перепроверить себя можно с другой стороны: посмотрите, насколько в тесте просели продажи старых пицц по сравнению с контролем.
Они упадут ровно на те же 40 рублей - деньги не пропали, они переехали в новинку.
💡 Главное: радоваться нужно не продажам новинки, а тому, что выросла суммарная выручка. Если новинка собрала 10 000 заказов, но в сумме денег не прибавилось - вы просто переложили их из кармана в карман.
А вы сталкивались с каннибализацией в своих продуктах? Поделитесь в комментах 👇
Please open Telegram to view this post
VIEW IN TELEGRAM
Кто хотел пособирать ИИ-агентов руками?
Google и Kaggle проведут бесплатный 5-дневный интенсив по агентам и вайбкодингу.
Дадут:
• практику по созданию ИИ-агентов, от прототипов до продакшена;
• работу с памятью, контекстом, инструментами и API;
• практические кейсы и задания для отработки навыков;
• разборы и материалы от Google.
Для кого:
Всех, кто хочет разобраться в ИИ-инструментах на практике. Базовое знание Python, ИИ и Google AI Studio желательно.
Формат:
• онлайн, 5 дней
• задания, кодлабы, подкасты и ежедневные AMA (Ask Me Anything) сессии с экспертами Google
• можно проходить в удобное время (будет запись), примерно 1-2 часа в день.
Как получить:
Зарегистрироваться на Kaggle
Старт 15 июня.
Google и Kaggle проведут бесплатный 5-дневный интенсив по агентам и вайбкодингу.
Дадут:
• практику по созданию ИИ-агентов, от прототипов до продакшена;
• работу с памятью, контекстом, инструментами и API;
• практические кейсы и задания для отработки навыков;
• разборы и материалы от Google.
Для кого:
Всех, кто хочет разобраться в ИИ-инструментах на практике. Базовое знание Python, ИИ и Google AI Studio желательно.
Формат:
• онлайн, 5 дней
• задания, кодлабы, подкасты и ежедневные AMA (Ask Me Anything) сессии с экспертами Google
• можно проходить в удобное время (будет запись), примерно 1-2 часа в день.
Как получить:
Зарегистрироваться на Kaggle
Старт 15 июня.
🔥4🙏1
Как создать себе второй мозг?🧠
Что если я вам скажу, что сейчас можно создать себе второй мозг?
Систему, которая хранит всю информацию о вас, помнит контекст и помогает с ними работать одинаково эффективно со всеми вашими сферами жизни областями жизни. Неважно, создаете ли вы контент, анализируете показатели здоровья, разбираетесь с собственными мыслями или изучаете новые навыки.
Второй мозг сможет стать вашим персональным помощником в любой задаче.
Как это работает?
Я думаю многие так или иначе ведут заметки: в сохраненках тг, на телефоне, Notion, Evernote и других сервисах. Часть этой информации теряется, забывается и устаревает.
Формально второй мозг - это структурированная система заметок + набор ии-агентов и скилов, которые имеют контекст и закрывают ваши задачи.
Однако основная задача второго мозга не только накапливать информацию и структурировать ее, но и превратить в своего рода "операционную систему агентов" в которой один агент-оркестратор видит весь контекст и управляет другими саб-агентами.
Например, один может выступать в качестве карьерного коуча и опираться на твои заметки, другой быть экспертом в аналитике и помогать изучать новые темы, третий профессиональным редактором - для вычитки и редактирования постов (все посты я пишу сам, но редактирую все-таки с помощью ии), четвертый - аналитиком контента, пятый - ревьюером идей, шестой - персональным нутрициологом и тд.
Сейчас это все можно сделать и с помощью классических ии. Ключевое отличие здесь в том, что в данном случае все управляется через одно окно. Ты пишешь/ говоришь агенту свою задачу и он ее реализует.
При этом эта система развивается вместе с вами: вы добавляете заметки, открываете для себя новое направление и система развивается вместе с вами.
Эдакий Джарвис из Железного человека, которому можно задавать любые вопросы из своей жизни и он сможет дать ответ на все, что угодно.
Что по стеку?⚙
Все банально - в моем случае это связка:
Obsidian - это система управления заметками, которая умеет индексировать их превращать их в структурированный граф связей.
Таким образом мысли не затеряются.
Сервис хранения заметок - Заметки должны где-то хранится: в облаке, локально и тд. Поэтому надо включить такой сервис и подключить по MCP. Какой у меня - я не скажу)
Claude - основной инструмент для управления хранилищем, но можно использовать и любой другой.
На основе их моделей я делаю разные скиллы для своих задач.
При этом с целью сохранения токенов в скилы выбираю разные модели: Haiku для выгрузок/ загрузок, Opus для редактирования и брейнштормов, Sonnet - для оркестрации и управления агентами. Пока токенов хватает, но и задач у меня немного.
Skills + MCP - любые скиллы и конвекторы для решения ваших задач. Можно подключать все, что угодно: хоть озвучивание ответов ии-агентов голосом, хоть видео-редакторы или генераторы презентаций.
Как этим пользоваться💻
Я могу либо написать в чат, либо добавить заметку в папку входящие. Агент-оркестратор сам определит задачу и либо сложит заметку куда надо и проиндексирует, либо вызовет агент, который будет решать мою задачу.
Но мне, с моей любовью к раскладыванию всего по полочкам это только в радость.
Не все работает идеально: например, у меня есть желание делать ролики для своих музыкальных треков. Делать ролики я не умею и не хочу учиться, но продвигаться как-то надо. Поэтому я сделал агента, который должен писать сценарии для рилсов в Инстаграмм, но пока получается херня.
Но я думаю, что со временем я соберу подходящие промпты и референсы, чтобы получать тот результат который мне нужен.
Так, например, уже получилось сделать хорошего ии-агента для рефлексии, который помогает выявить паттерны в поведении и структурирует мысли.
Делали ли вы что-то подобное? Поделитесь в комментариях👇
Что если я вам скажу, что сейчас можно создать себе второй мозг?
Систему, которая хранит всю информацию о вас, помнит контекст и помогает с ними работать одинаково эффективно со всеми вашими сферами жизни областями жизни. Неважно, создаете ли вы контент, анализируете показатели здоровья, разбираетесь с собственными мыслями или изучаете новые навыки.
Второй мозг сможет стать вашим персональным помощником в любой задаче.
Как это работает?
Я думаю многие так или иначе ведут заметки: в сохраненках тг, на телефоне, Notion, Evernote и других сервисах. Часть этой информации теряется, забывается и устаревает.
Формально второй мозг - это структурированная система заметок + набор ии-агентов и скилов, которые имеют контекст и закрывают ваши задачи.
Однако основная задача второго мозга не только накапливать информацию и структурировать ее, но и превратить в своего рода "операционную систему агентов" в которой один агент-оркестратор видит весь контекст и управляет другими саб-агентами.
Например, один может выступать в качестве карьерного коуча и опираться на твои заметки, другой быть экспертом в аналитике и помогать изучать новые темы, третий профессиональным редактором - для вычитки и редактирования постов (все посты я пишу сам, но редактирую все-таки с помощью ии), четвертый - аналитиком контента, пятый - ревьюером идей, шестой - персональным нутрициологом и тд.
Сейчас это все можно сделать и с помощью классических ии. Ключевое отличие здесь в том, что в данном случае все управляется через одно окно. Ты пишешь/ говоришь агенту свою задачу и он ее реализует.
При этом эта система развивается вместе с вами: вы добавляете заметки, открываете для себя новое направление и система развивается вместе с вами.
Эдакий Джарвис из Железного человека, которому можно задавать любые вопросы из своей жизни и он сможет дать ответ на все, что угодно.
Что по стеку?⚙
Все банально - в моем случае это связка:
Obsidian + сервис хранения заметок + Claude + Skills + MCP.Obsidian - это система управления заметками, которая умеет индексировать их превращать их в структурированный граф связей.
Таким образом мысли не затеряются.
Сервис хранения заметок - Заметки должны где-то хранится: в облаке, локально и тд. Поэтому надо включить такой сервис и подключить по MCP. Какой у меня - я не скажу)
Claude - основной инструмент для управления хранилищем, но можно использовать и любой другой.
На основе их моделей я делаю разные скиллы для своих задач.
При этом с целью сохранения токенов в скилы выбираю разные модели: Haiku для выгрузок/ загрузок, Opus для редактирования и брейнштормов, Sonnet - для оркестрации и управления агентами. Пока токенов хватает, но и задач у меня немного.
Skills + MCP - любые скиллы и конвекторы для решения ваших задач. Можно подключать все, что угодно: хоть озвучивание ответов ии-агентов голосом, хоть видео-редакторы или генераторы презентаций.
Как этим пользоваться
Я могу либо написать в чат, либо добавить заметку в папку входящие. Агент-оркестратор сам определит задачу и либо сложит заметку куда надо и проиндексирует, либо вызовет агент, который будет решать мою задачу.
Важно отметить, что эта штука не настраивается по кнопке и надо закладывать время на то, чтобы все структурировать и настроить.
Но мне, с моей любовью к раскладыванию всего по полочкам это только в радость.
Не все работает идеально: например, у меня есть желание делать ролики для своих музыкальных треков. Делать ролики я не умею и не хочу учиться, но продвигаться как-то надо. Поэтому я сделал агента, который должен писать сценарии для рилсов в Инстаграмм, но пока получается херня.
Но я думаю, что со временем я соберу подходящие промпты и референсы, чтобы получать тот результат который мне нужен.
Так, например, уже получилось сделать хорошего ии-агента для рефлексии, который помогает выявить паттерны в поведении и структурирует мысли.
Делали ли вы что-то подобное? Поделитесь в комментариях👇
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6
Я не люблю А/В-тесты 🤷
На днях увидел очередную рекламу курса по А/В-тестам и поймал себя на мысли: почему это стало едва ли не самой хайповой темой в аналитике?
На каждом собесе обязательно спросят про А/В. Грейд аналитика часто меряют тем, насколько глубоко он шарит в стат.методах: мощность, поправки на множественные сравнения, бутстрап, CUPED.
Со стороны кажется, будто умение грамотно раскатить эксперимент - это высшая ступень твоего развития как профессионала.
Но это не так.
Сразу оговорюсь, что дело не в самих А/В.
Смущает меня именно то, сколько места им отвели в профессии.
А/В - это просто один из инструментов в наборе аналитика. Такой же, как когортный анализ, регрессии, юнит-экономика или causal inference методы, про которые я писал отдельно. Никакой не священный грааль. Обычная отвёртка из ящика с инструментами 🛠
Причём отвёртка с важной оговоркой: сам по себе А/В-тест не приносит компании ни рубля.
Он не повышает прибыль, он помогает принять решение. Это инструмент фасилитации: снизить неопределённость и понять, катить фичу дальше или откатывать. Ценность создаёт само изменение в продукте, а тест лишь измеряет, сработало оно или нет.
А теперь смотрите, что происходит. Вокруг этого измерительного инструмента строят всю роль.
Человек, который с максимальной точностью посчитает, что новая кнопка дала +0.3% к конверсии.
Звучит, как по мне, обидно.
Я уже писал, что разница между джуном и сеньором - это переход от «калькулятора» к «партнёру». Так вот культ А/В загоняет аналитика обратно в калькулятор, только теперь с красивым стат.аппаратом.
Я считаю, аналитик должен стремиться быть партнёром бизнесу и приносить деньги, а не вылизывать точность оценки эффекта до третьего знака после запятой.
Тут нужна честная оговорка. В очень зрелых компаниях, где трафик гигантский, инкремент в 0.1% может стоить десятков миллионов долларов.
Там борьба за этот знак после запятой полностью оправдана, и сильная экспертиза в экспериментах действительно критична. Вопрос, скорее, в том, что интереснее лично мне.
А мне неинтересно копаться в микрооптимизациях и ловить +0.1%. Интереснее искать решения, которые дают эффект хотя бы +5%. Их не найти, гоняя сотый А/В на цвет кнопки. Они находятся, когда ты понимаешь бизнес, а не только формулу Стьюдента.
Уважайте А/В как инструмент. Но перестаньте видеть в нём вершину профессии.
Это не значит, что я не буду спрашивать А/В на собесах. Сори, без них всё-таки сейчас никуда.
А как у вас - А/В это сердце вашей работы или один из инструментов в ящике?
Ставьте❤️🔥 , если солидарны со мной и 💔 , если нет
На днях увидел очередную рекламу курса по А/В-тестам и поймал себя на мысли: почему это стало едва ли не самой хайповой темой в аналитике?
На каждом собесе обязательно спросят про А/В. Грейд аналитика часто меряют тем, насколько глубоко он шарит в стат.методах: мощность, поправки на множественные сравнения, бутстрап, CUPED.
Со стороны кажется, будто умение грамотно раскатить эксперимент - это высшая ступень твоего развития как профессионала.
Сразу оговорюсь, что дело не в самих А/В.
Смущает меня именно то, сколько места им отвели в профессии.
А/В - это просто один из инструментов в наборе аналитика. Такой же, как когортный анализ, регрессии, юнит-экономика или causal inference методы, про которые я писал отдельно. Никакой не священный грааль. Обычная отвёртка из ящика с инструментами 🛠
Причём отвёртка с важной оговоркой: сам по себе А/В-тест не приносит компании ни рубля.
Он не повышает прибыль, он помогает принять решение. Это инструмент фасилитации: снизить неопределённость и понять, катить фичу дальше или откатывать. Ценность создаёт само изменение в продукте, а тест лишь измеряет, сработало оно или нет.
А теперь смотрите, что происходит. Вокруг этого измерительного инструмента строят всю роль.
Аналитик = калькулятор А/В-тестов. Человек, который с максимальной точностью посчитает, что новая кнопка дала +0.3% к конверсии.
Звучит, как по мне, обидно.
Я уже писал, что разница между джуном и сеньором - это переход от «калькулятора» к «партнёру». Так вот культ А/В загоняет аналитика обратно в калькулятор, только теперь с красивым стат.аппаратом.
Я считаю, аналитик должен стремиться быть партнёром бизнесу и приносить деньги, а не вылизывать точность оценки эффекта до третьего знака после запятой.
Тут нужна честная оговорка. В очень зрелых компаниях, где трафик гигантский, инкремент в 0.1% может стоить десятков миллионов долларов.
Там борьба за этот знак после запятой полностью оправдана, и сильная экспертиза в экспериментах действительно критична. Вопрос, скорее, в том, что интереснее лично мне.
А мне неинтересно копаться в микрооптимизациях и ловить +0.1%. Интереснее искать решения, которые дают эффект хотя бы +5%. Их не найти, гоняя сотый А/В на цвет кнопки. Они находятся, когда ты понимаешь бизнес, а не только формулу Стьюдента.
Уважайте А/В как инструмент. Но перестаньте видеть в нём вершину профессии.
А как у вас - А/В это сердце вашей работы или один из инструментов в ящике?
Ставьте
Please open Telegram to view this post
VIEW IN TELEGRAM
Как потрогать статистику руками?
Когда я учил статистику, у меня была одна проблема: формулы я запоминал, а картинку в голове собрать не мог.
Вот есть, например, формула дисперсии.
Я мог посчитать её на бумаге, мог написать на собесе. Но что она представляет на самом деле я понять не могу. Как говорят - "не чувствовал на пальцах"
Или центральная предельная теорема. Сформулировать ее можно просто заучив, но осознать, почему она играет ключевую роль в проверке гипотез, гораздо сложнее.
Почему так?
Статистика - это про случайность и распределения. А у распределения нет одного значения. Это процесс: ты тянешь выборку, потом ещё одну, потом ещё, и смотришь, как ведёт себя результат. Формула фиксирует одно состояние. Интуиция рождается, когда состояний много и видно, что между ними происходит.
К чему я веду?
Я собрал сайт, где статистику можно потрогать руками - data-slice.ru
Это не лекции и не учебник.
Каждый разбор интерактивный: ты сам двигаешь ползунки и смотришь, как меняется картинка.
Растягиваешь разброс данных и видишь, как растёт стандартное отклонение.
Гоняешь сто выборок и ловишь те самые промахи доверительного интервала. Меняешь размер выборки и смотришь, как интервал сужается.
Сейчас там больше 50 разборов по двум направлениям: статистика (от мер разброса и распределений до A/B тестов, бутстрапа и регрессии) и метрики (иерархии, North Star, операционные метрики продукта).
Все абсолютно бесплатно - без регистрации и смс😏
Честно про статус 🛠
Это мой вайбкодерский пет-проект.
Я делаю его один, и он не закончен.
Но как говорят - Ship it fast, get feedback fast.
Поэтому я и выпускаю его сейчас)
Часть тем ещё сырая, поэтому я точно что-то буду переписывать или менять местами, обновлять дизайн и добавлять контент.
Это не замена нормальному курсу или учебнику, формальные доказательства всё равно лучше изучать в профильных материалах. Сайт про другое: про интуицию, которую учебник не даёт, потому что её нельзя напечатать на бумаге.
Если когда-то застревал на том, что такое дисперсия или почему доверительный интервал не то, чем кажется, зайди и покрути сам.
Начать можно с самого простого, а потом постепенно переходить к более сложным концепциям
Буду рад фидбеку в комментах к этому посту🍕
Когда я учил статистику, у меня была одна проблема: формулы я запоминал, а картинку в голове собрать не мог.
Вот есть, например, формула дисперсии.
Я мог посчитать её на бумаге, мог написать на собесе. Но что она представляет на самом деле я понять не могу. Как говорят - "не чувствовал на пальцах"
Или центральная предельная теорема. Сформулировать ее можно просто заучив, но осознать, почему она играет ключевую роль в проверке гипотез, гораздо сложнее.
Почему так?
Статистика - это про случайность и распределения. А у распределения нет одного значения. Это процесс: ты тянешь выборку, потом ещё одну, потом ещё, и смотришь, как ведёт себя результат. Формула фиксирует одно состояние. Интуиция рождается, когда состояний много и видно, что между ними происходит.
К чему я веду?
Я собрал сайт, где статистику можно потрогать руками - data-slice.ru
Это не лекции и не учебник.
Каждый разбор интерактивный: ты сам двигаешь ползунки и смотришь, как меняется картинка.
Растягиваешь разброс данных и видишь, как растёт стандартное отклонение.
Гоняешь сто выборок и ловишь те самые промахи доверительного интервала. Меняешь размер выборки и смотришь, как интервал сужается.
Сейчас там больше 50 разборов по двум направлениям: статистика (от мер разброса и распределений до A/B тестов, бутстрапа и регрессии) и метрики (иерархии, North Star, операционные метрики продукта).
Все абсолютно бесплатно - без регистрации и смс
Честно про статус 🛠
Это мой вайбкодерский пет-проект.
Я делаю его один, и он не закончен.
Но как говорят - Ship it fast, get feedback fast.
Поэтому я и выпускаю его сейчас)
Часть тем ещё сырая, поэтому я точно что-то буду переписывать или менять местами, обновлять дизайн и добавлять контент.
Это не замена нормальному курсу или учебнику, формальные доказательства всё равно лучше изучать в профильных материалах. Сайт про другое: про интуицию, которую учебник не даёт, потому что её нельзя напечатать на бумаге.
Если когда-то застревал на том, что такое дисперсия или почему доверительный интервал не то, чем кажется, зайди и покрути сам.
Начать можно с самого простого, а потом постепенно переходить к более сложным концепциям
Буду рад фидбеку в комментах к этому посту
Please open Telegram to view this post
VIEW IN TELEGRAM
«Кусочек пиццы»
Среднее, медиана и мода — «Кусочек пиццы»
Представьте: у Вас есть пиццерия «Мама Джонс», и в ней работают семь сотрудников — повара, кассир, курьеры. Пора публиковать вакансию, и хочется указать «типич…
1🔥19
Кусочек пиццы | Аналитика данных pinned «Как потрогать статистику руками? Когда я учил статистику, у меня была одна проблема: формулы я запоминал, а картинку в голове собрать не мог. Вот есть, например, формула дисперсии. Я мог посчитать её на бумаге, мог написать на собесе. Но что она представляет…»
Потестировал новую модель Claude Fable на выходных для своего пет-проекта.
Для тех, кто в танке: Anthropic вернули Fable в открытый доступ. До 7 июля модель можно покрутить бесплатно (по крайне мере в рамках подписки Pro).
Я решил, не терять время и потестировать ее на своем сайте.
Что сделал:
1) Сделал ревью UI/ UX на сайте, используя Claude Design и taste-skill и внес некоторые правки
2) Сделал ревью контента и интерактивных графиков, чтобы сделать уроки понятнее
3) Добавил английскую версию сайта
4) Добавил Яндекс. Метрику (Теперь я могу следить за вами😈)
Что заметил:
1) Магии не случилось и Fable не прокачал мой сайт на 100500%. Ни в части контента, ни в части дизайна.
Общего промта в формате: "Вот тебе ссылки на статьи на Хабр и Medium. Сделай ревью контента на основании этих статей" не достаточно.
Промпта "Вот тебе ссылки на сайты-рефернс. Сделай аудит UI/UX и сформируй план доработок" тоже не достаточно.
Все также надо вручную выверять каждый урок и каждый объект и писать отдельные комменты с правками.
2) Он быстро жрал токены - лимиты закончились раньше, чем успел внедрить все изменения.
Поэтому в модуле по иерархии метрик все еще есть проблемы с растягиванием контента по ширине.
3) Это не про Fable в частности, но хочется похвастаться - моя идея со вторым мозгом (писал об этом здесь) помогла и в работе с сайтом.
Агент, работающий над сайтом учитывал не только контекст проекта, но и контекст постов, моей аудитории и пр. материалов по тг-каналу, что дало некоторый синергитический эффект в виде адаптации ton-of-voice на сайте. При этом сам я его это сделать не просил - агент сам нашел и отметил какие-то связи и подсветил идеи.
Резюме:
Я не сказал бы, что модель Fable - это next-gen прорыв, который решает все задачи по щелчку пальцев и понимает с полуслова.
Возможно это я такой криворукий и не умею нормально с ним работать, но возможно и нет🙁
Пока я считаю, что любая ии-шка это все-таки не кнопка "Сделать красиво", а очень мощный инструмент, который раскрывает свою силу только в умелых руках. (Собственно поэтому и практикуюсь)
А какой у вас опыт с Fable?
Поделитесь комментариями
Для тех, кто в танке: Anthropic вернули Fable в открытый доступ. До 7 июля модель можно покрутить бесплатно (по крайне мере в рамках подписки Pro).
Я решил, не терять время и потестировать ее на своем сайте.
Что сделал:
1) Сделал ревью UI/ UX на сайте, используя Claude Design и taste-skill и внес некоторые правки
2) Сделал ревью контента и интерактивных графиков, чтобы сделать уроки понятнее
3) Добавил английскую версию сайта
4) Добавил Яндекс. Метрику (Теперь я могу следить за вами😈)
Что заметил:
1) Магии не случилось и Fable не прокачал мой сайт на 100500%. Ни в части контента, ни в части дизайна.
Общего промта в формате: "Вот тебе ссылки на статьи на Хабр и Medium. Сделай ревью контента на основании этих статей" не достаточно.
Промпта "Вот тебе ссылки на сайты-рефернс. Сделай аудит UI/UX и сформируй план доработок" тоже не достаточно.
Все также надо вручную выверять каждый урок и каждый объект и писать отдельные комменты с правками.
2) Он быстро жрал токены - лимиты закончились раньше, чем успел внедрить все изменения.
Поэтому в модуле по иерархии метрик все еще есть проблемы с растягиванием контента по ширине.
3) Это не про Fable в частности, но хочется похвастаться - моя идея со вторым мозгом (писал об этом здесь) помогла и в работе с сайтом.
Агент, работающий над сайтом учитывал не только контекст проекта, но и контекст постов, моей аудитории и пр. материалов по тг-каналу, что дало некоторый синергитический эффект в виде адаптации ton-of-voice на сайте. При этом сам я его это сделать не просил - агент сам нашел и отметил какие-то связи и подсветил идеи.
Резюме:
Я не сказал бы, что модель Fable - это next-gen прорыв, который решает все задачи по щелчку пальцев и понимает с полуслова.
Возможно это я такой криворукий и не умею нормально с ним работать, но возможно и нет
Пока я считаю, что любая ии-шка это все-таки не кнопка "Сделать красиво", а очень мощный инструмент, который раскрывает свою силу только в умелых руках. (Собственно поэтому и практикуюсь)
А какой у вас опыт с Fable?
Поделитесь комментариями
Please open Telegram to view this post
VIEW IN TELEGRAM
Anthropic выпустила новую библиотеку подсказок для Claude Code прямо в документации
Пока что там 52 подсказки, сгруппированные по типам с объяснениями, почему и как это работает.
Забираем здесь.
Пока что там 52 подсказки, сгруппированные по типам с объяснениями, почему и как это работает.
Забираем здесь.
🔥6
Реальность 2026 года: ИИ не уменьшает нагрузку, а увеличивает количество дел, которыми мне приходится заниматься одновременно.
Компаниям нравится эта математика. Один человек с ИИ-агентами теперь делает то, что раньше делали двое или трое.
Зарплаты меньше - производительность та же, а то больше.
Чистая победа для бизнеса(особенно если не считать затраты на токены)
В то же время, если смотреть на это глазами исполнителя, открывается совсем другая картина - кратный рост когнитивной нагрузки.
Все видят рост производительности с использованием агентов, пытаются придумать «тот-самый промпт» или оптимизируют контекст, но почему-то никто не учитывает, сколько контекста может обрабатывать сам человек.
Например, сейчас обычный день для меня - это 5+ параллельных потоков.
Один агент проводит исследования, второй копается в данных, третий готовит что-то для заказчиков, четвертый делает пет-проект, а вы переключаетесь между ними, принимая решения по каждому из них.
Несколько лет назад мы работали над чем-то одним за раз и мозг соответствовал этому темпу работы.
Теперь мы принимаем решения и переключаем контекст в несколько раз чаще, чем обычно.
Это и есть реальный механизм, лежащий в основе надвигающейся волны эмоционального выгорания.
Теперь свою «батарейку» можно разрядить и без долгих часов на работе и бесконечных встреч.🪫
К тому же, культура труда поощряет отключаться от сигналов собственного тела и «перфомить-перфомить-перфомить».
Поэтому мы не замечаем усталости, пока не получим клинический диагноз или упадем без сил.
Вывода не будет, так как я не знаю, что с этим делать.
Но если вы сталкивались с чем-то подобным и нашли для себя решение - напишите в комментах. Будет интересно обменяться опытом
Компаниям нравится эта математика. Один человек с ИИ-агентами теперь делает то, что раньше делали двое или трое.
Зарплаты меньше - производительность та же, а то больше.
Чистая победа для бизнеса
В то же время, если смотреть на это глазами исполнителя, открывается совсем другая картина - кратный рост когнитивной нагрузки.
Все видят рост производительности с использованием агентов, пытаются придумать «тот-самый промпт» или оптимизируют контекст, но почему-то никто не учитывает, сколько контекста может обрабатывать сам человек.
Например, сейчас обычный день для меня - это 5+ параллельных потоков.
Один агент проводит исследования, второй копается в данных, третий готовит что-то для заказчиков, четвертый делает пет-проект, а вы переключаетесь между ними, принимая решения по каждому из них.
Несколько лет назад мы работали над чем-то одним за раз и мозг соответствовал этому темпу работы.
Теперь мы принимаем решения и переключаем контекст в несколько раз чаще, чем обычно.
Лично по себе я заметил, что постоянное переключение между задачами высысасывает из меня больше всего энергии.
Это и есть реальный механизм, лежащий в основе надвигающейся волны эмоционального выгорания.
Теперь свою «батарейку» можно разрядить и без долгих часов на работе и бесконечных встреч.
К тому же, культура труда поощряет отключаться от сигналов собственного тела и «перфомить-перфомить-перфомить».
Поэтому мы не замечаем усталости, пока не получим клинический диагноз или упадем без сил.
Вывода не будет, так как я не знаю, что с этим делать.
Но если вы сталкивались с чем-то подобным и нашли для себя решение - напишите в комментах. Будет интересно обменяться опытом
Please open Telegram to view this post
VIEW IN TELEGRAM
Что такое сетевой эффект?
Классический A/B стоит на простом допущении: контроль и тест не влияют друг на друга.
Поведение юзера из группы B определяется только тем, что ему показали, и никак не отражается на юзерах из группы A. Это называется SUTVA, Stable Unit Treatment Value Assumption.
Именно поэтому эффект фичи можно посчитать как обычную разницу средних между группами.
Проблема в том, что иногда это допущение не выполняется.
Представим тест реферальной программы. Или группового заказа. Или чата. Или ленты, где люди видят активность друг друга.
Юзер из группы в тестовой группе рассказывает о фиче другу, который находится в контрольной группе и контроль тоже подвергается воздействию.
Теперь контроль загрязнён тем самым эффектом, который хотелось измерить только в тесте.
Группы перетекают друг в друга, и разница между ними схлопывается.
Это и есть сетевой эффект (он же network interference).
Что при этом происходит на практике.
1. Эффект недооценивается.
Если тест протекает в контроль, контроль подрастает вместе с тестом, и разница между группами оказывается меньше реальной, что сказывается на значении инкремента метрики.
2. Эффект переоценивается.
Обратная история: фича создаёт ценность только при высокой плотности участников.
Хороший пример - платный буст для продавцов на маркетплейсе.
Буст поднимает карточку продавца выше в выдаче. Но общее число покупателей и заказов от этого не растёт: спрос фиксированный, буст лишь перераспределяет его.
Если буст в тесте только у пяти процентов продавцов, эти счастливчики забирают заказы у всех остальных и показывают отличный прирост продаж.
Метрика радует, фича катится на всех.
И тут выясняется, что когда буст есть у каждого, вверх не поднимается никто - все вернулись на свои места, спрос делится примерно как раньше, а прирост, который был в тесте, испарился.
В тесте измерялось преимущество над теми, у кого буста нет, а после раскатки таких просто не осталось.
Как с этим работать.
Для начала стоит честно ответить на вопрос, есть ли вообще в продукте канал, по которому юзеры влияют друг на друга?
Примеры каналов: приглашения, общий контент, общий инвентарь, общая очередь, конкуренция за один ресурс.
Если каналов нет, можно выдохнуть и использовать классический A/B.
Если нет - читаем дальше.
Дальше имеет смысл поменять единицу рандомизации.
Вместо отдельных юзеров в группы A и B распределяются целые кластеры - группы людей, которые связаны между собой.
Тогда друзья, коллеги, соседи по городу попадают в одну и ту же группу, и влияние перетоков между ними снижается.
Вариантов, что считать кластером, несколько.
Гео-эксперименты.
Рандомизируются города или регионы целиком: весь один город в тесте, весь другой в контроле.
Перетекание между географиями минимально.
Сложность в том, что резко падает число независимых единиц (было сто тысяч юзеров, стало сорок городов), доверительные интервалы разъезжаются, и нужен либо длинный тест, либо аккуратный подбор похожих пар городов с матчингом.
Кластеризация по графу.
Строится граф связей и режется на слабосвязанные сообщества (community detection), которые уже рандомизируются.
Внутри группы связей много, между группами мало, значит, и утечка мала.
Это дороже и требует данных о связях, но для социальных фич подход самый честный.
Switchback
Также часто гоняют switchback: один и тот же пользователь переключается между A и B по временным окнам и затем оценивается эффект между этими окнами.
Главная мысль вот в чём.
Сетевой эффект не экзотика для соцсетей.
Он живёт везде, где действие одного юзера меняет опыт другого: реферальные программы, лояльность с приглашением друга, групповые заказы, любые двусторонние рынки, даже банальная нагрузка на инфраструктуру.
Так что прежде чем доверять результату теста, стоит задать себе один вопрос: может ли юзер из одной группы повлиять на юзера из другой?
Если да, тест что-то измеряет, но не то, что кажется.
Классический A/B стоит на простом допущении: контроль и тест не влияют друг на друга.
Поведение юзера из группы B определяется только тем, что ему показали, и никак не отражается на юзерах из группы A. Это называется SUTVA, Stable Unit Treatment Value Assumption.
Именно поэтому эффект фичи можно посчитать как обычную разницу средних между группами.
Проблема в том, что иногда это допущение не выполняется.
Представим тест реферальной программы. Или группового заказа. Или чата. Или ленты, где люди видят активность друг друга.
Юзер из группы в тестовой группе рассказывает о фиче другу, который находится в контрольной группе и контроль тоже подвергается воздействию.
Теперь контроль загрязнён тем самым эффектом, который хотелось измерить только в тесте.
Группы перетекают друг в друга, и разница между ними схлопывается.
Это и есть сетевой эффект (он же network interference).
Что при этом происходит на практике.
1. Эффект недооценивается.
Если тест протекает в контроль, контроль подрастает вместе с тестом, и разница между группами оказывается меньше реальной, что сказывается на значении инкремента метрики.
2. Эффект переоценивается.
Обратная история: фича создаёт ценность только при высокой плотности участников.
Хороший пример - платный буст для продавцов на маркетплейсе.
Буст поднимает карточку продавца выше в выдаче. Но общее число покупателей и заказов от этого не растёт: спрос фиксированный, буст лишь перераспределяет его.
Если буст в тесте только у пяти процентов продавцов, эти счастливчики забирают заказы у всех остальных и показывают отличный прирост продаж.
Метрика радует, фича катится на всех.
И тут выясняется, что когда буст есть у каждого, вверх не поднимается никто - все вернулись на свои места, спрос делится примерно как раньше, а прирост, который был в тесте, испарился.
В тесте измерялось преимущество над теми, у кого буста нет, а после раскатки таких просто не осталось.
Как с этим работать.
Для начала стоит честно ответить на вопрос, есть ли вообще в продукте канал, по которому юзеры влияют друг на друга?
Примеры каналов: приглашения, общий контент, общий инвентарь, общая очередь, конкуренция за один ресурс.
Если каналов нет, можно выдохнуть и использовать классический A/B.
Если нет - читаем дальше.
Дальше имеет смысл поменять единицу рандомизации.
Вместо отдельных юзеров в группы A и B распределяются целые кластеры - группы людей, которые связаны между собой.
Тогда друзья, коллеги, соседи по городу попадают в одну и ту же группу, и влияние перетоков между ними снижается.
Вариантов, что считать кластером, несколько.
Гео-эксперименты.
Рандомизируются города или регионы целиком: весь один город в тесте, весь другой в контроле.
Перетекание между географиями минимально.
Сложность в том, что резко падает число независимых единиц (было сто тысяч юзеров, стало сорок городов), доверительные интервалы разъезжаются, и нужен либо длинный тест, либо аккуратный подбор похожих пар городов с матчингом.
Кластеризация по графу.
Строится граф связей и режется на слабосвязанные сообщества (community detection), которые уже рандомизируются.
Внутри группы связей много, между группами мало, значит, и утечка мала.
Это дороже и требует данных о связях, но для социальных фич подход самый честный.
Switchback
Также часто гоняют switchback: один и тот же пользователь переключается между A и B по временным окнам и затем оценивается эффект между этими окнами.
Главная мысль вот в чём.
Сетевой эффект не экзотика для соцсетей.
Он живёт везде, где действие одного юзера меняет опыт другого: реферальные программы, лояльность с приглашением друга, групповые заказы, любые двусторонние рынки, даже банальная нагрузка на инфраструктуру.
Так что прежде чем доверять результату теста, стоит задать себе один вопрос: может ли юзер из одной группы повлиять на юзера из другой?
Если да, тест что-то измеряет, но не то, что кажется.
Наткнулся на интересное выступление Константина Крестникова (CTO GigaChain) на Data Fest.
Он рассказал про этапы развития агентов, Harness и loop-циклы.
Если вы когда-либо хотели узнать про что-то из перечисленного, го смотреть:
https://www.youtube.com/watch?v=aBcW01Qbuws
Он рассказал про этапы развития агентов, Harness и loop-циклы.
Если вы когда-либо хотели узнать про что-то из перечисленного, го смотреть:
https://www.youtube.com/watch?v=aBcW01Qbuws
🙏2