Почему t-test — это всё, что вам нужно в A/B-тестах

Привет! На связи Илья Ковалёв, старший аналитик данных в Dodo Brands и автор канала про аналитику кусочек пиццы 👋🏻

В аналитическом сообществе есть негласная иерархия: чем сложнее метод, тем умнее выглядит аналитик. Bootstrap, тест Манна-Уитни, CUPED, байесовские подходы — всё это звучит внушительно на собеседованиях и в статьях на Хабре.

Но на практике в 80% случаев достаточно обычного t-теста.

Что такое t-test и как он работает

T-test проверяет одну простую гипотезу: отличаются ли средние значения метрики в двух группах или нет. Формально он считает t-статистику:

t = (x̄₁ - x̄₂) / √(s₁²/n₁ + s₂²/n₂),
где x̄ — среднее в группе, s² — дисперсия, n — размер выборки.

Дальше по этой статистике считается p-value — вероятность получить такой же или более экстремальный результат при условии, что никакого эффекта нет.

Если p-value < 0.05, эффект считается статистически значимым.

Почему часто всё усложняют

Главный аргумент против t-теста звучит так: «Данные не распределены нормально, значит t-test некорректен». Но на самом деле это не так.

T-test опирается не на нормальность исходных данных, а на нормальность распределения выборочного среднего.

А оно, согласно центральной предельной теореме, стремится к нормальному при достаточно большой выборке — вне зависимости от того, как распределены сами данные.

На практике при выборке от 1000 наблюдений на группу это условие выполняется почти всегда. А в большинстве продуктовых A/B-тестов выборки именно такого размера или больше.

Однако не стоит пихать t-test во все возможные эксперименты. Иногда он может и не подойти.

Когда t-test действительно не подходит

T-test работает плохо в нескольких ситуациях:

➖ Очень маленькие выборки (до 30 наблюдений на группу). В этом случае ЦПТ ещё не работает в полную силу.

➖ Метрика с экстремальными выбросами — например, выручка, где один крупный платёж может сильно сдвинуть среднее. В таком случае имеет смысл либо сглаживать выбросы и перепроверять результаты тестом Манна-Уитни.

➖ Бинарные метрики с очень низкой конверсией — в этом случае лучше работает z-test для пропорций, хотя при больших выборках разница минимальна.

Во всех остальных случаях t-test справляется.

Зачем тогда все эти сложные методы?

Они решают конкретные задачи — и только их. CUPED снижает дисперсию и позволяет быстрее набрать нужную выборку. Bootstrap помогает строить доверительные интервалы для нестандартных метрик. Линеаризация помогает работать с Ratio-метриками.

Это полезные инструменты. Но они не отменяют t-test, а дополняют его в нестандартных случаях. Браться за них только потому, что «так серьёзнее» — это усложнение ради усложнения. А усложнение ради усложнения в аналитике стоит дорого: дольше согласование, сложнее объяснить бизнесу, выше риск ошибки в реализации.

Простой инструмент, применённый правильно, лучше сложного, применённого без понимания.

➡️ Записаться на курс по A/B-тестам: simulative.ru/ab-test

📈 Симулейтив | ВК | YouTube

Только 12 и 13 апреля — космические -35% на аналитику! 🚀

В космонавтике без аналитиков никуда. Спутниковые данные, траектории полётов, телеметрия, прогнозы перегрузок — всё это огромные массивы информации, которые нужно обрабатывать, визуализировать и интерпретировать. Именно аналитики помогают принимать точные решения на Земле и за её пределами.

Хотите освоить профессию, востребованную как в аэрокосмической отрасли, так и в любом бизнесе? Время решаться!

📉 До -35% на все курсы Симулейтив (кроме тренингов и программ магистратуры).
⏳ Акция действует всего два дня: 12 и 13 апреля.

Успейте взять курс по аналитике, визуализации данных или data science с выгодой до 35% и не упустите шанс выйти на новую орбиту!

👉 Оставить заявку: simulative.ru/web-cosmos-offer-book

📈 Симулейтив | ВК | YouTube

Зачем нужны временные ряды?

Всем привет, я Павел Беляев, ведущий канала Тимлидское об аналитике и автор нового курса Симулейтив «Временные ряды» 👋🏻

Почему эта тема всегда актуальна для любого аналитика? Очевидно, потому что большая часть данных представляет собой упорядоченные во времени последовательности значений, то есть, собственно, временные ряды! И умение легко обращаться с их свойствами и методами их обработки — необходимый навык в нашем деле.

Вот лишь несколько типовых направлений использования временных рядов.

➖ Визуализация и изучение исторической динамики
Выявление трендов, сезонных патернов и даже исследование случайного шума помогает не только ориентироваться в ситуации, но и набрести на ценные инсайты.

➖ Мониторинг качества данных
Например, сравнение каждого значения метрики со скользящим средним позволяет обнаруживать локальные выбросы и вовремя инициировать инциденты. Существуют и более изощрённые и точные способы детекции аномалий.

➖ Прогнозирование
Руководители-заказчики крайне интересуются, как будут чувствовать себя в будущем финансовые показатели, кто из клиентов оттечёт, как вырастет нагрузка на техподдержку и т. д. Ведь им нужно планировать, учитывать риски, подготавливать необходимые ресурсы. Временные ряды позволяют делать такие предсказания.

➖ Взаимное влияние разных процессов
Если рассматривать изменение нескольких величин на одной и той же временной шкале, можно считать этот процесс многомерным временным рядом. Тогда можно вычислить степень взаимосвязи этих метрик, а значит, найти способ управлять одним целевым параметром, изменяя другие. Такое знание дорогого стоит!

Методы анализа временных рядов позволяют отделить реальный сигнал от шума, понять, что именно движет вашими данными, и строить прогнозы, которым можно доверять.

Этому и посвящён наш новый курс. Мы разберём всё: от базовой визуализации и проверки стационарности до прогнозирования на Prophet с густой насыщенной практикой в Python.

➡️ Записаться на курс: simulative.ru/time-series

📈 Симулейтив | ВК | YouTube

Через пару часов начинаем вебинар о data science

Напомним, что с Марией Жаровой разложим по полочкам профессию дата-сайентиста — разберёмся в терминах, поговорим о спросе на рынке, требованиях к джунам. И конечно, попрактикуемся — построим модели прогнозирования оттока на реальных данных.

🔔 Зарегистрироваться

📈 Симулейтив | ВК | YouTube

Привет! На связи Валерия Елпатьевская, инженер данных в Альфа Банке и ментор одноимённого курса Симулейтив 👋🏻

Мой путь начался не в IT: филология, преподавание, потом Data Science. Но быстро поняла, что без инженерной базы далеко не уедешь. Пошла разбираться в очередях, оркестрации и архитектуре… и как-то незаметно стала Data Engineer.

Пока вкатывалась в роль, думала, что ничего не понимаю. А через полгода уже объясняла коллегам, как всё работает. На этом пути усвоила 4 урока, которые точно помогут не сдаться:

Урок № 1. Никогда не будет всё понятно. Научитесь кайфовать от этого

Я уже несколько лет пишу код и знаю десятки инструментов, но каждый раз находится тема, которую приходится изучать с нуля. И каждый раз «ничего не понятно». Если сейчас чувствуете то же самое — добро пожаловать в IT!

Плохая новость: это не пройдёт. Хорошая: именно поэтому вы будете чувствовать себя на вершине, когда разберётесь. Но ровно до следующей задачи. Чем раньше примете это, тем меньше шанс выгореть.

Урок № 2. Не стыдно чего-то не знать

На созвоне или в чате обязательно будет момент, когда кто-то бросит термин, а вы вообще не поймёте, о чём речь. Человек звучит так уверенно, что кажется «боже, как стыдно не знать». Спойлер: не стыдно. Спрашивайте. Уточняйте. Никто не подумает о вас плохо. Плохо думают о тех, кто делает вид, что понял, а потом ломает прод.

Урок № 3. Никто на самом деле ничего не знает

В начале кажется, что все вокруг гении, а вы попали сюда случайно. Но это синдром самозванца. Вы всегда будете работать с равными: у них просто другие компетенции. Лучшее лекарство — задавать вопросы и делиться тем, что изучил сам. Даже если кажется, что «все это знают». Скорее всего, половина чата впервые это слышит.

Урок № 4. Нейросеть архитектуру не придумает

Сейчас везде кричат, что LLM напишет код за вас. И правда напишет! Только вам же потом придётся его рефакторить и чинить в проде. Круто отдавать моделям рутину или устраивать брейншторм.

Но архитектура решения, дизайн пайплайна, выбор инструментов — это ваша зона ответственности. Вы должны точно понимать, что и зачем делаете. Не делегируйте это ИИ, иначе прод упадёт, а разбираться всё равно вам.

Если откликается, ставьте реакции и пишите в комментариях, где вы сейчас, какая цель и что больше всего бесит в текущих задачах/обучении?

😶 А кому интересно почитать мою большую статью о «войти в айти», добро пожаловать на Хабр: https://habr.com/ru/companies/lanit/articles/842136

📈 Симулейтив | ВК | YouTube

Как одна «незначительная» фича сломала модель в бою

Привет! На связи Мария Жарова, ментор курсов «ML-инженер» и «Дата-сайентист» 👋🏻

Хочу поделиться кейсом, который хорошо показывает, как «безобидный» признак может неожиданно повлиять на модель.

Мы решали задачу предсказания оттока пользователей. Классическая история: табличные данные, градиентный бустинг, аккуратный пайплайн, валидация — всё как надо. На кросс-валидации модель давала стабильный прирост к бейзлайну, метрики выглядели уверенно.

Перед выкаткой решили добавить ещё одну фичу — «время последнего действия пользователя». На первый взгляд, абсолютно логичный и даже полезный признак. После добавления метрика на валидации ещё немного подросла — казалось бы, идеальный кандидат в прод.

Но через несколько дней после выкатки метрики в проде поползли вниз… Сначала думали на данные, потом на инфраструктуру, потом на сдвиг распределений — но оказалось, дело в одной фиче! Как раз «время последнего действия» в обучении считалось относительно фиксированной даты (условно, «срез данных на момент выгрузки»). А в проде — относительно текущего времени.

Звучит безобидно, но по факту:
➖ в обучении модель видела, что«“клиент давно не заходил» — это, например, 30 дней;
➖ в проде это же значение могло стать 60, 90 и т. д., потому что время идёт, а логика пересчёта не была синхронизирована.

В результате распределение признака в проде уплыло относительно train, и модель начала получать значения, которых «не видела» на обучении — поэтому предсказания поехали.

Более того, этот признак оказался одним из самых важных — модель сильно на него опиралась, и даже небольшая логическая несостыковка дала ощутимый эффект.

Поэтому всегда имейте в виду:
😶 Любая фича, завязанная на время — почти всегда источник проблем, если не продумана логика её расчёта в проде;
😶 Важно проверять не только код обучения, но и код генерации признаков для прода — они должны быть идентичны по смыслу;
😶 Полезно смотреть на распределения признаков: train vs prod, хотя бы на базовом уровне;
😶 Если фича становится топ-важной — к ней должно быть повышенное внимание, потому что именно она может «уронить» модель.

И да, чаще всего модель ломает не сложная математика, а такие вот мелочи, которые сначала кажутся очевидными.

Сохраняйте, чтобы не наступить на те же грабли!

⬆️ Ментор курса «Аналитик данных» Евгений Буторин отвечает на вопрос, какие навыки будут полезны аналитику для работы в финтехе.

➡️ Всё необходимое для работы даём на курсе, записывайтесь: simulative.ru/data-analyst

📈 Симулейтив | ВК | YouTube

🔥 Большой эфир по временным рядам

Если вы работаете с данными, которые меняются со временем — поздравляю, вы уже работаете с временными рядами. Методы анализа временных рядов позволяют отделить реальный сигнал от шума, понять, что именно движет вашими данными, и строить прогнозы, которым можно доверять.

Вместе с Павлом Беляевым, руководителем группы дата-аналитиков в Яндекс eLama и автором курса «Временные ряды», разберём на мастер-классе ключевые задачи временных рядов в аналитике. Отдельно поговорим о декомпозиции и фильтрации: зачем они нужны, как применяются и где чаще всего ошибаются.

И конечно, не обойдётся без практики: вместе с вами сядем и плотно попитоним в прямом эфире 😁

Если вы хотите увереннее работать с динамикой метрик, лучше понимать поведение данных и не путать сигнал с шумом, ждём вас на мастер-классе!

😶 20 апреля в 19:00 МСК
😶 Зарегистрироваться на мастер-класс

📈 Симулейтив | ВК | YouTube

Прокачиваем навыки аналитика: топ платформ для практики SQL, Python и анализа данных

Привет, коллеги! С вами снова Евгений Буторин, ментор курса «Аналитик данных» 👋🏻

Если вы готовитесь к собеседованиям на позицию аналитика, то просто читать теорию мало — нужна практика на реальных задачах. Вот моя личная подборка платформ, которые реально помогают прокачать хард скилы:

1️⃣ Leetcode. Классика. Раздел Database + SQL — must-have. Плюс куча задач на Python (pandas, data manipulation). Отлично готовит к FAANG и российским продуктовым компаниям.

2️⃣ HackerRank. Есть отдельный трек Analytics и SQL. Задачи часто берут прямо из реальных интервью. Удобно отслеживать прогресс. Дополнительно можно получить сертификат.

3️⃣ StrataScratch. Один из моих фаворитов для аналитиков. Более 1000 SQL-задач из реальных интервью в Amazon, Meta, Netflix и т. д. Есть разделение по уровню сложности и по компаниям.

4️⃣ DataLemur. Ещё один топ для SQL-аналитиков. Задачи заточены именно под data-роли, много оконных функций и бизнес-кейсов.

5️⃣ Kaggle. Когда хочется не просто SQL, а полноценный анализ данных: датасеты, notebooks, соревнования. Идеально для портфолио.

😶 А между делом — обязательно загляните на IT Resume. Там не только практические задания по аналитике и SQL, но и инструмент, который помогает сразу превратить прокачанные навыки в сильное IT-резюме.

Делитесь в комментариях своими любимыми платформами для тренировки навыков аналитика 👇🏻

📈 Симулейтив | ВК | YouTube

⚡️ Мастер-класс по временным рядам: скоро начинаем!

Присоединяйтесь к эфиру в 19:00 МСК, где вместе с Павлом Беляевым разберём ключевые задачи временных рядов в аналитике. А также порешаем реальные задачи по временным рядам на Python:

➡️ Регистрация

📈 Симулейтив | ВК | YouTube

🔥 Для тех, кто не успел: повтор мастер-класса по временным рядам

Сегодня в 13:00 и 19:00 по МСК вы сможете посмотреть эфир с Павлом Беляевым и узнать все тонкости построения временных рядов в аналитике, а также познакомиться с нашим курсом «Временные ряды». Много практики гарантируем 😎

➡️ Присоединяйтесь к эфиру

📈 Симулейтив | ВК | YouTube

Мифы о t-тесте Стьюдента на практике

Привет, на связи Аслан Байрамкулов, автор курса по A/B-тестированию 👋🏻

«А t-тест ещё используют или уже всё?» — этот вопрос мне задают с завидной регулярностью. Короткий ответ: используют. Длинный интереснее, потому что вокруг него наросло изрядно мифов.

Главная путаница вот в чём. Фраза «мы перестали использовать t-тест» у разных людей значит две совершенно разные вещи, и их надо развести.

В 9 случаях из 10 она значит примерно: «Раньше мы гнали сырые данные прямо в t-тест, а теперь не гоним». И дальше начинается набор красивых слов — линеаризация, CUPED, поправки на множественность. Это не является заменой t-тесту, а всего лишь препроцессинг. В конце пайплайна всё равно может стоять t-тест, просто входные данные у него больше не сырые, а обработанные тем или иным подходом.

И в одном случае из 10 речь идёт о настоящей альтернативе — когда t-тест в принципе не отвечает на ваш вопрос. Вот этот случай уже серьёзный.

👉 Самая банальная история: человек мерит CTR и использует показы одного пользователя как независимые наблюдения. t-тест в этом случае занижает дисперсию, уровень ошибок уезжает вверх, и мы всё чаще находим эффекты там, где их нет.

👉 CUPED из той же серии. У вас есть история пользователя до эксперимента, она предсказывает его поведение в тесте. Вычитаем предсказуемую часть дисперсии, и мощность вырастает на 30-50 и порой более %. Но после CUPED всё равно стоит t-тест, и это тот же самый t-тест. Говорить «я заменил t-тест на CUPED» — примерно как сказать «я заменил двигатель на зимнюю резину».

👉 Подглядывание. В разных компаниях есть любители смотреть метрики каждый день и останавливать тест «когда p-value < 0.05», и реальный уровень ошибок уезжает к 20-30 и более % вместо заявленных 5%. Но это не баг t-теста. Это множественное тестирование во времени: вы фактически запускаете десятки тестов на накапливающихся данных. Одно из решений — последовательные методы в A/B тестировании. Но формулировка тут важная: корректируется не сам тест, а то, как вы пользуетесь его p-value.

Что касается кейсов, где t-тест действительно не подходит, то может они встречаются не столь часто, но они серьёзные. Разберу три.

☝🏻 Тяжёлые хвосты. Если вы измеряете выручку, и 1% пользователей приносит половину денег, t-тест на среднем почти бесполезен. Среднее здесь — это в основном шум от того, какой «кит» в какую группу попал. Реальный эффект в +5% на 99% пользователей спокойно прячется за одного случайного аномального клиента.

Что с этим можно делать: применять винсоризацию, логарифмирование и бутстрап для квантилей. А часто и нечто более радикальное — сменить саму метрику: мерить медиану, конверсию в платящего, ARPPU с ограничением сверху.

☝🏻 Исходные вопросы не про среднее. «Сдвинулась ли 90-я перцентиль времени загрузки?», «Изменилась ли медиана retention?». t-тест на эти вопросы просто не отвечает — он проверяет гипотезу о среднем значении, а нас могут интересовать хвост или медиана. Здесь больше помогут бутстрап и перестановочные тесты.

☝🏻 Гетерогенность. t-тест отвечает только на вопрос «сработало ли в среднем». В реальности может быть +3% в среднем, но при этом +8% на новичках и -5% на активных. И при масштабировании воздействия на всю аудиторию вы потеряете самых ценных клиентов. Никто не свяжет это с A/B-тестом, потому что «тест был положительный». Тут уже на помощь приходят мета-модели, причинные леса, аплифт-подходы.

Таким образом, «мы отказались от t-теста» — часто миф. В большинстве случаев это значит «перестали применять его на сырых данных as is», и это про грамотный пайплайн, а не про смену инструмента. Там, где t-тест действительно не подходит — есть честные альтернативы, и их стоит иметь в виду.

Не путайте эти 2 типа случаев. t-тест жив, нужно просто понимать, что он умеет, а что нет.

Если хотите разобраться более детально с этими и многими другими вопросами, то приглашаю вас на мой авторский курс, где эти темы подробно изложены в соответствующих разделах.

🟠 Записывайтесь на курс, стартуем уже в пятницу, 24 апреля: simulative.ru/ab-test

📈 Симулейтив | ВК | YouTube

Выжмите максимум от учёбы 🔥

У нас акция! Записывайтесь до 30 апреля на курсы «Аналитик данных» или «Фуллстек-аналитик» и получите в подарок один из наших популярных тренингов на выбор: 

👑 Курс Павла Беляева «Временные ряды»
👑 Курс Аслана Байрамкулова «A/B-тестирование»
👑 Тренинг Андрона Алексаняна «Как делать аналитику»

И напоминаем, что у нас есть опция отложенного платежа — вы можете начать учиться сейчас, а первый платеж отсрочить на 3 или 6 месяцев.

➡️ Выбирайте курс, на который хотите записаться: simulative.ru

📈 Симулейтив | ВК | YouTube

Один день из жизни аналитика в Альфа-Банке

Привет, коллеги! С вами снова Евгений Буторин, ментор курса «Аналитик данных» 👋🏻

Я руковожу отделом CRM-аналитики в Альфа-Банке, который занимается развитием клиентской базы. Наша команда стоит из 11 человек, включая меня, и делится на 3 направления, каждое из которых делится на поднаправления.

У нас довольно классический Agile-подход: работаем спринтами (обычно одна неделя), всё планируем и отслеживаем в Jira. Используем канбан-доску, чтобы видеть поток задач в реальном времени.

Как устроен наш процесс?

На доске есть основные этапы:
➖ Backlog (бэклог) — сюда попадают все идеи и запросы от бизнеса;
➖ To Do — задачи, которые мы отобрали в спринт, приоритизировали и подготовили (с чётким описанием и критериями приёмки);
➖ In Progress — задачи в работе;
➖ Review — задачи на проверке;
➖ Modification — задачи на доработке (если в ходе проверки были выявлены недочёты);
➖ Done — задача закрыта, метрики посчитаны, рекомендации внедрены или переданы заказчику.

Какие задачи мы делаем?

🔸 Анализ эффективности CRM-кампаний и триггерных коммуникаций;
🔸 A/B-тесты гипотез по удержанию, активации и росту клиентской базы;
🔸 Построение сегментаций и когортных анализов;
🔸 Расчёт uplift, retention, LTV и других ключевых метрик;
🔸 Ad-hoc запросы от бизнеса (например, выяснить причину снижения просмотров баннеров);
🔸 Автоматизация отчётов и дашбордов, чтобы меньше времени уходило на рутину.

3 раза в неделю внутри каждого направления у нас проходит дейлики, где мы обсуждаем, над какими задачами сейчас работаем, укладываемся ли в срок, есть ли проблемы, нужно ли изменение приоритетов.

Также раз в неделю в нас проходит ретро, где мы собираемся всей командой, обсуждаем новости, проблемы с данными, делимся находками и фишками.

Сами спринты формируем в рамках встреч с заказчиками по пятницам.

Работаем мы в основном удалённо, но также каждый может по своему желанию посетить офис и встретиться с коллегами.

Расскажите в комментариях, как устроен ваш рабочий день? И если есть вопросы про работу в Альфе, пишите 👇🏻

📈 Симулейтив | ВК | YouTube

Подборка для начинающих аналитиков

Привет, друзья! На связи Евгений Буторин, ментор курса «Аналитик данных» 👋🏻

Если вы только входите в аналитику и хотите дополнить свои знания и пополнить стек, вот моя личная подборка из проверенных ресурсов. Всё доступно, практично и без лишней воды. Я сам слушаю эти подкасты и когда-то они мне очень помогли.

Книги (не пытайтесь читать сразу всё, читайте постепенно)

📕 Чарльз Уилан «Голая статистика»
Лучший старт, чтобы понять, зачем вообще нужна статистика. Без формул-страшилок, с реальными примерами из жизни. После неё перестаёшь бояться «средних значений» и p-value. Идеально для новичков.

📗 Владимир Савельев «Статистика и котики»
Юмор + котики + основы статистики (дисперсия, t-критерий, критерии Манна-Уитни). Читается за вечер, а знания остаются надолго. Самый «вкусный» вход в тему.

📘 Уэс Маккинни «Python и анализ данных»
Библия для тех, кто хочет сразу работать с данными. Pandas, NumPy, визуализация — всё по делу. Качественный русский перевод, много практики.

📙 Роман Зыков «Роман с Data Science. Как монетизировать большие данные»
Российский взгляд: как данные зарабатывают деньги в бизнесе. Легко, с примерами из нашей реальности. Отлично дополняет технические книги.

📕 Джоэл Грас «Data Science. Наука о данных с нуля»
Простой и понятный обзор всей профессии: от сбора данных до первых выводов. Без сложной математики на старте.

Подкасты (слушайте в дороге или на прогулке)

Все на русском, выходят регулярно, есть на Яндекс Музыке:

🎙 «Это считается» (от Т-Банка) — будни продуктовых аналитиков. Метрики, A/B-тесты, реальные кейсы.
🎙 «Дайте данных» — аналитика + маркетинг + ML. Очень живо и по делу.
🎙 GetAnalyst (подкаст для системных и бизнес-аналитиков) — задачи, зоны ответственности, как аналитик помогает IT-команде.
🎙 Machine Learning Podcast — всё про ML и data-аналитику, но доступно даже новичкам.
🎙 Ещё советую «Ноль-один» и Data Coffee — для тех, кто хочет понять, как искать работу и проходить собеседования.

Статьи и бесплатные ресурсы

✍🏻 Раздел «Аналитика» на Habr.com — сотни статей от практикующих аналитиков. Начните с «Как стать аналитиком данных с нуля?» и бесплатной программы обучения.
✍🏻 Telegram-каналы: ищите Data New Gold, настенька и графики, Rafalytics — там ежедневные кейсы и лайфхаки.
✍🏻 И конечно, подписывайтесь на канал Симулейтив и читайте блог!

Что добавите в свою подборку или что сейчас читаете/слушаете вы? Делитесь в комментариях!

📈 Симулейтив | ВК | YouTube

Когда switchback не нужен?

Если воздействие локально на пользователя и не влияет на соседей — новая кнопка, другой шрифт, перестановка блоков. Здесь обычный A/B работает корректно. Switchback тут только съест мощность.

Когда switchback — единственный правильный выбор?

Прайсинг в екоме, такси, доставка, шеринг-сервисы, правила комиссии, supply-side оптимизации. Всё, что меняет равновесие рынка, а не только поведение конкретного юзера.

Поделюсь с вами кейсом из своей практики. Команда тестировала новую формулу цены классическим A/B, получила p-value = 0.32, списала на отсутствие эффекта. Через полгода перезапустили этот же вариант в парадигме switchback, и обнаружили эффект +1.5% по выручке с интервалом ±0.6%. Первый тест «ничего не нашёл» не из-за отсутствия эффекта, а из-за интерференции: контрольная группа получала шум от тестовой группы через общий рынок.

Таким образом, switchback — честный дизайн для случаев, где A/B как инструмент не годится. Знать, что он существует, и уметь различать, когда он нужен, — навык, который окупается первым же сохранённым решением.

В моем курсе switchback — одна из тем, которой я уделяю особое внимание от дизайна ячеек и выбора длины окна до кластерного анализа и разбора реальных кейсов. Приглашаю вас в этот совместный путь, запуск уже сегодня!

🚇 Забежать в последний вагон: simulative.ru/ab-test

📈 Симулейтив | ВК | YouTube

[Вебинар] Fullstack-аналитик: почему компаниям больше не нужны «узкие» специалисты

Рынок аналитики меняется — компании всё чаще ищут специалиста, который закроет задачу от сырых данных до готового решения для бизнеса. Fullstack-аналитик — это ответ на рост требований к скорости и качеству. Но как им стать и что реально нужно уметь?

На вебинаре с Ильей Ковалёвым разберём, почему классическое деление на аналитиков, инженеров данных и BI-специалистов уходит в прошлое. Поговорим о том, какие задачи теперь ложатся на одного человека и за что бизнес готов платить больше, а за что нет. И главное — покажем на примерах, как перестать быть просто оператором инструментов и начать приносить реальную ценность.

На вебинаре расскажем:
➖ Как выросли требования к аналитикам за последние 2–3 года;
➖ Почему бизнесу нужен человек, который понимает данные, умеет общаться с бизнесом и может сам собрать решение;
➖ Примеры задач, которые раньше делали 3 человека, а теперь один;
➖ Главные ошибки новичков.

❗️ 27 апреля, 19:00 МСК
😶 Зарегистрироваться на вебинар

📈 Симулейтив | ВК | YouTube

SQL для собеседований: как решать задачи с оконными функциями

Сегодня рассмотрим реальные кейсы с собеседований по SQL — задачи с оконными функциями.

Что будем разбирать?
✅ Кейс 1 — ранжирование данных;
✅ Кейс 2 — кумулятивные продажи по регионам;
✅ Кейс 3 — скользящее среднее за 7 дней;
✅ Кейс 4 — доля продукта в категории.

Эти задачи часто встречаются на собеседованиях, и понимание оконных функций (PARTITION BY, ROWS, RANK) — ключ к их решению. С помощью задач вы быстрее освоите сложные запросы и сможете отвечать на вопросы типа: «Как рассчитать среднюю продажу за неделю?» или «Как найти топ-продукты?».

👉 Получить материал

📈 Симулейтив | ВК | YouTube