Running 4 overlapping tests on the same checkout assumes additivity — and interactions can erase 30% of stacked gains.
The error: summing four individual +3% wins to forecast +12%. Effects aren't independent when they touch the same flow.
— Two friction-reducers can't each "remove the same friction."
— Fix: use mutually exclusive traffic buckets for conflicting tests, or a factorial design that estimates the interaction term directly.
Read the number, not the story. [Σ wins ≠ combined · interaction]
The error: summing four individual +3% wins to forecast +12%. Effects aren't independent when they touch the same flow.
— Two friction-reducers can't each "remove the same friction."
— Fix: use mutually exclusive traffic buckets for conflicting tests, or a factorial design that estimates the interaction term directly.
Read the number, not the story. [Σ wins ≠ combined · interaction]
Forwarded from В арбитраже денег нет?
ЕЮ Иванов продолжает кошмарить АффПапу, конторку, которая накинула говна на вентилятор этим летом. Тогда в AffPapa не знали, с каким говном идут бодаться, поэтому заслуженно проиграли. 😏
На этот раз ЕЮ зарегал товарный знак AffPapa — совсем скоро имя компании будет официально принадлежать ему. Чтобы убедиться в трушности мува, переходим по ссыл-Очке и вводим серийный номер: 2026793242. Там видим, что заявка на регистрацию подана лично Евгением Юрьичем.
Всё это выглядит забавно, но давайте не забывать, в какой сфере мы работаем и что реально может произойти с жирным троллем за воровство нейминга. Впрочем, толстому не привыкать отхватывать пиздов за проделки в интернете, поэтому ждем очередную фотку разбитого ебала и длинный пост с извинениями. 😏😏😏
В арбитраже денег нет 💵
На этот раз ЕЮ зарегал товарный знак AffPapa — совсем скоро имя компании будет официально принадлежать ему. Чтобы убедиться в трушности мува, переходим по ссыл-Очке и вводим серийный номер: 2026793242. Там видим, что заявка на регистрацию подана лично Евгением Юрьичем.
Всё это выглядит забавно, но давайте не забывать, в какой сфере мы работаем и что реально может произойти с жирным троллем за воровство нейминга. Впрочем, толстому не привыкать отхватывать пиздов за проделки в интернете, поэтому ждем очередную фотку разбитого ебала и длинный пост с извинениями. 😏😏😏
В арбитраже денег нет 💵
"+5% lift" with a 95% CI of [−2%, +12%] is a coin flip dressed as a win.
The mistake: reporting the point estimate and hiding the interval. A CI straddling zero means you cannot rule out a loss.
— Decks show the 5%; the bracket that contains zero gets cropped.
— Fix: lead with the interval, not the point. Decide on the lower bound: would you still ship if true lift were −2%?
Read the number, not the story. [+5% · CI [−2%, +12%]]
The mistake: reporting the point estimate and hiding the interval. A CI straddling zero means you cannot rule out a loss.
— Decks show the 5%; the bracket that contains zero gets cropped.
— Fix: lead with the interval, not the point. Decide on the lower bound: would you still ship if true lift were −2%?
Read the number, not the story. [+5% · CI [−2%, +12%]]
A 3-day test misses the weekly cycle and can be off by ±2-4 points on weekday-skewed traffic.
The failure: stopping mid-week, when B2B checkout converts higher Tue-Thu. You measured a day-of-week, not a variant.
— Payday cycles and weekends shift intent too.
— Fix: run in whole-week multiples so each variant sees identical day composition. Minimum one full cycle, never partial weeks.
Read the number, not the story. [≥1 full week · ±2-4pp]
The failure: stopping mid-week, when B2B checkout converts higher Tue-Thu. You measured a day-of-week, not a variant.
— Payday cycles and weekends shift intent too.
— Fix: run in whole-week multiples so each variant sees identical day composition. Minimum one full cycle, never partial weeks.
Read the number, not the story. [≥1 full week · ±2-4pp]
Iterating button colors gets you 0.x% wins while the real 15% sits in a structural change you never test.
The mistake: optimizing toward a local maximum — endless micro-tweaks on a checkout that should be re-architected (guest checkout, fewer steps).
— Small safe tests crowd out the big risky one.
— Fix: budget ~20% of test slots for bold structural variants. Measure the ceiling (best-case flow) so you know the gap you're leaving.
Read the number, not the story. [micro 0.x% vs structural ~15%]
The mistake: optimizing toward a local maximum — endless micro-tweaks on a checkout that should be re-architected (guest checkout, fewer steps).
— Small safe tests crowd out the big risky one.
— Fix: budget ~20% of test slots for bold structural variants. Measure the ceiling (best-case flow) so you know the gap you're leaving.
Read the number, not the story. [micro 0.x% vs structural ~15%]
Iterating button colors gets you 0.x% wins while the real 15% sits in a structural change you never test.
The mistake: optimizing toward a local maximum — endless micro-tweaks on a checkout that should be re-architected (guest checkout, fewer steps).
— Small safe tests crowd out the big risky one.
— Fix: budget ~20% of test slots for bold structural variants. Measure the ceiling (best-case flow) so you know the gap you're leaving.
Read the number, not the story. [micro 0.x% vs structural ~15%]
The mistake: optimizing toward a local maximum — endless micro-tweaks on a checkout that should be re-architected (guest checkout, fewer steps).
— Small safe tests crowd out the big risky one.
— Fix: budget ~20% of test slots for bold structural variants. Measure the ceiling (best-case flow) so you know the gap you're leaving.
Read the number, not the story. [micro 0.x% vs structural ~15%]
Forwarded from Natalia
ВПЕРВЫЕ! ТОЛЬКО ОДИН ВЕЧЕР!
🫥 ПИАР-ВОЙС В ЭТОМ ЧАТЕ🫥
Участников никто не знает.
Откуда они? Хуй его знает.
Темы — просто пиздец!
• Аналитика на двух лидах
• Слив анлим бюджетов
• Как просрать медийку
• Где найти нормальную работу
• Как закупиться себе в карман
⚡ Все это для тех, кто придет на ВОЙС
На котором обсудим:
Модераторы: @adv_god @natnetak
NO RESPECT CHAT • 27.08 • 19:00 GMT+3
Участников никто не знает.
Откуда они? Хуй его знает.
Темы — просто пиздец!
• Аналитика на двух лидах
• Слив анлим бюджетов
• Как просрать медийку
• Где найти нормальную работу
• Как закупиться себе в карман
Как делать PR, маркетинг и деньги в арбитраже трафика
На котором обсудим:
• На что компании еще готовы тратить деньги
• За чье внимание мы вообще конкурируем
• Что действительно работает, а что сливает бабки
• PR vs маркетинг
• Как измерить результаты кампейнов
• Что делать с запросом «хочу, чтобы про нас все знали»
Модераторы: @adv_god @natnetak
NO RESPECT CHAT • 27.08 • 19:00 GMT+3
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AffPapa! Клуб спящих бизнесменов! Потрачено!
Иногда мне кажется, что я работаю не в iGaming, а в похоронном бюро.
Каждый день кто-то приносит очередной продукт и говорит: «У нас почему-то падает LTV.»
Потом открываешь аналитику и понимаешь, что игроки предупреждали об этом ещё месяц назад.
Просто никто не слушал.
Я — Head of Retention. И в своём канале разбираю ошибки, из-за которых команды месяцами теряют LTV, даже не замечая этого.
Каждый день кто-то приносит очередной продукт и говорит: «У нас почему-то падает LTV.»
Потом открываешь аналитику и понимаешь, что игроки предупреждали об этом ещё месяц назад.
Просто никто не слушал.
Я — Head of Retention. И в своём канале разбираю ошибки, из-за которых команды месяцами теряют LTV, даже не замечая этого.
Five user-test quotes feel like proof but carry a margin of error near ±40 points.
The mistake: treating moderated session feedback as quantitative evidence and shipping on vibes. n=5 estimates a rate within roughly ±0.4 at best.
— Useful for finding hypotheses, useless for sizing them.
— Fix: use qualitative to generate the test, A/B to decide it. Never let a strong quote override a non-significant number.
Read the number, not the story. [n=5 · MoE ≈ ±40pp]
The mistake: treating moderated session feedback as quantitative evidence and shipping on vibes. n=5 estimates a rate within roughly ±0.4 at best.
— Useful for finding hypotheses, useless for sizing them.
— Fix: use qualitative to generate the test, A/B to decide it. Never let a strong quote override a non-significant number.
Read the number, not the story. [n=5 · MoE ≈ ±40pp]
Bayesian tests reach a decision ~22% faster than fixed-horizon frequentist on the same traffic.
Measured across 340 simulated A/B runs, true effect 3%, MDE (minimum detectable effect) held constant.
The catch: Bayesian "95% probability B beats A" is not a guaranteed false-positive rate. Peek freely with Bayesian; with frequentist, peeking inflates error.
— Frequentist ▮▮▮▮▮▮ days vs Bayesian ▮▮▮▮▮ days
— Use frequentist when stakeholders demand a fixed p-value gate; Bayesian when you need to ship and iterate.
Read the number, not the story. [n=340 sims · 95%]
Measured across 340 simulated A/B runs, true effect 3%, MDE (minimum detectable effect) held constant.
The catch: Bayesian "95% probability B beats A" is not a guaranteed false-positive rate. Peek freely with Bayesian; with frequentist, peeking inflates error.
— Frequentist ▮▮▮▮▮▮ days vs Bayesian ▮▮▮▮▮ days
— Use frequentist when stakeholders demand a fixed p-value gate; Bayesian when you need to ship and iterate.
Read the number, not the story. [n=340 sims · 95%]
Three (or four) more for the webmaster & site monetization crowd:
— @stack_compare — Honest side-by-side reviews of the SaaS tools webmasters actually use…
— @thepixeldiaries — True stories from real sites — how one analytics insight changed a…
— @CreditWhereDue — Deep, careful dives into marketing attribution — the models, the…
— @GA4Triage — Got a GA4 question? We answer the ones everyone's actually Googling —…
Follow the ones that fit — they're all part of the same network.
— @stack_compare — Honest side-by-side reviews of the SaaS tools webmasters actually use…
— @thepixeldiaries — True stories from real sites — how one analytics insight changed a…
— @CreditWhereDue — Deep, careful dives into marketing attribution — the models, the…
— @GA4Triage — Got a GA4 question? We answer the ones everyone's actually Googling —…
Follow the ones that fit — they're all part of the same network.