3 weeks. Zero lift. Best test I ran all month.
Tested a $40k redesign idea on a fraction of traffic first. Beautiful new pricing page. Animations. The works.
Result: flat. Dead flat. No lift, no drop.
Sounds like a loss. It saved the company $40k. We were about to rebuild the whole page on a hunch. The test said the hunch was worthless.
Null results aren't failures. They're cheap insurance against expensive opinions.
— Test the cheap version of the big idea first
— A flat result that kills a bad roadmap item is a win
— Log your nulls, they stop future arguments
Go find the biggest "we should redesign X" opinion on your team and test it small. Report back.
Tested a $40k redesign idea on a fraction of traffic first. Beautiful new pricing page. Animations. The works.
Result: flat. Dead flat. No lift, no drop.
Sounds like a loss. It saved the company $40k. We were about to rebuild the whole page on a hunch. The test said the hunch was worthless.
Null results aren't failures. They're cheap insurance against expensive opinions.
— Test the cheap version of the big idea first
— A flat result that kills a bad roadmap item is a win
— Log your nulls, they stop future arguments
Go find the biggest "we should redesign X" opinion on your team and test it small. Report back.
Two winning tests. Ran them together. Both lost.
Rookie move I still made last month. Test A (new hero) won +7%. Test B (new pricing toggle) won +5%. Obviously stack them, right?
Stacked, the page did worse than control.
Interaction effect. The new hero promised "simple," the new pricing toggle screamed "complicated." Apart they worked. Together they fought.
Lifts don't add up. They collide.
— Don't assume winners stack
— Re-test the combo as its own variant
— Or run a multivariate test if traffic allows
Go check if your last two "wins" are even live on the same page together. Mine were canceling out. Report back.
Rookie move I still made last month. Test A (new hero) won +7%. Test B (new pricing toggle) won +5%. Obviously stack them, right?
Stacked, the page did worse than control.
Interaction effect. The new hero promised "simple," the new pricing toggle screamed "complicated." Apart they worked. Together they fought.
Lifts don't add up. They collide.
— Don't assume winners stack
— Re-test the combo as its own variant
— Or run a multivariate test if traffic allows
Go check if your last two "wins" are even live on the same page together. Mine were canceling out. Report back.
My winner won. On 12% of my traffic.
New sticky CTA bar. Overall result: +6%, significant, shipped.
Then I split by device. Desktop: +19%. Mobile: -4%.
Mobile was 70% of my traffic. The sticky bar covered the "add to cart" button on small screens. The desktop lift was so big it dragged the blended average positive and hid a mobile disaster.
The aggregate lied. Simpson's paradox in the wild.
— Always pre-register a device segment
— A blended win can hide your biggest segment losing
— Check mobile separately, every single time
Go split your last winner by device. Report back. Watch the average crumble.
New sticky CTA bar. Overall result: +6%, significant, shipped.
Then I split by device. Desktop: +19%. Mobile: -4%.
Mobile was 70% of my traffic. The sticky bar covered the "add to cart" button on small screens. The desktop lift was so big it dragged the blended average positive and hid a mobile disaster.
The aggregate lied. Simpson's paradox in the wild.
— Always pre-register a device segment
— A blended win can hide your biggest segment losing
— Check mobile separately, every single time
Go split your last winner by device. Report back. Watch the average crumble.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Российские букмекеры увеличили закуп трафика с мобильных приложений
Российские букмекеры в 1 квартале 2026 года заметно нарастили закупку трафика из мобильных приложений. На фоне ужесточения регулирования они смещают бюджеты в новые каналы, где ещё есть живой трафик.
По данным UMG, доля in-app-рекламы выросла с 3-4% до 5-6% при объёме рынка около 10 млрд рублей. Но это может быть только начало — в блоге разбираем…
➡️ Читайте на сайте: https://aff.top/blog/rossiiskie-bukmekery-uvelichili-zakup-trafika-s-mobilnykh-prilozhenii
🧠 Ещё больше инсайтов → в канале AFF.top
Российские букмекеры в 1 квартале 2026 года заметно нарастили закупку трафика из мобильных приложений. На фоне ужесточения регулирования они смещают бюджеты в новые каналы, где ещё есть живой трафик.
По данным UMG, доля in-app-рекламы выросла с 3-4% до 5-6% при объёме рынка около 10 млрд рублей. Но это может быть только начало — в блоге разбираем…
➡️ Читайте на сайте: https://aff.top/blog/rossiiskie-bukmekery-uvelichili-zakup-trafika-s-mobilnykh-prilozhenii
🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Mia Khalifa стала амбпссадором 1win
Mia Khalifa снова засветилась рядом с 1win: в Instagram она показала цепочку с логотипом бренда и статус «VIP 1win».
Параллельно всплыла история с ее ставкой на Испанию на ЧМ — по данным поста, выигрыш мог составить 200к$.
Официального подтверждения амбассадорства пока нет, но для арбитражников это уже повод для новых креативов. Что именно здесь…
➡️ Читайте на сайте: https://aff.top/blog/mia-khalifa-stala-ambpssadorom-1win
🧠 Ещё больше инсайтов → в канале AFF.top
Mia Khalifa снова засветилась рядом с 1win: в Instagram она показала цепочку с логотипом бренда и статус «VIP 1win».
Параллельно всплыла история с ее ставкой на Испанию на ЧМ — по данным поста, выигрыш мог составить 200к$.
Официального подтверждения амбассадорства пока нет, но для арбитражников это уже повод для новых креативов. Что именно здесь…
➡️ Читайте на сайте: https://aff.top/blog/mia-khalifa-stala-ambpssadorom-1win
🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from КРАВЧЕНКО
Дорогие коллеги и партнеры,
Наш маршрут конференций за последние недели, получился особенно насыщенным.
Со стендами PoshFriends мы побывали на MAC и GGate, а затем продолжили встречи уже в полях iGB Live в Лондоне.
В Ереване увиделись с любимыми SEO-командами, попробовали местные вина, обменялись новостями и зарядились энергией УБТ-команд.
В Тбилиси обсуждали тренды, новые связки и совместные планы, встречались с действующими партнерами и знакомились с новыми. А за настроение на стенде отвечала Черемша, которая чуть не стала маскотом одного из наших продуктов. С этой задачей, кажется, справилась лучше всех.
В Лондоне все было уже по-деловому. Провели серию встреч с топ-партнерами, обсудили Японию, бурж и новые точки роста. География интересов растет, планы становятся амбициознее. Воротники, как выяснилось, нагладили не зря.
Спасибо всем, с кем удалось увидеться на этом маршруте. За открытые разговоры, новые идеи, доверие и планы, которые постепенно превращаются в реальные проекты.
Конференционный сезон продолжается. Скоро увидимся снова.
Всегда ваши, Команда Posh Friends 🤝
Наш маршрут конференций за последние недели, получился особенно насыщенным.
Со стендами PoshFriends мы побывали на MAC и GGate, а затем продолжили встречи уже в полях iGB Live в Лондоне.
В Ереване увиделись с любимыми SEO-командами, попробовали местные вина, обменялись новостями и зарядились энергией УБТ-команд.
В Тбилиси обсуждали тренды, новые связки и совместные планы, встречались с действующими партнерами и знакомились с новыми. А за настроение на стенде отвечала Черемша, которая чуть не стала маскотом одного из наших продуктов. С этой задачей, кажется, справилась лучше всех.
В Лондоне все было уже по-деловому. Провели серию встреч с топ-партнерами, обсудили Японию, бурж и новые точки роста. География интересов растет, планы становятся амбициознее. Воротники, как выяснилось, нагладили не зря.
Спасибо всем, с кем удалось увидеться на этом маршруте. За открытые разговоры, новые идеи, доверие и планы, которые постепенно превращаются в реальные проекты.
Конференционный сезон продолжается. Скоро увидимся снова.
Всегда ваши, Команда Posh Friends 🤝
My win rate is 1 in 6. I'm thrilled about it.
Folks brag about their test win rate. Mine's like 16%. Five out of six things I try do nothing.
And I'm winning more than the "experts" with 80% win rates.
Because they only test obvious safe stuff that barely moves the needle. I run 4 tests a week. Most flop. But one big flop-or-fly bet a month moves more revenue than their whole "reliable" quarter.
Velocity beats accuracy. Volume of shots beats a high free-throw percentage when the swings are big.
— Count tests shipped per month, not win rate
— A high win rate means you're testing boring things
— Go bigger, fail more, ship faster
Go count how many tests you launched last month. Under 4? Report back, let's fix that.
Folks brag about their test win rate. Mine's like 16%. Five out of six things I try do nothing.
And I'm winning more than the "experts" with 80% win rates.
Because they only test obvious safe stuff that barely moves the needle. I run 4 tests a week. Most flop. But one big flop-or-fly bet a month moves more revenue than their whole "reliable" quarter.
Velocity beats accuracy. Volume of shots beats a high free-throw percentage when the swings are big.
— Count tests shipped per month, not win rate
— A high win rate means you're testing boring things
— Go bigger, fail more, ship faster
Go count how many tests you launched last month. Under 4? Report back, let's fix that.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Короткий домен Telegram перестал работать
Telegram лишился домена t.me: он разделегирован и больше не работает на уровне регистратора. Платформа срочно переезжает на telegram.me, а владельцам крупных каналов стоит обновить публичные ссылки. Сроки восстановления неизвестны, и есть риск, что t.me не вернётся вовсе на фоне давления на Telegram.
➡️ Читайте на сайте: https://aff.top/blog/korotkii-domen-telegram-perestal-rabotat
🧠 Ещё больше инсайтов → в канале AFF.top
Telegram лишился домена t.me: он разделегирован и больше не работает на уровне регистратора. Платформа срочно переезжает на telegram.me, а владельцам крупных каналов стоит обновить публичные ссылки. Сроки восстановления неизвестны, и есть риск, что t.me не вернётся вовсе на фоне давления на Telegram.
➡️ Читайте на сайте: https://aff.top/blog/korotkii-domen-telegram-perestal-rabotat
🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Youtube тестирует поиск с AI
YouTube начал тестировать Ask YouTube — поиск с ИИ, где можно задавать вопросы обычным языком и получать не список ссылок, а готовую подборку видео и фрагментов.
Фича уже доступна в США и работает на сложные запросы: если нужно, ИИ уточняет вопрос и подсказывает следующий шаг.
Что это значит для поиска на YouTube и когда новинка дойдёт до других…
➡️ Читайте на сайте: https://aff.top/blog/youtube-testiruet-poisk-s-ai
🧠 Ещё больше инсайтов → в канале AFF.top
YouTube начал тестировать Ask YouTube — поиск с ИИ, где можно задавать вопросы обычным языком и получать не список ссылок, а готовую подборку видео и фрагментов.
Фича уже доступна в США и работает на сложные запросы: если нужно, ИИ уточняет вопрос и подсказывает следующий шаг.
Что это значит для поиска на YouTube и когда новинка дойдёт до других…
➡️ Читайте на сайте: https://aff.top/blog/youtube-testiruet-poisk-s-ai
🧠 Ещё больше инсайтов → в канале AFF.top
Added a plan nobody buys. Sales went up.
Pricing test this week. Three tiers: $19, $49. Conversions on the $49 were meh.
Variant: added a $99 "Pro" tier I knew almost no one would pick.
Result: $49 sign-ups jumped 17%. The $99 made $49 look like the sensible middle. Classic decoy/anchor effect, finally proved on my own funnel.
Almost zero people bought the $99. Didn't matter. It changed how they judged the $49.
— Test an anchor tier above your target plan
— You're not selling the decoy, you're re-framing the target
— Watch the middle tier's take-rate, not the decoy's
Go add a premium tier above your best-seller and split it. Report back.
Pricing test this week. Three tiers: $19, $49. Conversions on the $49 were meh.
Variant: added a $99 "Pro" tier I knew almost no one would pick.
Result: $49 sign-ups jumped 17%. The $99 made $49 look like the sensible middle. Classic decoy/anchor effect, finally proved on my own funnel.
Almost zero people bought the $99. Didn't matter. It changed how they judged the $49.
— Test an anchor tier above your target plan
— You're not selling the decoy, you're re-framing the target
— Watch the middle tier's take-rate, not the decoy's
Go add a premium tier above your best-seller and split it. Report back.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Z.ai анонсировала новую GLM-5.5
Z.ai готовит релиз флагманской GLM-5.5: модель обещают показать в августе 2026 года.
Главная интрига — рост до 1 трлн параметров при том же контекстном окне в 1 млн токенов. Новинка снова будет заточена под код и агентные задачи.
Почему версия сразу 5.5, без 5.3 и 5.4, и что это может означать для рынка — в блоге.
➡️ Читайте на сайте: https://aff.top/blog/z-ai-anonsirovala-novuiu-glm-5-5
🧠 Ещё больше инсайтов → в канале AFF.top
Z.ai готовит релиз флагманской GLM-5.5: модель обещают показать в августе 2026 года.
Главная интрига — рост до 1 трлн параметров при том же контекстном окне в 1 млн токенов. Новинка снова будет заточена под код и агентные задачи.
Почему версия сразу 5.5, без 5.3 и 5.4, и что это может означать для рынка — в блоге.
➡️ Читайте на сайте: https://aff.top/blog/z-ai-anonsirovala-novuiu-glm-5-5
🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Telegram запустил собственный сервер для ботов
Telegram запустил собственный сервер для ботов и мани-приложений: теперь backend можно размещать прямо внутри инфраструктуры мессенджера.
Сервер работает на JavaScript/TypeScript, через вебхуки, и позволяет подключать SQL-базу для сбора контактов без посредников.
Пока неясны цена и ограничения — что именно уже можно тестировать, а где скрыт подв…
➡️ Читайте на сайте: https://aff.top/blog/telegram-zapustil-sobstvennyi-server-dlia-botov
🧠 Ещё больше инсайтов → в канале AFF.top
Telegram запустил собственный сервер для ботов и мани-приложений: теперь backend можно размещать прямо внутри инфраструктуры мессенджера.
Сервер работает на JavaScript/TypeScript, через вебхуки, и позволяет подключать SQL-базу для сбора контактов без посредников.
Пока неясны цена и ограничения — что именно уже можно тестировать, а где скрыт подв…
➡️ Читайте на сайте: https://aff.top/blog/telegram-zapustil-sobstvennyi-server-dlia-botov
🧠 Ещё больше инсайтов → в канале AFF.top
My test won because of a holiday, not my variant.
Ran a promo banner test across two weeks. Variant crushed it, +24%. Bottled it. Shipped permanently.
Next month: gone. Worse than before.
Turns out week two of my test overlapped a payday + a niche shopping holiday. The variant happened to be live during a buying surge. I credited my banner. It was the calendar.
Week-over-week confounds are silent killers when arms aren't time-balanced.
— Run both variants simultaneously, never sequentially
— Watch for paydays, holidays, your own email blasts
— A lift that vanishes next cycle was probably seasonal
Go check if anything external spiked during your last "win." Report back.
Ran a promo banner test across two weeks. Variant crushed it, +24%. Bottled it. Shipped permanently.
Next month: gone. Worse than before.
Turns out week two of my test overlapped a payday + a niche shopping holiday. The variant happened to be live during a buying surge. I credited my banner. It was the calendar.
Week-over-week confounds are silent killers when arms aren't time-balanced.
— Run both variants simultaneously, never sequentially
— Watch for paydays, holidays, your own email blasts
— A lift that vanishes next cycle was probably seasonal
Go check if anything external spiked during your last "win." Report back.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Google картинки станут конкурентом Pinterest
Google Картинки начали превращать в полноценную платформу с персональной лентой по прошлым запросам — по сути, в аналог Pinterest.
Во вкладке For you уже тестируют подборки, а ещё обещают коллекции и генерацию изображений во встроенной Nano Banana.
Как это будет работать и когда новинка дойдёт до других стран — в блоге.
➡️ Читайте на сайте: https://aff.top/blog/google-kartinki-stanut-konkurentom-pinterest
🧠 Ещё больше инсайтов → в канале AFF.top
Google Картинки начали превращать в полноценную платформу с персональной лентой по прошлым запросам — по сути, в аналог Pinterest.
Во вкладке For you уже тестируют подборки, а ещё обещают коллекции и генерацию изображений во встроенной Nano Banana.
Как это будет работать и когда новинка дойдёт до других стран — в блоге.
➡️ Читайте на сайте: https://aff.top/blog/google-kartinki-stanut-konkurentom-pinterest
🧠 Ещё больше инсайтов → в канале AFF.top
Killed my timed popup. Replaced the trigger, not the offer.
Same popup, same 10% code, same design. I only A/B'd when it fired.
Control: appears at 8 seconds.
Variant: appears on exit-intent (mouse heading to close).
Exit-intent variant: +13% captures, and bounce stayed flat. The timed one was interrupting people who were still reading and annoying them off the page.
The offer was never the problem. The timing was assault.
— Test trigger timing before you test the offer
— Exit-intent on desktop, scroll-depth on mobile
— Stop interrupting people mid-read
Go change your popup trigger from timed to exit-intent. Same offer. Report back.
Same popup, same 10% code, same design. I only A/B'd when it fired.
Control: appears at 8 seconds.
Variant: appears on exit-intent (mouse heading to close).
Exit-intent variant: +13% captures, and bounce stayed flat. The timed one was interrupting people who were still reading and annoying them off the page.
The offer was never the problem. The timing was assault.
— Test trigger timing before you test the offer
— Exit-intent on desktop, scroll-depth on mobile
— Stop interrupting people mid-read
Go change your popup trigger from timed to exit-intent. Same offer. Report back.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Россияне не смогут покупать стейблкоины
Россиянам могут закрыть доступ к покупке стейблкоинов: в новой версии закона их приравняли к иностранным активам.
Купить такие токены смогут только квалифицированные инвесторы — например, с активами от 24 млн рублей или доходом от 12 млн в год.
Что это значит для обычных пользователей и когда правило заработает — в блоге.
➡️ Читайте на сайте: https://aff.top/blog/rossiiane-ne-smogut-pokupat-steiblkoiny
🧠 Ещё больше инсайтов → в канале AFF.top
Россиянам могут закрыть доступ к покупке стейблкоинов: в новой версии закона их приравняли к иностранным активам.
Купить такие токены смогут только квалифицированные инвесторы — например, с активами от 24 млн рублей или доходом от 12 млн в год.
Что это значит для обычных пользователей и когда правило заработает — в блоге.
➡️ Читайте на сайте: https://aff.top/blog/rossiiane-ne-smogut-pokupat-steiblkoiny
🧠 Ещё больше инсайтов → в канале AFF.top
23-24 июля встречаемся в Лимассоле! 🔥
Команда AdsCard врывается на Conversion Conf в статусе HOOKAH LOUNGE SPONSOR! Мы готовим для вас идеальное пространство для неформального общения и обсуждения серьезных дел.
Ищете платежное решение, которое не подведет в самый ответственный момент? Хотите масштабировать свои рекламные кампании без головной боли? Давайте обсудим это в расслабленной атмосфере.
Что ждет вас в нашей лаунж-зоне?
0️⃣ Поделимся инсайдами и свежими кейсами по заливу с наших карт на самых требовательных источниках.
0️⃣ Обсудим наши эксклюзивные условия для команд и расскажем, как получить максимум от нашего сервиса.
0️⃣ Познакомим с топами индустрии, угостим дымным кальяном и просто отлично проведем время.
Присоединяйтесь к нам, чтобы совместить приятное с полезным: качественный нетворкинг и эффективные платежные решения.
📍 Где искать: Parklane Hotel, HOOKAH LOUNGE от AdsCard
Ждем всех на Conversion Conf для незабываемого ивента и крутых знакомств! До встречи! 😎
Команда AdsCard врывается на Conversion Conf в статусе HOOKAH LOUNGE SPONSOR! Мы готовим для вас идеальное пространство для неформального общения и обсуждения серьезных дел.
Ищете платежное решение, которое не подведет в самый ответственный момент? Хотите масштабировать свои рекламные кампании без головной боли? Давайте обсудим это в расслабленной атмосфере.
Что ждет вас в нашей лаунж-зоне?
Присоединяйтесь к нам, чтобы совместить приятное с полезным: качественный нетворкинг и эффективные платежные решения.
📍 Где искать: Parklane Hotel, HOOKAH LOUNGE от AdsCard
Ждем всех на Conversion Conf для незабываемого ивента и крутых знакомств! До встречи! 😎
Please open Telegram to view this post
VIEW IN TELEGRAM
My biggest "winner" was just luck regressing.
Day 3, variant up 40%. Insane number. I knew it was too good but I wanted it.
Day 10: +6%. Day 18: +2% and not significant.
That day-3 monster was regression to the mean. Small samples produce wild swings. Early extreme leads almost always shrink toward reality as data piles in.
If your lift is shrinking every day, that's not your variant fading. That's the noise washing out.
— Ignore early extreme leads, they're noise
— Trust the number after you hit your pre-set sample size
— Big early lift + steady decline = regression, not magic
Go look at your test's lift trend by day. Shrinking toward zero? Report back.
Day 3, variant up 40%. Insane number. I knew it was too good but I wanted it.
Day 10: +6%. Day 18: +2% and not significant.
That day-3 monster was regression to the mean. Small samples produce wild swings. Early extreme leads almost always shrink toward reality as data piles in.
If your lift is shrinking every day, that's not your variant fading. That's the noise washing out.
— Ignore early extreme leads, they're noise
— Trust the number after you hit your pre-set sample size
— Big early lift + steady decline = regression, not magic
Go look at your test's lift trend by day. Shrinking toward zero? Report back.
Neighbor spotlight: @stack_compare. They go deep on SaaS tools for webmasters — the kind of channel you actually keep notifications on for.
Forwarded from Потрачено! Клуб спящих бизнесменов!
МАККГРЕГОР! Не только лишь одни синие как оказалось умееют играть в амбасадоров :-) Если вы понимаете
Суть простая, Мак Грегор хуйнул ставочку, и вроде бы хуйня, но все мы понимаем что это значит и это работает на всех нас!
Амбассадор 1xBet сделал прогноз на $100 000 на точный счет финала WCMUC2026: Испания v Аргентина – 2:3. Коэффициент – 36. Потенциальный выигрыш – $3,6 миллиона! На мой взгляд вообще похуй какой именно прогноз он сделал, тут важен сам факт, это без проблем используется во всех крео!
Думаю не надо объяснять что Конор это пиздец какой триггер для игроков и соц. пруф! Самый известный спортсмен мира сделал прогноз на главный матч года, а значит миллионы болельщиков будут следить не только за финалом, но и за его выбором. Используй этот инфоповод, чтобы подтолкнуть аудиторию к собственному прогнозу!
В финале WCMUC2026 победитель будет только один, а вот в борьбе за трафик может победить каждый и урвать свой кусок! Используй, хули сидеть!
Тыкай, там интиресно!
Суть простая, Мак Грегор хуйнул ставочку, и вроде бы хуйня, но все мы понимаем что это значит и это работает на всех нас!
Амбассадор 1xBet сделал прогноз на $100 000 на точный счет финала WCMUC2026: Испания v Аргентина – 2:3. Коэффициент – 36. Потенциальный выигрыш – $3,6 миллиона! На мой взгляд вообще похуй какой именно прогноз он сделал, тут важен сам факт, это без проблем используется во всех крео!
Думаю не надо объяснять что Конор это пиздец какой триггер для игроков и соц. пруф! Самый известный спортсмен мира сделал прогноз на главный матч года, а значит миллионы болельщиков будут следить не только за финалом, но и за его выбором. Используй этот инфоповод, чтобы подтолкнуть аудиторию к собственному прогнозу!
В финале WCMUC2026 победитель будет только один, а вот в борьбе за трафик может победить каждый и урвать свой кусок! Используй, хули сидеть!
Тыкай, там интиресно!
Statistically significant. Practically worthless.
Huge test, 200k visitors. Variant won, p < 0.001. Rock solid significant.
The lift? 0.4%.
With enough traffic ANY difference becomes significant. Significance just means "real," not "big enough to care about." That 0.4% wouldn't pay for the dev time to ship it.
P-value answers "is it real." It never answers "is it worth it."
— Set a minimum lift threshold BEFORE testing (e.g. "must beat +3%")
— Big traffic makes tiny effects significant, ignore them
— Look at the confidence interval, not just the p-value
Go set a "don't bother shipping under X%" rule with your team. Report back what number you pick.
Huge test, 200k visitors. Variant won, p < 0.001. Rock solid significant.
The lift? 0.4%.
With enough traffic ANY difference becomes significant. Significance just means "real," not "big enough to care about." That 0.4% wouldn't pay for the dev time to ship it.
P-value answers "is it real." It never answers "is it worth it."
— Set a minimum lift threshold BEFORE testing (e.g. "must beat +3%")
— Big traffic makes tiny effects significant, ignore them
— Look at the confidence interval, not just the p-value
Go set a "don't bother shipping under X%" rule with your team. Report back what number you pick.