Average order value tests fail significance checks because the math is wrong, not the metric.
AOV and revenue-per-session are ratio metrics — the denominator (sessions) is itself random. A naive t-test understates variance and hands you false wins.
— Use the delta method or bootstrap to get honest confidence intervals on ratios.
— Revenue is also heavy-tailed: one whale moves the mean, so winsorize or cap.
The lift looks real until you price in the whale.
Read the number, not the story. [delta method · winsorized 99th pct]

One in five "successful" CRO wins quietly damages a metric nobody was watching.
Aggressive checkout simplification lifts conversion but raises refund and chargeback rates — the cost lands in a different team's dashboard.
— Define guardrail metrics (refunds, returns, support tickets, churn) before launch.
— A win that needs the guardrail to stay flat isn't a win until it does.
Conversion ▮▮▮▮▮▮ up, refunds ▮▮▮▮ also up = net negative.
Read the number, not the story. [guardrails: refund · CAC · churn]

Testing 20 metrics at 95% gives you a ~64% chance of at least one false win.
Every extra metric you eyeball is another coin flip against you — the multiple-comparisons problem.
— Declare one primary metric before launch. Everything else is exploratory and needs replication.
— If you must track many, correct the threshold (Bonferroni, Benjamini-Hochberg).
The "interesting secondary finding" is usually the false positive you went looking for.
Read the number, not the story. [1−0.95^20 ≈ 64%]

Running two A/B tests on the same page at once can silently corrupt both.
If the button-color test and the headline test interact, each contaminates the other's control group. You read two clean wins that don't replicate together.
— Either run a proper multivariate test that models the interaction, or fully isolate traffic.
— Most pairs of changes don't interact — but you only learn that by checking, not assuming.
Clean-looking A/B + clean-looking A/B ≠ a clean combined launch.
Read the number, not the story. [2×2 factorial · interaction term]

Underpowered tests don't just miss real wins — when they hit, they exaggerate by 2-3x.
This is the winner's curse (Type M / magnitude error). With low power, only the luckily-large estimates clear significance, so every "win" is inflated.
— A 30%-powered test that shows +20% is probably a true +7% at best.
— Symptom: big lifts on small samples that shrink on re-test.
The smaller the sample behind a giant lift, the more you should discount it.
Read the number, not the story. [power ≈30% · Type-M ~2.5x]

Counting conversions per session instead of per user can swing a result by 10%+.
Users with multiple sessions get counted multiple times, and heavy users skew toward whichever arm they landed in more.
— Pick the randomization unit (user) and the analysis unit (user) to match. De-duplicate.
— Session-level conversion rates flatter high-frequency cohorts and break independence assumptions.
The denominator decides the answer before the variant does.
Read the number, not the story. [unit: user · de-duped]

Splitting one long checkout into 3 short steps changes conversion by roughly ±0%.
The step count is mostly a wash; what moves the number is perceived progress and how many fields survive, not how many pages they sit on.
— A progress indicator on a single page often matches a multi-step flow.
— Fewer total inputs beats fewer total screens, every time we've measured it.
One page ▮▮▮▮▮ vs three pages ▮▮▮▮▮ — call it a tie.
Read the number, not the story. [field-count dominant · n≈25 tests]

Pairs well with this channel

@AboveTheFoldHeresy — We torch the landing-page 'best practices' everyone copies blindly. If a guru told… Quietly one of the better feeds in the space.

Алиса AI будет конкурировать с Google AI Studio

Яндекс разворачивает экосистему AI-агентов на базе Алисы с доступом сначала для компаний, затем для всех. Агенты уже работают в Яндекс Такси и Лавке, скоро появятся в браузере и студии разработки. Платформа интегрирует стандартные функции — заказ такси, покупки, анализ данных. Алиса AI показывает неплохие результаты: менее известна, чем конкуренты, поэтому предлагает щедрые лимиты на видеогенерацию и работу с контентом. Яндекс планирует внедрить…

➡️ Читайте на сайте: https://aff.top/blog/alisa-ai-budet-konkurirovat-s-google-ai-studio

🧠 Ещё больше инсайтов → в канале AFF.top

В Zennoposter добавили ИИ-помощник

Zennolab добавил в Zennoposter встроенный ИИ-кубик с доступом к четырём моделям (Gemini, DeepSeek, Claude, ChatGPT) — 50 бесплатных запросов в сутки. Есть режимы Assistant (чтение) и Agent (автоматическое создание скриптов), плюс новый GET-запрос по API. Нейросети хорошо справляются с регистрацией, постингом, фармингом аккаунтов и простым кодированием, но требуют проверки при парсинге динамических сайтов и диагностике ошибок. В связке с Zennoobr…

➡️ Читайте на сайте: https://aff.top/blog/v-zennoposter-dobavili-ii-pomoschnik

🧠 Ещё больше инсайтов → в канале AFF.top

Moving the security badge from footer to next-to-the-pay-button: median +1.8%.
Proximity beats presence. The badge already existed; it just wasn't where the anxiety peaks — at the card field.
— Effect concentrates in first-time and high-ticket buyers; near-zero for returning customers.
— Don't add more badges. Move the one that matters to the moment of friction.
Footer placement ▮▮▮ vs pay-button placement ▮▮▮▮.
Read the number, not the story. [segment: first-time · 95% CI]

Новую Google reCapcha прошли статичной картинкой

Google выпустил обновленную reCAPTCHA, требующую движений рук для прохождения, но система оказалась уязвима к обходу. Достаточно транслировать статичное изображение с нужным жестом через виртуальную камеру с помощью простого Python-скрипта, чтобы нейросеть пропустила пользователя. Это создает серьёзный риск для сайтов: защита от ботов, позиционировавшаяся как прорыв, на деле не работает. Баг остается актуальным и позволяет спамерам легко автомат…

➡️ Читайте на сайте: https://aff.top/blog/novuiu-google-recapcha-proshli-statichnoi-kartinkoi

🧠 Ещё больше инсайтов → в канале AFF.top

DeepSeek представит последнюю версию v4

DeepSeek выпустит v4 в середине июля с новой моделью ценообразования API: токены подорожают в 2 раза в часы пиковой нагрузки (09:00–12:00 и 14:00–18:00 по пекинскому времени). Компания планирует уведомлять пользователей по почте за 24 часа до изменения тарифов. Проблема с ошибками «server busy» останется, но обойдётся дороже — это может существенно повлиять на экономику проектов, которые активно используют API DeepSeek для автоматизации и масшта…

➡️ Читайте на сайте: https://aff.top/blog/deepseek-predstavit-posledniuiu-versiiu-v4

🧠 Ещё больше инсайтов → в канале AFF.top

Sometimes the right test isn't "is B better" but "is B not meaningfully worse."
When you simplify code, drop a vendor, or remove a feature, you want a non-inferiority test — proof the metric stays within a tolerance margin, not proof of a lift.
— Set the margin first (e.g. "no worse than −0.5%"). The CI must sit entirely above it.
— Standard significance tests answer the wrong question here and stall good cleanups.
Not every test is hunting for up.
Read the number, not the story. [non-inferiority margin −0.5%]

Anthropic выпустили Sonnet 5

30 июня вышла Claude Sonnet 5 — новая версия позиционируется как самая агентная в линейке и приближается к флагманской Opus 4.8. Модель лучше справляется со сложными многоуровневыми задачами, устойчива к вредоносным запросам и не генерирует эксплойты. Sonnet 5 доступна на Free-тарифе, но тестирование показало скромные улучшения: хотя работает лучше Sonnet 4.6, её обгоняют конкуренты, включая китайские модели, которые дешевле через API при лучшей…

➡️ Читайте на сайте: https://aff.top/blog/anthropic-vypustili-sonnet-5

🧠 Ещё больше инсайтов → в канале AFF.top

Clickstar прекращает работу

Clickstar закрывается. Легендарная пуш-сеть прекращает закуп трафика с 1 августа, полная остановка — 20 августа.

Сетка работала почти 8 лет и была одним из лучших источников качественного трафика на Россию и СНГ. Сейчас пуш-трафик стал слишком ботовым из-за гугловских банов на скрипты сбора.

Что это означает для арбитражников — разбираемся в ста…

➡️ Читайте на сайте: https://aff.top/blog/clickstar-prekraschaet-rabotu

🧠 Ещё больше инсайтов → в канале AFF.top

"95% probability B beats A" and "p<0.05" are not the same claim — and teams mix them up constantly.
Bayesian gives you the probability the variant is better given the data. Frequentist p-values give you the probability of the data given no effect. Different questions.
— Bayesian shines for sequential looks and "expected loss" stopping rules.
— Neither rescues a tiny sample; both just quantify the uncertainty honestly.
Pick a framework, then read its number on its own terms.
Read the number, not the story. [P(B>A) ≠ 1−p]

Facebook запретил рекламу онлайн-казино Mr Vegas

Британский ASA запретил рекламу казино Mr Vegas из-за «слишком милых» мультяшных животных в креативах — регулятор счёл, что такой стиль привлекает детей, в том числе через Facebook. Рекламодатель запустил кампанию в феврале, бан вышел в июле. Логика регулятора вызывает вопросы: дети неплатёжеспособны, а таргетировать их на гемблинг бессмысленно.

➡️ Читайте на сайте: https://aff.top/blog/facebook-zapretil-reklamu-onlain-kazino-mr-vegas

🧠 Ещё больше инсайтов → в канале AFF.top