Split Test Street
70 subscribers
57 photos
1 video
49 links
Real tests run by real operators this week — what we shipped, what won, what flopped, and the exact change you can steal today.
Download Telegram
My biggest "winner" was just luck regressing.

Day 3, variant up 40%. Insane number. I knew it was too good but I wanted it.

Day 10: +6%. Day 18: +2% and not significant.

That day-3 monster was regression to the mean. Small samples produce wild swings. Early extreme leads almost always shrink toward reality as data piles in.

If your lift is shrinking every day, that's not your variant fading. That's the noise washing out.

— Ignore early extreme leads, they're noise
— Trust the number after you hit your pre-set sample size
— Big early lift + steady decline = regression, not magic

Go look at your test's lift trend by day. Shrinking toward zero? Report back.
Neighbor spotlight: @stack_compare. They go deep on SaaS tools for webmasters — the kind of channel you actually keep notifications on for.
Forwarded from Потрачено! Клуб спящих бизнесменов!
МАККГРЕГОР! Не только лишь одни синие как оказалось умееют играть в амбасадоров :-) Если вы понимаете

Суть простая, Мак Грегор хуйнул ставочку, и вроде бы хуйня, но все мы понимаем что это значит и это работает на всех нас!

Амбассадор 1xBet сделал прогноз на $100 000 на точный счет финала WCMUC2026: Испания v Аргентина – 2:3. Коэффициент – 36. Потенциальный выигрыш – $3,6 миллиона! На мой взгляд вообще похуй какой именно прогноз он сделал, тут важен сам факт, это без проблем используется во всех крео!

Думаю не надо объяснять что Конор это пиздец какой триггер для игроков и соц. пруф! Самый известный спортсмен мира сделал прогноз на главный матч года, а значит миллионы болельщиков будут следить не только за финалом, но и за его выбором. Используй этот инфоповод, чтобы подтолкнуть аудиторию к собственному прогнозу!

В финале WCMUC2026 победитель будет только один, а вот в борьбе за трафик может победить каждый и урвать свой кусок! Используй, хули сидеть!

Тыкай, там интиресно!
Statistically significant. Practically worthless.

Huge test, 200k visitors. Variant won, p < 0.001. Rock solid significant.

The lift? 0.4%.

With enough traffic ANY difference becomes significant. Significance just means "real," not "big enough to care about." That 0.4% wouldn't pay for the dev time to ship it.

P-value answers "is it real." It never answers "is it worth it."

— Set a minimum lift threshold BEFORE testing (e.g. "must beat +3%")
— Big traffic makes tiny effects significant, ignore them
— Look at the confidence interval, not just the p-value

Go set a "don't bother shipping under X%" rule with your team. Report back what number you pick.
Forwarded from Я ЗЛОЙ, Я ГАНГСТА
Когда AffPapa попытались кикнуть Иванова из сферы, другие компании скинули ему $100к.

Как мы обсуждали вчера, овнер AffPapa взбесился на ЕЮ и пригрозил аффилке: AffPapa прекратят все формы сотрудничества с компаниями-партнёрами Иванова. Логика простая: мне приносит неудобства этот чел, значит, я сделаю так, чтобы с ним никто больше не работал, тем самым вытеснив его из сферы.

Будь это кто-то другой, идея, может, и сработала бы, но мы говорим о ЕЮ, который тут же понял кипиш. В ответ Алексеев закинул ему $5к с комментом «Кайфуй», а дальше к этому недо-флэшмобу подтянулись другие компании: $25к от Roi Media, $15к от TopX, $10к от GloryPartners, $7.5к от неизвестного Эдуарда, $7.5к от Кардиналов, $5.5к от некого Владимира. И вишенка на торте — $50к от «влиятельной iGaming фигуры, пожелавшей остаться анонимной».

Овнер AffPapa тем временем выдал жиденький ответ на ситуацию: они «не хотят ассоциироваться с брендами, поддерживающими площадки, построенные на срачах», но это не значит, что они прекращают сотрудничество со всеми вышеперечисленными конторами. Иначе говоря, чел понял, что не на того наехал, и быстро переобулся — у него тупо не было другого выбора.

🥴 — чего и следовало ожидать
🍾 — поздравляем ЕЮ с неожиданной премией )0

🎣Лей Fishing Time на TopX, участвуй в раздаче 1kk$ среди баеров и команд! Стань серьёзной iGaming-фигурой! 😎 Подробности ТУТ

😈 Я ЗЛОЙ, Я ГАНГСТА
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from high profit — low life
Маэстро снова всех переиграл - будто по нотам блестяще выступил и остался с деньгами и респектом улиц

Че было?
Кто-то вспомнил про сообщество Affpapa - кто конкретно такие и чем занимаются кроме организации местечковых митапов, я не ебу, но пафоса как всегда много - доступ к серьезным iGaming фигурам у них только по подписке за 2100 евриков.

ЕЮ купил доступ и предложил поделиться им за шекели со всеми желающими - казалось бы нихуя нового под арбитражной луной, купить базу любой партнерки или сообщества проще чем щелкнуть пальцами.

Но обиженный владелец папки пошел плакать в линкедине на тему того «какжи так, никогда такого не было и вот опять».
Также он пообещал всем брендам так или иначе связанным с Юрьичем (то есть 90% СНГ рынка) закрытие доступа к аффпапе и немедленное прекращение сотрудничества.

После этого ситуация плавно перетекла в iGaming Chat, где пошла настоящая возня - вместо НЕМЕДЛЕННОГО РАЗРЫВА С ОПОРОЧИВШИМ ИМЯ АФФПАПЫ, бренды предпочли поддержать Евгения вечнозелеными долларами и накидали ему под сто косых на ход ноги и новый контент, засветились PVT, Roimedia, Кардиналы, TopX и Glory, а также несколько анонимных iGaming-фигур.

Дальше - больше, обиженный владелец Аффпапки выступил с уже более жидкими заявлениями о том, что его не так поняли и что прекращать сотрудничество ни с кем пока не будут, просто советуют быть аккуратнее и бла-бла-бла.

Собственно, понятно что без топовых брендов, которые в том числе оплачивают существование Аффпапы вряд ли оно сможет фунциклировать.

Как и любой медийный конфликт - этот Евгений Юрьевич выиграл в одну калитку, прямо как Испания Аргентину вчера.

Мораль?
Не пиздите на маэстро.

High Profit — Low Life | Прислать сплетню
I keep a group that NEVER sees my winners. On purpose.

Got tired of shipping "wins" that didn't show up in the monthly revenue chart. Lifts on paper, flatline in the bank.

So now 5% of traffic is a permanent holdout. They get the original site, frozen. Everyone else gets every winner I ship.

After a quarter, I compare the 95% (all my "wins") against the frozen 5%. That gap is the REAL cumulative impact. No peeking, no novelty, no seasonality games.

First time I ran it, half my "wins" had evaporated. Humbling.

— Keep a long-run holdout to validate stacked wins
— It catches decay individual tests miss
— It's the only number your CFO actually believes

Go carve out a 5% frozen holdout this week. Report back in 90 days.
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
X перезапустил прилу на Android

X.com не просто обновила приложение, а фактически пересобрала его вокруг скорости и синхронного запуска фич с iOS. Для арбитража это сигнал снова тестировать X Ads и УБТ-связки: платформа уходит от старого формата коротких постов к видео и стримам, а значит меняются охваты, креативы и точки входа в трафик.

➡️ Читайте на сайте: https://aff.top/blog/x-perezapustil-prilu-na-android

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Meta внедряет ИИ-оптимизацию в Ads Manager

Meta постепенно вшивает ИИ-оптимизацию во все уровни Ads Manager: бюджет, аудиторию и креативы. Идея — автоматически перераспределять spend туда, где выше конверт и engagement. Для арбитража вывод простой: функции выглядят полезно, но их реальная эффективность пока не доказана, поэтому тестировать нужно в сравнении с ручными настройками.

➡️ Читайте на сайте: https://aff.top/blog/meta-vnedriaet-ii-optimizaciiu-v-ads-manager

🧠 Ещё больше инсайтов → в канале AFF.top
Пару дней назад в iGaming chat разыгралась история невероятной щедрости после попытки отмены Евгения Юрьевича. Если в трех словах, то Евгению Иванову «накидали» денег.

Редакции стало интересно, кто и сколько реально перевел. Полностью разобрали ситуацию, каждый платеж, получилось интересно.

По схеме переводов можно кликать. @cparip

https://cpa.rip/articles/unprecedented-generosity/

PS: За происходящим было интересно наблюдать, Евгений хорош)

Работаем с твоим трафиком до окупа. CPA/Spend/RS/Hybrid. Заливай с PIN-UP Partners на ЛатАм и СНГ
Please open Telegram to view this post
VIEW IN TELEGRAM