Эксперименты и A/B-тесты
26 subscribers
15 photos
15 links
Культура экспериментов
Download Telegram
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Вышел ZCode - аналог Claude code

Вышел ZCode — десктопный аналог Claude Code от разработчиков GLM-5.2. Работает с API от Anthropic, поддерживает SSH-деплой на сервер, в том числе Linux.

Вместо пошаговых скриптов — система целеполагания Goal: закидываешь сложный промт, агент сам разбивает задачу и выполняет. Плюс управление через Telegram-бота.

Но главная фича — мультиагентность…

➡️ Читайте на сайте: https://aff.top/blog/vyshel-zcode-analog-claude-code

🧠 Ещё больше инсайтов → в канале AFF.top
A/B-тест сам по себе не улучшает маркетинг

Миф в нашей теме живёт давно: если у команды есть A/B-платформа, эксперименты, дашборды и регулярные сплиты, значит, культура экспериментов уже построена. Откуда он берётся? Из подмены цели инструментом. Маркетинг быстро привыкает считать тесты признаком зрелости: «мы сравнили два баннера, победитель найден, работа сделана».

Но это неправда. A/B-тест — не культура, а **метод проверки гипотезы**. Он может подтвердить изменение, но не объясняет, какую проблему вы решаете, почему гипотеза вообще появилась и как результат влияет на выручку, LTV или конверсию в оплату. В эпоху privacy-first атрибуции, MMM и incrementality особенно опасно путать локальную победу в интерфейсе с реальным вкладом в бизнес. Плюс AI массово ускорил производство креативов: теперь выигрывает не тот, кто больше тестирует, а тот, кто лучше формулирует гипотезы и умеет связывать их с экономикой.

Что вместо мифа? Не «делать больше тестов», а выстраивать систему:
— единый backlog гипотез с приоритетом по влиянию на метрику;
— заранее заданные критерии остановки и интерпретации;
— связь эксперимента с P&L, воронкой и сегментом;
— разбор не только побед, но и проигрышей: что это меняет в модели поведения клиента.

Культура экспериментов начинается не с кнопки «запустить тест», а с дисциплины мышления.

@ExperimentationRoom
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Cloudeflare грозит Google блокировкой трафика

Cloudflare объявил: с 15 сентября 2026 года ИИ-краулеры будут заблокированы по умолчанию на всех сайтах с рекламой — включая Googlebot, Applebot и Bingbot.

Главная претензия — к Google: один и тот же бот индексирует страницы и собирает данные для обучения нейросетей, что даёт поисковику нечестное преимущество.

Но есть нюанс, который меняет всю к…

➡️ Читайте на сайте: https://aff.top/blog/cloudeflare-grozit-google-blokirovkoi-trafika

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Гайд: как заработать первые деньги на Pornhub

Pornhub — самый посещаемый адалт-сайт в мире, и на нём действительно можно зарабатывать. Но схема устроена иначе, чем кажется.

Автор залил ролики, набрал 16 000 просмотров — и получил 47 центов встроенной монетизации. Реальные деньги были в другом.

Есть нюансы с верификацией, голосом в роликах и законодательством РФ, которые ломают большинство с…

➡️ Читайте на сайте: https://aff.top/blog/gaid-kak-zarabotat-pervye-dengi-na-pornhub

🧠 Ещё больше инсайтов → в канале AFF.top
Миф о статистической значимости как конечном критерии успеха эксперимента

Существует устойчивое заблуждение, что достижение уровня статистической значимости (p-value ниже 0,05) является достаточным основанием для внедрения изменений в продукт или маркетинговую кампанию. Этот подход пришел из академической среды, где жесткие пороги отсечения были необходимы для подтверждения научных гипотез. Однако в прикладном маркетинге 2026 года, ориентированном на RevOps (объединенное управление выручкой) и долгосрочный LTV (пожизненная ценность клиента), такая логика ведет к ошибкам планирования.

Проблема заключается в том, что статистическая значимость говорит лишь о вероятности того, что наблюдаемый эффект не случаен. Она не сообщает о величине этого эффекта, его бизнес-ценности или устойчивости в условиях меняющегося рынка. В эпоху, когда e-commerce сталкивается с сокращением среднего чека, ориентация на «чистую победу» по кликам или конверсиям без учета финансового влияния приводит к накоплению незначительных, но затратных улучшений.

Статистическая значимость без оценки размера эффекта — это риск принять шум за сигнал. Если эксперимент показал рост конверсии на 0,1% с высокой достоверностью, стоимость разработки и внедрения этого изменения может превысить ожидаемую прибыль. Более того, при избытке данных в современных системах аналитики легко получить «ложноположительный» результат, который не принесет реального вклада в выручку компании.

Вместо слепого следования p-value следует использовать подход, основанный на *интервальной оценке размера эффекта* и анализе бизнес-метрик. Оценивайте, попадает ли доверительный интервал изменения в диапазон, значимый для экономики проекта. В условиях, когда last-click (атрибуция по последнему клику) уступает место MMM (маркетинговому микс-моделированию), важно проверять, как результат эксперимента коррелирует с общими показателями эффективности бизнеса. Эксперимент должен подтверждать не просто наличие изменений, а их экономическую целесообразность в рамках общей стратегии роста компании.

@ExperimentationRoom

По этой же теме советуем @PrivacyTrackingRu
A/B-тесты «на конверсию» мёртвые: значит, вам нужен не тест, а система решения

Миф: если я оптимизирую страницу под конверсию (лид, покупка, подписка) и запускаю A/B-тесты, то дальше всё должно “само” улучшаться. Если результаты незначимы или “не бьются” в проде — тесты просто не работают.

Откуда растёт заблуждение
Эта логика выучена на классической схеме: есть целевое событие, есть метрика, сравнили варианты — приняли решение. Но в 2026-м пользовательский путь длиннее, влияние маркетинга разделено между каналами, а атрибуция часто приватность-first и с неполной картиной. Плюс растёт роль AI-overviews: часть спроса уходит в нулевой клик (нулевая сессия), а значит, «целевое событие» на лендинге всё чаще не покрывает реальную ценность контента и брендинга.

Почему это неправда
Конверсия — это не “качество маркетинга”, а следствие множества промежуточных механизмов: намерение аудитории, скорость обработки лида, трение в оффере, качество данных в событиях и корректность измерения. Когда A/B оптимизирует конверсию без учёта качества потока, вы можете улучшить CPL (стоимость лида) на бумаге, но ухудшить downstream: SQL (квалифицированные лиды), время до сделки, удержание или выручку. В RevOps-подходе (единая ответственность маркетинга, продаж и customer success за выручку) это проявляется как расхождение между “что растёт в тесте” и “что приносит бизнес”.

Что вместо него
Определяйте тест как решение задачи, а не как соревнование вариантов по одной конверсии. Выберите метрику уровня ценности (выручка, маржинальный вклад, retention/LTV), а конверсию используйте как прокси только там, где есть доказанная связь. Добавьте фрейм проверки:
— контроль композиции аудитории (что именно поменялось в потоке)
— инкрементальность (насколько эффект отличим от фоновой динамики)
— guardrail-метрики (что нельзя ухудшить: качество лидов, скорость обработки, отток).
Если данных на ценность не хватает, сначала делайте калибровку измерения и “мост” от событий к бизнес-метрикам, а уже потом масштабируйте оптимизацию.

@ExperimentationRoom
Почему A/B-тесты перестали быть главным ответом на вопрос «что сработало»

Я всё чаще вижу одну и ту же ошибку: команда ждёт от A/B-теста не проверки гипотезы, а магического приговора. Как будто эксперимент обязан заменить мышление, исследование и здравый смысл. В 2026 году это особенно заметно в маркетинге, где данных больше, а уверенности — не прибавилось.

Моя позиция простая: **A/B-тест — это не инструмент правды, а инструмент снижения неопределённости**. Он хорошо отвечает на вопрос «есть ли эффект в этой точке?», но плохо — на вопрос «почему это произошло?» и «будет ли это работать системно?». Если у вас нет нормальной сегментации, событийной аналитики и понятной модели ценности, тест начинает имитировать науку.

Из практики: в одном из проектов мы проверяли изменение лендинга. Вариант B дал прирост конверсии на 6%, и команда уже хотела раскатывать решение на весь трафик. Но при разборе по источникам выяснилось, что эффект держался почти целиком на брендовом трафике, а в performance-каналах разницы почти не было. Формально тест был «победным». Методологически — нет, потому что вопрос бизнеса был не про общий средний эффект, а про масштабируемость в разных сценариях.

Отсюда мой рабочий принцип:
- сначала формулируем, какое решение примет бизнес;
- потом определяем, какой тест вообще способен это решение поддержать;
- и только затем считаем.

Культура экспериментов — это не количество запусков. Это способность команды не влюбляться в красивую цифру и не путать локальный выигрыш с устойчивым эффектом. В эпоху privacy-first атрибуции, AI-overviews и размывания last-click это становится не желательной дисциплиной, а базовым условием качества маркетинга.

@ExperimentationRoom
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Сбер запустит свой криптокошелёк

Сбер готов запустить криптокошелёк — инфраструктура уже есть. Ждут только закона о регулировании крипты, который планируют принять к 1 сентября 2026 года.

Хранить и, судя по всему, обменивать крипту можно будет прямо в приложении — без сторонних обменников.

Но есть один нюанс, из-за которого обменники никуда не денутся. 🔍

➡️ Читайте на сайте: https://aff.top/blog/sber-zapustit-svoi-kriptokoshelek

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Индия потребовала от Telegram удалять пиратский контент

Индия потребовала от Telegram удалять пиратский контент — претензия в том, что платформа не ограничивает размер файлов, что позволяет свободно распространять фильмы.

Дуров ответил, что Telegram годами работает в Индии без какой-либо коммерческой выгоды для себя.

Почему давление началось именно сейчас — вопрос открытый. Возможный ответ — в блоге.

➡️ Читайте на сайте: https://aff.top/blog/indiia-potrebovala-ot-telegram-udaliat-piratskii-kontent

🧠 Ещё больше инсайтов → в канале AFF.top
Forwarded from AFF.TOP
This media is not supported in your browser
VIEW IN TELEGRAM
Google ads меняет стратегию по конверсиям

Google меняет логику автоматических стратегий ставок: с 17 августа 2026 года кампании будут строже придерживаться указанного целевого CPA, а не давать лиды по минимально возможной цене.

Если сейчас твоя кампания даёт лиды по $5, а цель стоит $10 — после обновления алгоритм «поднимет» фактическую стоимость лида к целевой, зато отдаст больше трафик…

➡️ Читайте на сайте: https://aff.top/blog/google-ads-meniaet-strategiiu-po-konversiiam

🧠 Ещё больше инсайтов → в канале AFF.top
Incrementality в эпоху privacy-first: last-click всё чаще спорит с реальностью. Когда атрибуция «плывёт», где вы берёте опору для решения об остановке/масштабе кампании?

Вопрос: что вы считаете главным критерием победы в эксперименте?

ВАРИАНТЫ:
1) Инкрементальный uplift по выручке/конверсиям
2) MMM-оценку эффекта на агрегированном уровне
3) Lift в фичах-метриках (лиды, активации) без выручки
4) Качество аудитории и долговременную ценность (LTV/retention)

@ExperimentationRoom