Привет, опытные арбитраны! Неопытным тоже привет!

Сможете угадать, где на скринах бесполезный A/A, а где честный A/B? Где победитель? Ответ - в комментах к следующему посту.

Я сначала решил скопипасть весь пост из блога, но оказалось, что такой объем для tg - это охереть какой лонгрид. Ниже саммари, ни одна LLM не пострадала. Смотрим пост выше, читаем и смотрим комменты.

tldr;
A/B-тесты часто проводятся неправильно из-за когнитивных искажений и ограничений инструментов. Решения на основе таких тестов низкого качества. A/A-тесты - это простой инструмент, который повышает качество решений на базе A/B-тестов и позволяет очень просто понять, сколько нужно трафика для тестов.

Часто вижу, что A/B проводятся некорректно. Это не считая того, что A/B-тесты - далеко не идеальный инструмент. Посмотрим, что не ок.

Что за A/B?
Ставим рядом ленды, офферы, объявления и проверяем, что из них работает лучше. Важно: ставим одновременно.
Сравниваем целевую метрику, для арбитража - это деньги или производные: revenue, profit, ROI, EPV.

Зачем? Партнерский маркетинг про эксперименты. Эксперименты нужны правильные, иначе решения - говно.

Эксперименты проводить сложно, даже если кажется, что нет: что считать гипотезой, вариантом и целевой метрикой, как сравнивать, сколько трафика надо, как не пропустить скрытые факторы.

Отвечаем на вопрос: сколько надо трафика. Есть инструменты типа многоруких бандитов, бейесовских тестов, CUPED. Они надежнее, но усложняют эксперименты, требуют технического решения и понимания, как проводить.

Что болит для меня: баеры не верят, что принимать решение на 20-30 конверсиях (да и на 50-100) - плохая идея. Не верят и все тут. Ну вот же, все видно: по 500 кликов на ленд, тут 17 конверсий, а тут 11. Понятно же, кто победитель, чего ты пристал, ну. Обычная история и не только в партнерском маркетинге. С офферами, как правило, все немного иначе.

Почему так? Потому что random - страшная сила, а люди не умеют в интуитивное восприятие вероятностей.

Что такое А/А-тест?
Это когда вы ставите два безнадежно одинаковых варианта.

Поставили, что дальше? Ждем, что варианты покажут одинаковый результат. Дальше происходит удивление. Например, всего 200 конверсий и разница 20%, на одинаковых вариантах, как же так?

Вот так: случайность сильна, выборка мала, трафик неоднороден.
Кроме этого в таких тестах, надо думать об офферах. Круится за лендами в сплите еще 3 оффера - возможно у вас уже A/B/C/D/E/F тест.

Расхождения все равно будут почти всегда, нормально, если у вас расхождение 3-5% на А/А-тесте на сотнях конверсий, если расхождение больше - что-то идет не так.

Зачем нужны A/A?
- A/B - сложнее, чем кажется
- У людей когнитивные искажения
- Тестировать надо правильно

Как работает (упрощенно):
- ставим A/A/B тест
- льем, пока, A/A-варианты не сойдутся
- эмпирически и относительно надежно понимаем, когда налили достаточно

Плюсы:
- легко настроить
- позволяет поймать сломанный трекинг и скрытые факторы

Минусы:
- На старте A/A вариант может сойтись слишком быстро, что часто случайность
- Нужно больше трафика

Чеклист А/А/B-тестов:
- Сначала делаем A/A-тесты для базового уровня: 2-3 АА-теста, 200 конверсий на вариант, расхождение < 5%
- А/А/B-тесты в равном соотношении:
- 10-15 конверсий на A и нет конверсий на B - проверяем трекинг и льем дальше
- 50 конверсий, разница 2-3 раза - проверяем трекинг, льем 10-15 конверсий и останавливаем
- 100 конверсий, разница больше 50% - надо останавливать
- Новые гео, продукт, оффер - новый тест
- Ухудшающий результат - останавливаем, улучшающий проверяем на x2-x3
- Тест проходит в одинаковых условиях
- Желательно льем неделю, но редко кто столько терпит
- Варианты ставятся одновременно
- Оставляем A/A на основе победителя

По опыту, если A/B офферов, то все количества из рекомендаций выше можно сократить в два раза.

Важно: инструмент - не 100% гарантия качественного теста, но намного лучше, чем просто A/B на глаз или с калькулятором стат значимости.

Закончить чтение поста с ощущением некоторого недоверия - это ок. Не верьте мне, пробуйте сами.

От фантомных болей по моему выключенному блогу я страдал давно. Мысль глубоко в сознании, которая не дает покоя, но что-то мешает. Одна из вещей, которая меня останавливала, а в последнее время единственная вещь - я протерял бекапы. Куда-то их зарыл и забыл: в полночь в ретроградный Меркурий пройди сто шагов на северо-северо-запад от вон того красного плюща, увидишь беличий череп, под ним зарыто, там и копай. Были и другие, как я считал, блокеры, но оказались отмазами.

Недавно я прочитал пост Желтого про пост Довольного, потом и сам пост Довольного про эволюцию контента. Интересная классификация того, какой контент есть. Меня зацепило, во-первых, что не было моей любимой категории - фундаментальных знаний, с одной стороны специфичных для арбитража, с другой заставляющих думать и эксперементировать. Каких-то знаний, которые остаются актуальными долго и еще дольше. Во-вторых я сразу, стал примерять: а какой контент я бы стал писать, в какую категорию он бы попал. После таких размышлений у меня появилось несколько черновиков. Тут-то я и решил, что хватит промедлений и вынул бложик из Wayback. Не скажу, что было легко и приятно, предстоит работа по восстановлению нормальной навигации, развешиванию категорий и актуализации некоторых постов, но начало положено. Теперь есть блог и есть канал.

Почему я рестартовал
У меня произошел очередной переход количества в качество (надеюсь), есть много тем, которые я хотел бы структурировать, в первую очередь, для себя. Так вышло, что структурировать для себя мне быстрее, понятнее и приятнее, когда это происходит в формате для внешнего читателя. Есть понятный портрет, с набором знаний, навыков, опытом и историей. Сразу становится понятно, какая тут может быть цель, какой должен быть контекст, что нужно объяснить, а что ясно по умолчанию, какой жанр лучше подходит и вот это вот все. Для разных постов у меня есть разный портрет: иногда это какой-то конкретный человек, иногда это какой-то образ или команда, понятные мне лично.

Выходит, что написать пост, который я потом опубликую, мне проще, чем написать запись в дневнике или документ в каком-нибудь обсидиане в стол.

Что я планирую писать
- Опыт и знания, которые накопились за +-10 лет с момента, когда я их структурировал в блоге - это много разных небольших и больших штук, которые хочется вытащить из неосознанной компетентности в текст. Я, конечно, их складывал в разные документы, но пост - это другой формат.
- Что-то новое, с чем я работаю, что проходит путь от осознанной некомпетентности во что-то более интересное. Например, я экспериментирую и строю фундамент вокруг AI-медиабаеров - это что-то новое для меня, я разбираюсь и учусь с этим работать. Такого много.
- Инструменты и технические вещи: хочется вот так, вот инструмент, настроили, profit. Сюда могут входить какие-то лайфхаки по работе с источниками.
- Какие-то личные вещи. Не в смысле, чего я поел или от чего я попереживал, нет. Какой-то очень мой личный опыт, который потом переплавился во что-то, что я теперь использую, как знание, навык или инструмент. Проеб, как и успех, в результате становится таким опытом, если вы, конечно, поразмышляли над ними.
- Ремастер или обзор старых постов: некоторые актуальны до сих пор с минимальными правками, некоторые наивные, некоторые хочется сильно поправить, некоторые безнадежно устарели.

---

Еще был форум. К сожалению, бекап форума я откопать не смог совсем, что делает меня грустным, но я что-то постараюсь придумать взамен.

Я попробую оставаться в рамках подхода без рекламы. Есть несколько дружественных инструментов, которыми я пользуюсь, какие-то помогаю делать - про них я буду писать. В остальном, как и раньше, я не планирую размещать рекламу, но это может поменяться, конечно.

Сложно сказать, насколько меня хватит, я про написание постов, посмотрим.

У меня тут лето и analysis paralysis. Хочу и есть что написать про AI, но никак не начну - слишком много хочется раскрыть здесь и сейчас. У меня есть два черновика про AI, агентов, медиабай и креативы, но пока не хочу их постить. Напишу что-то общее. Тут и дальше я пишу про хайповый Gen AI, не про классические истории, типа svm, catboost и прочего ML. Хайп же, чего бы не написать.

Я много работают с ИИ-шкой, сравнимо с остальным рабочим общением. У меня сейчас скептическое отношение к ИИ в его текущем виде - инструмент не хуже и не лучше других, со своими особенностями, но вообще-то я AI-оптимист.

Сейчас для меня лично и для моих кейсов AI выглядит так:
- легко под присмотром, с нескольких попыток и с черри пиком получить одноразовый вау-результат
- сложно постоянно получать скучный автономный результат со стабильным качеством

Поэтому, например, все (почти) агентные решения пока - такое.

Thinking-модели
Это самое частое - закинуть (и наговорить) побольше контекста и общаться. Обязательно с рамками по целями и с будь brutally honest.

Почему thinking? Потому что не thinking выдумывают много.

У меня все в Obsidian, я веду все заметки так, чтобы их было легко использовать с AI. Есть еще cursor-based кейсы не про разработку, но сейчас не про это.

Дальше всякое:
- Делегирование: обсудить задачи для разработки, обсудить управленческие или маркетинговые ситуации, процессы.
- Поштормить: баинговые подходы, подходы к решению инженерных задач, креативчики, тексты, всякое такое.
- Поговорить с моими же текстами, позадавать вопросы.
- Подготовка к сложным встречам. Например, если нужно пообщаться с юристами, то сначала я разбираю ситуацию с AI, потом подтверждаю с юристами.
- Найти и сравнить, получить сводку по решениям, фреймворкам и подходам. Потом пообщаться с результатами.
- В предыдущем случае иногда использую deep research. Мне нравится решение от OpenAI. Google тоже ок, но многословен и своеволен. У меня есть несколько смешных случаев, когда google шел исследовать что-то про объект1, когда я хотел про объект2. Говорил мне: я сейчас исследую объект1 (который пользователь именует объект2).
- Технические задачи, что-то типа: не завелось в терминале, что я делаю не так, памагите.
- Поговорить с документацией: context7, привет.

AI не готовит мне конкретный результат. У меня никогда нет ситуаций, когда я копирую из чата и использую. Это больше похоже на общение с умным и немного странным профессионалом, которое мне дает пищу для размышлений. Польза вот в чем:
- Общение с AI требует хорошо структурировать мысли
- Быстрый доступ к какими-то общим знаниям и к обратной связи на их базе

Ничего лучше o3-pro и o4-mini-high я пока не вижу. Anthropic рядом по качеству, но понятнее всего мне работать с OpenAI-моделями. Я несколько раз слезал с Pro, но через 2-3 дня возвращался.

NotebookLM
Начал писать и понял - это тема для отдельного поста. Если коротко - любая статья или пачка инфы превращается в адекватный подкаст.

Код и технические задачи
Я умею писать и читать код, но делаю это небыстро. Claude Code и Cursor пишут мне одноразовые скрипты и прототипы. Иногда, если задача хорошо структурирована и код будет компактным и одноразовым - это o4-mini-high.

При этом с кодом не все хорошо. Да, вайбкод одноразовых скриптов для песочницы - хорошо работает, если руки прямы. Взрослые кейсы - смотрите сами:  tldr: берем senior разрабов на большой кодовой базе (именно так) - разработка с AI занимает на 20% больше времени, хотя разработчики говорят об 20% ускорении. Много такого и не только.

Замена google
Когда мне надо что-то найти и перейти дальше по ссылке или получить короткий ответ из поиска, я иду в Perplexity вместо Google. Их Research / Lab мне не нравятся: галлюцинируют как гадины и путаются в фактах. Единственное, где они ок - потребительские задачи: наушники там сравнить и отзывы почитать.

Прочее:
- не thinking: переводы, суммаризации, парсинг данных, ad texts и т.д.
- бытовые кейсы: кляузу накатать, спросить что-то в поездке
локальные модели, когда не хочется делиться чем-то с OpenAI

Недавно видел рекламу решения для накрутки комментов в facebook в нескольких каналах. После рекламы было обсуждение, работают ли комменты, для каких вертикалей и вот это вот все.

Disclamer:
- Пост кэпство, для новичков и не арбитранов, если вы льете, то должны это знать и использовать.
- В некоторых гео за накрученные отзывы и рейтинги могут оштрафовать, ни к чему не призываю.
- Пост урезан для тг, полный в блоге.

tldr;
- social proof в общем случае и комментарии в частности работают, еще как: в худшем случае это +20-30% к ROI, если все делать правильно, иногда это x2-x3
- свипы и нутра без комментариев не заводятся или заводятся уныло, остальные механизмы там везде по умолчанию
- для некоторых вертикалей комментарии дают бонус к ROI (гембла и похожие)
- для екома, COD и белых апп всегда используются social proof механизмы, комментарии не используются, хотя именно они дают хороший буст

Откуда инфа?
Плотнее и аккуратнее всего историю с social proof я протестировал, когда делал еком проект. Был свой бренд, магазин, логистика, кабинет без банов (почти) и вот это вот все. Протестировал я все, что можно: отзывы на крео, анпеки, комменты к рекламе, тестимониалы/отзывы на лендах, сбор реальных отзывов, звездочки и другие механизмы, you name it. За счет правильной работы с social proof по всей воронке CR подрос больше чем в 2 раза и потом, без потерь в CR, увеличили цену продукта в 2.5 раза.

Видел много тестов на приложениях с гемблой (которую сейчас все скромно называют igaming, ха). Крутил большие тесты на неарбитражных приложениях. Так или иначе я эту историю протестировал и распутал практически на всех основных вертикалях.

Что за отзывы, комментарии и testimonials?
Это все про social proof. Люди больше доверяют продукту, когда отзыв исходит от какого-то реального (ага) человека. Это не новость, удивительно, если вы не используете, но бывает забивают.
Где это может быть:
- в крео: анпек, видео-врезки, скрины, звездочки, рейтинги и еще пара относительно свежих подходов
- под рекламой: комменты в первую очередь и обсуждение было именно про такой способ
- на лендинге или в шопе: в разном виде и на каждом шаге воронки (корзина, чекаут, thanks page), как с крео

Выводы по экспериментам и наблюдениям
- Social proof работает.
- Почти не видел ухудшающих тестов, улучшающих полно. Делалось все с нежностью.
- Работает на каждом шаге воронки: крео, комментарии к посту, ответы на комментарии, лендинги/страницы продуктов, корзины, чекауты
- Для свипов и нутры из всех механизмов, самый большой прирост дают комментарии к постам. Без них нет плюса или он не огонь. Я думаю, что это потому, что ленды и креативы отполированы годами, сложно что-то улучшить. Можно, но сложно. Комментарии - другая история. Не то, что свежая, но используется не всеми и не всегда хорошо. При правильном исполнении комментарии дают прирост 20-50% к ROI, иногда больше.
- Для екома, COD и белых апп подход с комментами используется редко и это имба: обычно там не очень высокая маржинальность, с комментариями разгоняется до арбитражных ROI.
- Для гемблы и похожих вертикалей прирост заметный, но не такой большой - люди понимают, что они получают, поэтому органически появляются неплохие комментарии. Для приложений своя история.
- Нужны хорошие тексты (не AI). За ними идите в reddit, найти отзывы на любой тип продуктов легко, язык там нативный, живой и современный.
- Нужно следить за негативом в комментариях.
- Нужно отвечать и от лица страницы, и от лица юзеров на адекватные вопросы.
- Субъективно наличие прогрева у поста на старте дает CPM пониже, но у меня нет сильной уверенности, надо перепроверять.
- Оптимально: 15-25 отзывов/комментариев и несколько десятков реакций, 10 - минимальный порог, когда заметный прирост, после 50 прироста почти нет.
- Несколько лет назад самой придирчивой в комментах был LATAM, потом Европа, потом US. Сейчас какой-то разницы не видно.

Немного матчасти в блоге

Какой вывод?
Тестируйте. Ленды и подходы обычно уже хорошо оптимизированы, свежие механизмы вытащат ROI выше.

У кого какой опыт?

Пост
Все, как обычно, циклично. Я несколько месяцев вижу, что начинается большой новый цикл в affiliate marketing.

1. Давным-давно
Много-много лет назад, когда я только начинал, арбитраж сочетал в себе несколько вещей:
- solo модель работала
- умение придумать подход весило, как и умение масштабироваться
- высокий уровень информационной асимметрии: информации было мало, получали ее из своего опыта, ценность была высокой
- важность фундаментальных знаний
- инструментов было мало, доступ к ним или свои инструменты являлись конкурентным преимуществом
- постоянные эксперименты
- непрозрачность - спаить было можно, но требовалась изобретательность
- переключение между вертикалями, источниками и подходами было частым и быстрым
- базовые вещи не были базовыми, например, даже monthly net7 был не всегда доступен
- источники не очень понимали, что происходит
- много вертикалей, доля GH/BH умеренная

2. Между давно и сейчас
С начала времен все ожидаемо и медленно шло в другую конфигурацию, которая стала главной и стабильной:
- масштабирование важнее подходов: умение украсть подход, чуть улучшить и потом управлять толпой лаунчеров, обеспечить их всеми расходниками и обороткой стало надежной основой роста
- создание подходов оставалось сложным и редким, а высокая прозрачность (спайтулы) снизила вес креативности и умения найти сильный подход - имеем по полтора подхода на вертикаль и их мутации, зарабатывают те, кто умеет в скейл
- информации много: пик форумов и блогов, уникальный контент, грамотные AMы
- конкурентные преимущества не в подходах: тут сделай своего адверта, там налей комментов, продави шейв, снизь потери трафа, получи уникальные условия и т.д.
- сильная инерция - переключение вертикалей и источников трудное, медленное и редкое
- источники понимают, что происходит
- значение фундаментальных знаний упало - есть темы, есть рутинные способы скейла, вперед
- падение маржинальности, главные конкуренты не другие аффилы со сверхприбыльностью, а белые продукты, с ROAS, которому позавидует любой арбитран, но у них цикл дольше

Почти все ушло в GH/BH. Адверт, тебя не любят источники? Вперед, в партнерку! This is the way.

Не скажу, что любил этот период.

3. Сейчас и дальше

Что вернулось:
- Информационная асимметрия: причина противоположная, а эффект тот же - информации так много, что понять, где правда, а где дичь - непросто. AI не спасает: знает далеко не все, соевая этичность не позволяет отдать все, что он знает - можно обойти, но не так, что легко и просто, нужно знать вопросы.
- Фундаментальные знания снова важны, хвала небесам. Тебе же надо понять, какая инфа имеет смысл, какая нет.
- Структура команд возвращается в сторону умных, компактных и быстрых.
- Креативность и уникальность вернули свой вес.

Что новое:
- Важное: ритм выше - подходы живут меньше. Недостаточно время от времени находить подход. Критично сделать так, чтобы у тебя постоянно лилась тугая струя новых подходов
- AI - супер-мультипликатор. Если ты смелый, ловкий, умелый (и быстро соображаешь), то ты сделаешь в 10 раз больше, чем твой посредственный конкурент. Тупо за счет того, что ты теперь умеешь в большее количество инструментов и прикрутил к себе связку робо-рук:
- делай свои офферы
- вайбкодьинжинирь уникальные инструменты на любой вкус
- пили CLI к знакомому инструменту и ускоряйся
- за часы собирай воронки, которые раньше стоили дней или даже недель
- получай доменные знания для кастомизации подходов под аудитории
- и прочее, и прочее
- Источники и регуляторы все понимают, ловят лучше. Важнее стали либо уникальные подходы (когда источник еще не понял), либо WH/псевдо-WH офферы
- Прозрачность - иллюзия. Ты не поймешь, что смотришь на что-то стоящее в спайтуле, даже если будешь в упор смотреть - из-за разнообразия.

Что остается:
- Коммодитизация = меньше сил на расходники
- Выигрыши тут и там решают
- Взросление рынка снижает транзакционные издержки
- В одиночку работать сложно

Новый цикл многое берет из начал: новая версия арбитража с ламповым вайбом и возможностями.
Не протеряйте момент - стройте конвеер подходов.

Потери трафика между трекером и партнеркой, между источником и трекером, в цепочке редиректов - это неприятно, даже 1% потерь может стоить дорого.

Иногда найти причины сложно, так как начинается пинг-понг. Трекеры говорят, что все ок (часто это правда). В self-hosted искать вам самим, бодаться с хостингом и его настройкой. Разные домены, гео и типы офферов добавляют сложности. Партнерка говорит, что все хорошо. Им не хочется разбираться - надо идти к движку или к внутренним технарям. То ли аффил накосячил, то ли что-то с движком, то ли интернеты сломались.

Кейс с потерями трафика
Какое-то время назад я помогал разбирать кейс: потери трафа между трекером и партнеркой. Достаточно глубоко в него погрузился. Сначала, как обычно, все выглядело хаотично: разные кампании, офферы, гео показали быстрое накопление потерь. Чем дальше, тем больше: 2%, 3%, 7%, 10%, 17%.

Вышло распутать в том числе потому, что сошлись звезды:
• Команда использовала Everflow для консолидации офферов: поэтому партнерка не являлась партнеркой в прямом смысле, хотя и использовала соответствующий движок - был прямой доступ в движок. Everflow неплохой движок, но общаться с ними муторно. Я не скажу, что у них ужасный саппорт, но все в разных часовых поясах, в сложных кейсах они не погружаются.
• Трекер использовали Zeustrack - не самый известный, но хороший трекер, особенно если вы работаете с facebook или google. С ними хороший контакт, поэтому вышло детально посмотреть, что происходит: как ходит визит, какие технические гарантии, что может сломаться, а что нет by design.

Звезды сходятся не всегда.

Как чинить потери трафика

Сначала локализация:
• параметры трафика: geo, OS, ISP, браузеры и т.д.
• источник
• баер
• лендинг
• кампания
• домен кампании
• сервер кампании
• домен оффера
• IP кампании, редиректа, оффера
• иногда имеют значение косвенные факторы: тип оффера, адверт, цепочка редиректов

Редко в партнерку пробрасывается что-то, кроме id визита. Приходится или собирать сводную статистику, или навешивать передачу дополнительных параметров.


Причины потерь трафика

Локализация нужна, чтобы можно было сформулировать гипотезы, найти причину и починить ее.

Частая причина - регион сервера отличается от региона трафика. Все про нее знают и все равно иногда наступают.

Что еще:
• Длинная / медленная цепочка редиректов, сетка реселлит реселлера, адверт использует пару трекинговых решений. Медленно - плохо.
• Протухший серт где-то в цепочке.
• Домены в блеклистах: Google Safe Browsing, антивирусы, DNS-фильтры, блокировки, фильтры ISP-оборудования.
• Блокировщики рекламы.
• Инапп-браузеры: facebook любит творить дичь и вмешиваться в цепочку редиректов.
• Серваки под нагрузкой.
• Cloudflare ломает цепочку: WAF, BFM и т.д.

Бывает еще расхождение в отчетах:
• таймзоны
• способ подсчета визитов - уники уникам рознь
• удаление трекинговой части URL
• тихие фильтры на стороне движков

В чем же было дело с изначальным кейсом
Я не буду описывать всю детективную историю. Если коротко, исключили простые вещи, типа таймзон и регионов. Надежно исключили трекер. В результате выяснили, что дело в IP-адресах Everflow (не всех): у них есть разные интеграции, две из них используют серверы EF для привязки доменов. IP могут шериться, копят говно и попадают в разные блек листы. Да, причина из известного списка, но сложная в диагностике.

Блеков сейчас много и не все очевидные. Неприятные - BL провайдерского оборудования: вендорские или 3rd-party. Там зоопарк, так как есть разные гео, штаты, города - везде свое. Снаружи выглядит, что постепенно растут потери на домене/IP, не всегда это связано с одним ISP. Монторить сложно, так как домен/IP может наловить флагов и продолжать работать, а может быть зеленым в публичных чекерах, но словить 20-30% потерь.

Решилось так:
1. переход на self-managed домены со своими IP в нужных регионах
2. рутинные сверки потерь в разных срезах

Смотрите на расхождения, учитесь искать потери, дожимайте всю цепочку, включая адвертов.