Деградация Яндекс РСЯ: уже на ДНЕ

С каждым годом трафик в РСЯ (Рекламная Сеть Яндекса) ухудшается все больше и больше. Это происходит по двум причинам:
1. Увеличение случайных кликов в неудачных местах размещения рекламы (включая клики при попытке закрыть рекламу);
2. Рост рынка ботов до промышленных масштабов;

В этой статье я напомню, как эффективно работала РСЯ в далеком 2017 году, и на каком дне она сейчас.

Золотой век РСЯ был 8-10 лет назад
В 2017 году даже неопытные пользователи могли запустить рекламную кампанию и моментально получить настоящие заявки.

Мой сайт был простой страницей с предложением услуги "продвижение сайтов". Без кейсов, убедительных текстов и изображений мне удавалось привлечь до 10 клиентов в месяц при затратах на рекламу от 100 до 120 тысяч рублей.

Моя рекламная кампания состояла всего из одного текстово-графического объявления с изображением и пятью ключевыми словами для контекстной рекламы. Но и такие минимальные настройки приносили результаты. Это были золотые года.

Особенно хорошо работала реклама на Яндекс.Почте: большинство конверсий приходило именно оттуда.

Однако к 2019 году специалисты Яндекса в области маркетинга решили изменить формат рекламы на Яндекс.Почте. Эксперимент с трансляцией рекламы в виде первого непрочитанного сообщения, выделенного жирным шрифтом вверху списка писем, привел к путанице и увеличению случайных кликов. В результате я просто отключил Яндекс.Почту и перестал её использовать.

В примерно том же 2019 году Яндекс начал интегрировать рекламу в места места, где будут случайные клики.

Помню, была проблема с "разворачивающимися баннерами", когда пользователь намеревается кликнуть на ссылку на сайте, но в этот момент появлялся или разворачивался рекламный баннер - это приводило к непреднамеренному клику. С того времени я прекратил использовать контекстную рекламу в РСЯ.

Мне непонятен подход разработчиков Яндекса и их логика: за те же деньги можно привлечь качественный трафик, но в меньших объемах.

Например, есть целевое объявление "Помощь в регистрации ООО", которое ведёт пользователей на страницу с "продающим" контентом: УТП, выгода, информация о ценах и другие важные блоки. Но, результат работы объявления: множество "красных" кликов - т,е. одни отказы. Такое поведение нормально для 10 из 100 кликов, но не для всех 100. Если объявление неинтересно, то на него просто не будут кликать - клика не будет!

К 2024 году контекстная реклама в Яндекс.Директе полностью деградировала. Стратегия "Максимум кликов" приводит к множеству "красных" кликов из-за большого количества случайных нажатий при попытке закрыть рекламное объявление. А стратегия "Максимум конверсий" столкнулась с проблемой поведенческих ботов, которые ведут себя идеально, но не совершают покупок.

В текущее время, из десяти конверсий в РСЯ, все десять могут оказаться ботами. В поиске чуть-чуть качественного трафика приходится приложить огромные усилия: выделить ботов в отдельные сегменты, отрегулировать ставки на эти сегменты (-100%) и аккуратно настроить конверсии, чтобы боты не смогли их сымитировать.

В 2017 году Яндекс Директ останавливал кампанию из-за отсутствия кликов - вот это классное поведение. Респект бывшим разработчикам. В настоящее время проблемы отсутствия кликов нет - ведь ботам ****, куда кликать.

Кто генерирует мусорный трафик, каким софтом и зачем?

До 2015 года Яндекс использовал ссылочное ранжирование для формирования поисковой выдачи. С 2015 года Яндекс стал учитывать поведенческие факторы, что открыло новый рынок - рынок ботов, которые использовались улучшения поведенческих факторов: Если клик в поисковой выдаче последний - значит пользователь достиг цели - сайт растёт, иначе - сайт падает.

Для того, чтобы Антифрод Яндекса учел клик бота, бота нужно нагулять - чтобы у него была история навигации по интернету. Именно это решение и породило огромное количество грязного трафика: боты сначала гуляют по интернету кликая куда попало (включая рекламу РСЯ), а потом бот используется для повышения позиций сайта в поисковой выдаче.

До 2016-2018 года проблемы огромного количества ботов не стояло, так как не было удобного и популярного инструмента для их написания.

Пока не появился фреймворк браузерной автоматизации: Browser Automation Studio (BAS) - именно на нем пишут большинство ботов что сейчас гуляют по интернету.

Создать бота на BAS может любой дурачок - программировать не нужно - достаточно просто мышкой переносить блоки: какой url ввести, куда двигать мышку, куда кликнуть, какой ip (прокси) использовать.

Именно с этого момента начались гонки софта на BAS в которых Яндекс позорно проигрывает.

Ваш сайт может быть в базе из 400 000 сайтов для нагула ботов

Поисковые системы запрещает рекламу по ключу "Поведенческие факторы", поэтому те, кто ими занимаются уходят в группы ВК, телеграмм каналы и личные сайты.

Список ресурсов где можно нагулять ботов, скликать рекламу или заказать ПФ:

https://api.pfbaza.website/ - база из 400000 сайтов для нагула ботов. Если ваш сайт в этой базе - значит у вас много прямых ботовских заходов.

https://t.me/pfbaza_chat - чат где парни обсуждают накрутку ПФ

https://bablosoft.com/shop/Sphere - вот можно купить программу - в ней есть опция "скликивать конкурентов"

https://t.me/sphereABC - еще один чат

https://vk.com/berzsserk - вот группа ВК - там можно купить еще один такой софт

https://docs.google.com/document/d/1AxjjCQolk7XcYfElzZqkzrMkxfPQAhtCHonPrAajWhA/edit?usp=sharing - это документация к одной из таких программ

Ресурсов, какие не вошли в список, - очень много - я лично знаю еще штук 10, и сколько еще не знаю.

Чтобы однозначно отделить пользователей от ботов вашего сайта установите мой скрипт KillBot. KillBot выявляет всех современных ботов. Реализованные алгоритмы, не имеют аналогов среди представленных на рынке: https://killbot-group.ru/

Сколько ботов генерируют все бот-программы?

Объем генерируемого трафика можно спрогнозировать скрином личного кабинета одного из пользователей.

Раскрою, что на скрине (это скрин одного из софтов):

Боты работают в 22959 потоков (почти двадцать три тысячи) - т.е. одновременно кликает целый провинциальный город в Российской глубинке;

7З1100 - кликов сделано за час. Скорее всего, здесь не рекламные клики, а просто общее число просмотров страниц.

Только один софт за сутки делает семнадцать миллионов просмотров: 17 546 400 кликов = 7З1100 * 24. Т.е. суммарно, если взять 10 популярных софтов, то все вместе они сделают более 100 миллионов просмотров в сутки.

С такими объемами, трафик реальных пользователей затеряется среди трафика ботов.

Кейс: Как рекламные боты кликают по скрытым ссылкам.
Как отечественный поисковик учитывает конверсии от ботов.

Формат телеграм поста не позволяет качественно отформатировать контент, поэтому сам кейс с иллюстрациями и подробном описанием разместил на Харбре, читайте:
https://habr.com/ru/articles/813593/

1 строчка кода для решения проблемы ПФ

Вот подскажите, что бы вы сделали в этом случае?:
На сайт, было 100 качественных переходов от верифицированных пользователей из поиска. Но всем этим 100 "качественным" пользователям была показана капча. Т.е. у меня трафик из 100%-в капча-пользователей.
Что делать?
Кончено же! - "Повысить ранжирование сайта в поисковой выдаче!" - Оригинально(.

Кто не знает: большая проблема ботовского софта, который работает с поиском - это капча. Фактически каждый заход бота на поисковик осуществляется через капчу. При этом сайты в поиске растут. Это значит, что антифрод не использует главный и единственный фактор, который нужно использовать если ты имеешь дело с бот сетями.

Для решения проблемы капча-пользователей: просто, в лоб, не нужно учитывать в алгоритмах заходы, которые были через капчу. Через капчу ходят только боты. Мощные парни "капча-писатели" уже всё сделали.

Общие характеристики ботов
Бот сеть - это одна программа, работающая через прокси, или это вирусы (одного типа). Так как физически боты - это одна программа, значит у них должны быть одинаковые характеристики. Если мы выявим характеристику, одинаковую для всех ботов, то всю сетку ботов можно отправить под фильтр.

Истинная цель антифрода (антибота) - это выявить общие характеристики, то единственное, что ботов объединяет. Вычисляем общую характеристику - и вся сетка ботов идёт под фильтр.

Какая общая характеристика? они же подменяют фингерпринты?

Нужно включить свои нейронные связи и "увидеть" эти характеристики, так же как и ботовские переходы через капчу выше.

Какие, например, это могут быть характеристики?:
- время жизни; "100 из 100 заходов живут менее 7 дней";
- ip из разных сетей; "у 100 из 100 заходов меняется 'IP-сеть' от сессии к сессии";
- нет смежных устройств: "у 100 пользователей из 100 нет связки компьютер-телефон";
- нет почтового ящика: "100 из 100 пользователей не имеют почтовый ящик";
- нет активности: "100 из 100 пользователей не двигают мышкой до полной загрузки страницы";

Таких превентивных поведенческих характеристик можно придумать очень много. И не зная какие именно количественные характеристики заложены в антифроде обойти его будет сложно.

Система KillBot использует вектор из 7-ми генерируемых характеристик. В основе этих характеристик лежат хэш функции, которые устойчивы и изменению фингерпринта и поведению. Эти характеристики способны выявить всю сетку ботов из общего объема трафика.

РСЯ может работать без антифрода. КАК?

Проблема некоторых рекламных систем, это то, что плохой трафик нельзя сделать отличным средствами грамотной конфигурации.

Настройки рекламной системы должны быть такими, что я смогу вытащить из неё максимум трафика, если даже в ней антифрода нет.

Начнем с того, как именно отличить настоящего пользователя от бота?

Оплата - это единственный настоящий фактор, который отличит пользователя от бота. Бот никогда платить не будет, так как в этом случае он потеряет экономическую целесообразность.

Общая характеристика: Если из 100 конверсий, нет ни одной от пользователя, кто когда-либо платил, то все конверсии в помойку.

А как же новые пользователи - их дофига. А как же бабушки и дедушки?

Бабушки и дедушки успешно сидят в соцсетях и платят. Куки никто регулярно не чистит: в статистике моего онлайн сервиса в метрике по 300 визитов от постоянных пользователей.

Для того, чтобы получить максимальный контроль над трафиком, нужно сотрудничать с крупнейшими игроками: маркетплейсы, онлайн кинотеатры, сервисы оплаты ЖКХ и т.п. Чтобы они на свой сайт ставили код, например, метрики, которая будет отслеживать колбеки успешных покупок. Есть и другие методы отслеживания трафика без счетчика - о них я расскажу как-нибудь позже.

Площадки низкого качества РСЯ - это большая боль

От площадок низкого качества нельзя отказываться, иначе они уйдут к другой рекламной сети - это будет стратегическая ошибка.

Площадки РСЯ нужно разбить на группы значимости. Например - крупные новостные сайты - это одна группа, маркетплейсы - другая группа, площадки без постоянной аудитории и трафика - последняя группа. У меня должна быть возможность выбора групп площадок на которых будет транслироваться реклама.

Баннер во весь экран

Вот я не понимаю, как успешно обучить нейросеть, если с таких баннеров идёт много случайных кликов.

Должно быть 4-ре опции:
- отключить показ моей рекламы во весь экран;
- не показывать мою рекламу в попапах;
- сделать ОГРОМНЫЙ крестик, чтобы пользователь мог комфортно закрыть рекламу;
- таймаут крестика;

Нужно рублём наказывать площадки за умышленное втюхивание рекламы.

Работа с аудиториями и интересами

Вот эта часть в нейронке работает изумительно. Был бы еще антифрод такой-же рабочий.

И так, аудитория таргетинга для моей классной и конверсирующая кампании:
- платил в интернете;
- показываем рекламу только на новостных сайтах, маркетплейсах, яндекс почте;
- запрещаю рекламу в попапах и во весь экран;

Все, с этого начинаю. Если конверсии есть, то я постепенно увеличиваю охват от полноэкранной рекламы с большим крестиком до площадок низкого качества и тех, кто не платит.

Не нужно бояться того, что площадки низкого качества будут не востребованы. Игроков много - всегда будут те, кто осознанно выкупит и их трафик.

Как именно KillBot выявляет одинаковые характеристики ботов?

У меня нет доступа к поведению пользователей, какое есть у крупных игроков.
Единственный инструмент, который можно использовать, это движек браузера - движек программы с какой осуществлён заход на сайт.

Настоящий пользователь пользуется браузером, а бот пользуется тем же браузером, но под программным управлением. Т.е. движки у них, немного, да разные.

KillBot вычисляет хэш браузерного движка и получает вектор из 7-ми характеристик. Бот-программа, какой генерируют ПФ трафик будет иметь свои 7 уникальных характеристик отличных от настоящего браузера, какие бы параметры она не подменяла.
Так же и у меня, реального пользователя браузера хром, характеристики будет такими же, как и у моего друга из Китая, который так же использует хром.
Это я передал идею - как именно алгоритмы нужно понимать.
Эти 7 характеристик принято называть слепком браузера.

Таким образом, весь трафик разбивается на кластера - слепки. Ботовский трафик будет за своими слепками, а реальный - за своими.
Это даёт очень гибкий контроль над трафиком и полную прозрачность работы алгоритмов: Каждую группу слепков я могу обрабатывать по своему:
- визитам со слепками настоящих браузеаров - нет ограничений
- для ботов - ограничения
- для не классифицированных слепков дополнительная верификация, например.

95% реального трафика охватывают слепки браузеров из системного списка, который предоставляется с системой.

Как-то так)

Как создать бизнес на слитых данных - рассказываю на примере компании SimilarWeb

Представьте, вы написали свой сервис веб-почты, или классное расширение, которое стилизует браузер. Такие сервисы могут набирать миллионную аудиторию, но только если они бесплатны.
Так кто же готов платить за такой сервис? Только тот, кому нужен контроль над пользователями - тот, кто хочет знать о них все.

Справка.
SimilarWeb — это компания, которая предоставляет аналитику о посещаемости сайтов. На сайтах нет скриптов учёта посещаемости от SimilarWeb, но это не мешает им предсказать посещаемость каждого сайта в интернете.

Как SimilarWeb Получает Данные
Одним из ярких примеров слива данных является покупка компанией SimilarWeb популярного расширения для браузера Stylish. После его приобретения в расширение было встроено шпионское ПО. Это ПО, как минимум, отслеживало посещаемые пользователями сайты.

Кто Еще Сливает Данные в SimilarWeb?
До июля 2023 года для русскоязычного сегмента интернета компания использовала как минимум три источника данных о трафике сайта:
- Браузерное расширение Stylish
- Браузерное Расширение FriGate
- Некоторые DNS-серверы.

Как примерно работает эмпирическая система учёта трафика SimilarWeb?
Для того, чтобы эмпирическая система SimilarWeb сделала прогноз, необходимо присутствие данных из всех 3-х источников, что представлены выше. Например, если вы посещаете сайт habr.com с расширением FriGate, а ваш друг посещает этот же сайт с установленным расширением Stylish, и есть запросы через DNS-серверы, которые сотрудничают с SimilarWeb, то этот факт даст к росту трафика. Однако, если я прогоню запросы через DNS-серверы, которые с SimilarWeb не делятся (например Билайн), то визиты будут проигнорированы несмотря на наличие визитов с Stylish и FriGate.

Справка:
DNS (Domain Name System) – это система, которая переводит доменные имена сайтов в IP-адреса.
Утечка данных через DNS происходит, когда запросы на перевод доменных имен в IP-адреса, попадают в ненадежные руки. В результате, даже если ваш интернет-трафик зашифрован, сторонние наблюдатели могут увидеть, какие сайты вы посещаете.

Антифрод SimilarWeb (т.е. защита от накрутки)
Таким образом, антифрод SimilarWeb устойчив к накрутке. Чтобы накрутить SimilarWeb нужно знать адреса тех, кто им данные сливает. И второй момент - их основа предполагает использование количественных характеристик для идентификации подлинности трафика.

Привожу примеры:
- Допустим, 100 визитов из 100 осуществлены через одни и те же ДНС.
- Или для 100 заходов ни у одного не установлен AdBlock (это можно проверить и без слива).
- Или все 100 заходов от одного интернет провайдера.
- Или все 100 заходов новые, без истории навигации в интернете.

Пересечение подобных характеристик - это и есть накрученный трафик или трафик ботов. Характеристики выше - это просто примеры, это идея.

В любом трафике ботов можно выделить одинаковые характеристики несмотря на подмену фингерпринта, IP адресов, DNS и так далее. Нужно знать как работают боты и понимать где искать эти характеристики.

До слива персональных данных один шаг
Вот, допустим, директор крупной кампании - всё у него честно. Но тут к нему приходят "друзья": демонстрируют интим-фото, намекают что жена и дети, предлагают деньги. И всё - с этого момента он завербован и обезличенный сбор данных превращается в персональный.

Можно ли защитится от утечки данных?
Наверно нет: источников слива много: кого-то взломают, кто-то сам сольет. Да, можно использовать свой личный ВПН сервер, можно не использовать браузерные расширения, можно выпиливать с сайтов метрику, аналитику и другие пикселы. Но даже если это сделать, то, все равно, у нас дырявая операционная система, дырявый браузер и т.п. Поэтому я не парюсь)

Реализовано автоматическое выявление слепков ботов. Визит помечается как бот или нет в полностью автоматическом режиме. Руками так же можно донастроить. Это апдейт "Гроза".

Теперь, для абсолютного большинства современных ботов, вам не требуется тратить время на анализ поведения пользователей внутри слепка - KillBot это делает за вас.
Ошибка может каснуться только пользователей браузера ТОР (т.е. пользователей которые умышленно себя скрывают). Объем такого трафика мизерный, а если он и есть, то просто добавляем слепок вашей сессии ТОР в список известных - и живём дальше без ошибок.

Работает волшебно. Выбирайте опцию как на скрине, пробуйте. Если будут ошибки, то все они на уровне багов, фича новая.

Скоро будет апдейт "Шторм" - будет предоставлен доступ к ID устройства с которого осуществляется доступ в интернет. Т.е. если я выхожу со своего компьютера в интернет, то у меня будтет одинаковый ID, вне зависимости от того, какой браузер или бот программу я использую. Исключением так же является браузер TOR.
Благодаря этому можно вычислить личность мошенника: кто-то наспамил в режиме инкогнито под впн, а потом со своего же компа залогинился под личной учетной записью - неудачник). ID устройства, конечно же не уникально, но уникальности достаточно чтобы выявить ворону в сообществе из нескольких тысяч или даже десятков тысяч человек.

Кейс от клиента:

Смотрите, что получется с ценой.

Цена клика очень сильно упала на этой неделе, когда подключили, и фейковых заявок стало сильно меньше.

Все остальные штуки типа ботфактора вообще никакого толку не было.