Сколько ботов генерируют все бот-программы?
Объем генерируемого трафика можно спрогнозировать скрином личного кабинета одного из пользователей.
Раскрою, что на скрине (это скрин одного из софтов):
Боты работают в 22959 потоков (почти двадцать три тысячи) - т.е. одновременно кликает целый провинциальный город в Российской глубинке;
7З1100 - кликов сделано за час. Скорее всего, здесь не рекламные клики, а просто общее число просмотров страниц.
Только один софт за сутки делает семнадцать миллионов просмотров: 17 546 400 кликов = 7З1100 * 24. Т.е. суммарно, если взять 10 популярных софтов, то все вместе они сделают более 100 миллионов просмотров в сутки.
С такими объемами, трафик реальных пользователей затеряется среди трафика ботов.
Объем генерируемого трафика можно спрогнозировать скрином личного кабинета одного из пользователей.
Раскрою, что на скрине (это скрин одного из софтов):
Боты работают в 22959 потоков (почти двадцать три тысячи) - т.е. одновременно кликает целый провинциальный город в Российской глубинке;
7З1100 - кликов сделано за час. Скорее всего, здесь не рекламные клики, а просто общее число просмотров страниц.
Только один софт за сутки делает семнадцать миллионов просмотров: 17 546 400 кликов = 7З1100 * 24. Т.е. суммарно, если взять 10 популярных софтов, то все вместе они сделают более 100 миллионов просмотров в сутки.
С такими объемами, трафик реальных пользователей затеряется среди трафика ботов.
Кейс: Как Яндекс учитывает конверсии от ботов.
Дам ссылку на Хабр, так как в кейсе много иллюстраций - формат телеграмм просто не позволяет качественно преподнести контент:
https://habr.com/ru/articles/813593/
Дам ссылку на Хабр, так как в кейсе много иллюстраций - формат телеграмм просто не позволяет качественно преподнести контент:
https://habr.com/ru/articles/813593/
1 строчка кода для решения проблемы ПФ
Вот подскажите, что бы вы сделали в этом случае?:
Что делать?
Кончено же! - "Повысить ранжирование сайта в поисковой выдаче!" - Оригинально(.
Для решения проблемы капча-пользователей: просто, в лоб, не нужно учитывать в алгоритмах заходы, которые были через капчу. Через капчу ходят только боты. Мощные парни "капча-писатели" уже всё сделали.
Общие характеристики ботов
Бот сеть - это одна программа, работающая через прокси, или это вирусы (одного типа). Так как физически боты - это одна программа, значит у них должны быть одинаковые характеристики. Если мы выявим характеристику, одинаковую для всех ботов, то всю сетку ботов можно отправить под фильтр.
Истинная цель антифрода (антибота) - это выявить общие характеристики, то единственное, что ботов объединяет. Вычисляем общую характеристику - и вся сетка ботов идёт под фильтр.
Какая общая характеристика? они же подменяют фингерпринты?
Нужно включить свои нейронные связи и "увидеть" эти характеристики, так же как и ботовские переходы через капчу выше.
Какие, например, это могут быть характеристики?:
- время жизни; "100 из 100 заходов живут менее 7 дней";
- ip из разных сетей; "у 100 из 100 заходов меняется 'IP-сеть' от сессии к сессии";
- нет смежных устройств: "у 100 пользователей из 100 нет связки компьютер-телефон";
- нет почтового ящика: "100 из 100 пользователей не имеют почтовый ящик";
- нет активности: "100 из 100 пользователей не двигают мышкой до полной загрузки страницы";
Таких превентивных поведенческих характеристик можно придумать очень много. И не зная какие именно количественные характеристики заложены в антифроде обойти его будет сложно.
Система KillBot использует вектор из 7-ми генерируемых характеристик. В основе этих характеристик лежат хэш функции, которые устойчивы и изменению фингерпринта и поведению. Эти характеристики способны выявить всю сетку ботов из общего объема трафика.
Вот подскажите, что бы вы сделали в этом случае?:
На сайт, было 100 качественных переходов от верифицированных пользователей из поиска. Но всем этим 100 "качественным" пользователям была показана капча. Т.е. у меня трафик из 100%-в капча-пользователей.Что делать?
Кончено же! - "Повысить ранжирование сайта в поисковой выдаче!" - Оригинально(.
Кто не знает: большая проблема ботовского софта, который работает с поиском - это капча. Фактически каждый заход бота на поисковик осуществляется через капчу. При этом сайты в поиске растут. Это значит, что антифрод не использует главный и единственный фактор, который нужно использовать если ты имеешь дело с бот сетями.Для решения проблемы капча-пользователей: просто, в лоб, не нужно учитывать в алгоритмах заходы, которые были через капчу. Через капчу ходят только боты. Мощные парни "капча-писатели" уже всё сделали.
Общие характеристики ботов
Бот сеть - это одна программа, работающая через прокси, или это вирусы (одного типа). Так как физически боты - это одна программа, значит у них должны быть одинаковые характеристики. Если мы выявим характеристику, одинаковую для всех ботов, то всю сетку ботов можно отправить под фильтр.
Истинная цель антифрода (антибота) - это выявить общие характеристики, то единственное, что ботов объединяет. Вычисляем общую характеристику - и вся сетка ботов идёт под фильтр.
Какая общая характеристика? они же подменяют фингерпринты?
Нужно включить свои нейронные связи и "увидеть" эти характеристики, так же как и ботовские переходы через капчу выше.
Какие, например, это могут быть характеристики?:
- время жизни; "100 из 100 заходов живут менее 7 дней";
- ip из разных сетей; "у 100 из 100 заходов меняется 'IP-сеть' от сессии к сессии";
- нет смежных устройств: "у 100 пользователей из 100 нет связки компьютер-телефон";
- нет почтового ящика: "100 из 100 пользователей не имеют почтовый ящик";
- нет активности: "100 из 100 пользователей не двигают мышкой до полной загрузки страницы";
Таких превентивных поведенческих характеристик можно придумать очень много. И не зная какие именно количественные характеристики заложены в антифроде обойти его будет сложно.
Система KillBot использует вектор из 7-ми генерируемых характеристик. В основе этих характеристик лежат хэш функции, которые устойчивы и изменению фингерпринта и поведению. Эти характеристики способны выявить всю сетку ботов из общего объема трафика.
РСЯ может работать без антифрода. КАК?
Проблема некоторых рекламных систем, это то, что плохой трафик нельзя сделать отличным средствами грамотной конфигурации.
Настройки рекламной системы должны быть такими, что я смогу вытащить из неё максимум трафика, если даже в ней антифрода нет.
Начнем с того, как именно отличить настоящего пользователя от бота?
Общая характеристика: Если из 100 конверсий, нет ни одной от пользователя, кто когда-либо платил, то все конверсии в помойку.
А как же новые пользователи - их дофига. А как же бабушки и дедушки?
Бабушки и дедушки успешно сидят в соцсетях и платят. Куки никто регулярно не чистит: в статистике моего онлайн сервиса в метрике по 300 визитов от постоянных пользователей.
Для того, чтобы получить максимальный контроль над трафиком, нужно сотрудничать с крупнейшими игроками: маркетплейсы, онлайн кинотеатры, сервисы оплаты ЖКХ и т.п. Чтобы они на свой сайт ставили код, например, метрики, которая будет отслеживать колбеки успешных покупок. Есть и другие методы отслеживания трафика без счетчика - о них я расскажу как-нибудь позже.
Площадки низкого качества РСЯ - это большая боль
От площадок низкого качества нельзя отказываться, иначе они уйдут к другой рекламной сети - это будет стратегическая ошибка.
Площадки РСЯ нужно разбить на группы значимости. Например - крупные новостные сайты - это одна группа, маркетплейсы - другая группа, площадки без постоянной аудитории и трафика - последняя группа. У меня должна быть возможность выбора групп площадок на которых будет транслироваться реклама.
Баннер во весь экран
Вот я не понимаю, как успешно обучить нейросеть, если с таких баннеров идёт много случайных кликов.
Должно быть 4-ре опции:
- отключить показ моей рекламы во весь экран;
- не показывать мою рекламу в попапах;
- сделать ОГРОМНЫЙ крестик, чтобы пользователь мог комфортно закрыть рекламу;
- таймаут крестика;
Нужно рублём наказывать площадки за умышленное втюхивание рекламы.
Работа с аудиториями и интересами
Вот эта часть в нейронке работает изумительно. Был бы еще антифрод такой-же рабочий.
И так, аудитория таргетинга для моей классной и конверсирующая кампании:
- платил в интернете;
- показываем рекламу только на новостных сайтах, маркетплейсах, яндекс почте;
- запрещаю рекламу в попапах и во весь экран;
Все, с этого начинаю. Если конверсии есть, то я постепенно увеличиваю охват от полноэкранной рекламы с большим крестиком до площадок низкого качества и тех, кто не платит.
Не нужно бояться того, что площадки низкого качества будут не востребованы. Игроков много - всегда будут те, кто осознанно выкупит и их трафик.
Проблема некоторых рекламных систем, это то, что плохой трафик нельзя сделать отличным средствами грамотной конфигурации.
Настройки рекламной системы должны быть такими, что я смогу вытащить из неё максимум трафика, если даже в ней антифрода нет.
Начнем с того, как именно отличить настоящего пользователя от бота?
Оплата - это единственный настоящий фактор, который отличит пользователя от бота. Бот никогда платить не будет, так как в этом случае он потеряет экономическую целесообразность.Общая характеристика: Если из 100 конверсий, нет ни одной от пользователя, кто когда-либо платил, то все конверсии в помойку.
А как же новые пользователи - их дофига. А как же бабушки и дедушки?
Бабушки и дедушки успешно сидят в соцсетях и платят. Куки никто регулярно не чистит: в статистике моего онлайн сервиса в метрике по 300 визитов от постоянных пользователей.
Для того, чтобы получить максимальный контроль над трафиком, нужно сотрудничать с крупнейшими игроками: маркетплейсы, онлайн кинотеатры, сервисы оплаты ЖКХ и т.п. Чтобы они на свой сайт ставили код, например, метрики, которая будет отслеживать колбеки успешных покупок. Есть и другие методы отслеживания трафика без счетчика - о них я расскажу как-нибудь позже.
Площадки низкого качества РСЯ - это большая боль
От площадок низкого качества нельзя отказываться, иначе они уйдут к другой рекламной сети - это будет стратегическая ошибка.
Площадки РСЯ нужно разбить на группы значимости. Например - крупные новостные сайты - это одна группа, маркетплейсы - другая группа, площадки без постоянной аудитории и трафика - последняя группа. У меня должна быть возможность выбора групп площадок на которых будет транслироваться реклама.
Баннер во весь экран
Вот я не понимаю, как успешно обучить нейросеть, если с таких баннеров идёт много случайных кликов.
Должно быть 4-ре опции:
- отключить показ моей рекламы во весь экран;
- не показывать мою рекламу в попапах;
- сделать ОГРОМНЫЙ крестик, чтобы пользователь мог комфортно закрыть рекламу;
- таймаут крестика;
Нужно рублём наказывать площадки за умышленное втюхивание рекламы.
Работа с аудиториями и интересами
Вот эта часть в нейронке работает изумительно. Был бы еще антифрод такой-же рабочий.
И так, аудитория таргетинга для моей классной и конверсирующая кампании:
- платил в интернете;
- показываем рекламу только на новостных сайтах, маркетплейсах, яндекс почте;
- запрещаю рекламу в попапах и во весь экран;
Все, с этого начинаю. Если конверсии есть, то я постепенно увеличиваю охват от полноэкранной рекламы с большим крестиком до площадок низкого качества и тех, кто не платит.
Не нужно бояться того, что площадки низкого качества будут не востребованы. Игроков много - всегда будут те, кто осознанно выкупит и их трафик.
Как именно KillBot выявляет одинаковые характеристики ботов?
У меня нет доступа к поведению пользователей, какое есть у крупных игроков.
Единственный инструмент, который можно использовать, это движек браузера - движек программы с какой осуществлён заход на сайт.
Настоящий пользователь пользуется браузером, а бот пользуется тем же браузером, но под программным управлением. Т.е. движки у них, немного, да разные.
KillBot вычисляет хэш браузерного движка и получает вектор из 7-ми характеристик. Бот-программа, какой генерируют ПФ трафик будет иметь свои 7 уникальных характеристик отличных от настоящего браузера, какие бы параметры она не подменяла.
Так же и у меня, реального пользователя браузера хром, характеристики будет такими же, как и у моего друга из Китая, который так же использует хром.
Это я передал идею - как именно алгоритмы нужно понимать.
Эти 7 характеристик принято называть слепком браузера.
Таким образом, весь трафик разбивается на кластера - слепки. Ботовский трафик будет за своими слепками, а реальный - за своими.
Это даёт очень гибкий контроль над трафиком и полную прозрачность работы алгоритмов: Каждую группу слепков я могу обрабатывать по своему:
- визитам со слепками настоящих браузеаров - нет ограничений
- для ботов - ограничения
- для не классифицированных слепков дополнительная верификация, например.
95% реального трафика охватывают слепки браузеров из системного списка, который предоставляется с системой.
Как-то так)
У меня нет доступа к поведению пользователей, какое есть у крупных игроков.
Единственный инструмент, который можно использовать, это движек браузера - движек программы с какой осуществлён заход на сайт.
Настоящий пользователь пользуется браузером, а бот пользуется тем же браузером, но под программным управлением. Т.е. движки у них, немного, да разные.
KillBot вычисляет хэш браузерного движка и получает вектор из 7-ми характеристик. Бот-программа, какой генерируют ПФ трафик будет иметь свои 7 уникальных характеристик отличных от настоящего браузера, какие бы параметры она не подменяла.
Так же и у меня, реального пользователя браузера хром, характеристики будет такими же, как и у моего друга из Китая, который так же использует хром.
Это я передал идею - как именно алгоритмы нужно понимать.
Эти 7 характеристик принято называть слепком браузера.
Таким образом, весь трафик разбивается на кластера - слепки. Ботовский трафик будет за своими слепками, а реальный - за своими.
Это даёт очень гибкий контроль над трафиком и полную прозрачность работы алгоритмов: Каждую группу слепков я могу обрабатывать по своему:
- визитам со слепками настоящих браузеаров - нет ограничений
- для ботов - ограничения
- для не классифицированных слепков дополнительная верификация, например.
95% реального трафика охватывают слепки браузеров из системного списка, который предоставляется с системой.
Как-то так)
Как создать бизнес на слитых данных - рассказываю на примере компании SimilarWeb
Представьте, вы написали свой сервис веб-почты, или классное расширение, которое стилизует браузер. Такие сервисы могут набирать миллионную аудиторию, но только если они бесплатны.
Так кто же готов платить за такой сервис? Только тот, кому нужен контроль над пользователями - тот, кто хочет знать о них все.
Справка.
Как SimilarWeb Получает Данные
Одним из ярких примеров слива данных является покупка компанией SimilarWeb популярного расширения для браузера Stylish. После его приобретения в расширение было встроено шпионское ПО. Это ПО, как минимум, отслеживало посещаемые пользователями сайты.
Кто Еще Сливает Данные в SimilarWeb?
До июля 2023 года для русскоязычного сегмента интернета компания использовала как минимум три источника данных о трафике сайта:
- Браузерное расширение Stylish
- Браузерное Расширение FriGate
- Некоторые DNS-серверы.
Как примерно работает эмпирическая система учёта трафика SimilarWeb?
Для того, чтобы эмпирическая система SimilarWeb сделала прогноз, необходимо присутствие данных из всех 3-х источников, что представлены выше. Например, если вы посещаете сайт habr.com с расширением FriGate, а ваш друг посещает этот же сайт с установленным расширением Stylish, и есть запросы через DNS-серверы, которые сотрудничают с SimilarWeb, то этот факт даст к росту трафика. Однако, если я прогоню запросы через DNS-серверы, которые с SimilarWeb не делятся (например Билайн), то визиты будут проигнорированы несмотря на наличие визитов с Stylish и FriGate.
Справка:
Утечка данных через DNS происходит, когда запросы на перевод доменных имен в IP-адреса, попадают в ненадежные руки. В результате, даже если ваш интернет-трафик зашифрован, сторонние наблюдатели могут увидеть, какие сайты вы посещаете.
Антифрод SimilarWeb (т.е. защита от накрутки)
Таким образом, антифрод SimilarWeb устойчив к накрутке. Чтобы накрутить SimilarWeb нужно знать адреса тех, кто им данные сливает. И второй момент - их основа предполагает использование количественных характеристик для идентификации подлинности трафика.
Привожу примеры:
- Допустим, 100 визитов из 100 осуществлены через одни и те же ДНС.
- Или для 100 заходов ни у одного не установлен AdBlock (это можно проверить и без слива).
- Или все 100 заходов от одного интернет провайдера.
- Или все 100 заходов новые, без истории навигации в интернете.
Пересечение подобных характеристик - это и есть накрученный трафик или трафик ботов. Характеристики выше - это просто примеры, это идея.
До слива персональных данных один шаг
Вот, допустим, директор крупной кампании - всё у него честно. Но тут к нему приходят "друзья": демонстрируют интим-фото, намекают что жена и дети, предлагают деньги. И всё - с этого момента он завербован и обезличенный сбор данных превращается в персональный.
Можно ли защитится от утечки данных?
Наверно нет: источников слива много: кого-то взломают, кто-то сам сольет. Да, можно использовать свой личный ВПН сервер, можно не использовать браузерные расширения, можно выпиливать с сайтов метрику, аналитику и другие пикселы. Но даже если это сделать, то, все равно, у нас дырявая операционная система, дырявый браузер и т.п. Поэтому я не парюсь)
Представьте, вы написали свой сервис веб-почты, или классное расширение, которое стилизует браузер. Такие сервисы могут набирать миллионную аудиторию, но только если они бесплатны.
Так кто же готов платить за такой сервис? Только тот, кому нужен контроль над пользователями - тот, кто хочет знать о них все.
Справка.
SimilarWeb — это компания, которая предоставляет аналитику о посещаемости сайтов. На сайтах нет скриптов учёта посещаемости от SimilarWeb, но это не мешает им предсказать посещаемость каждого сайта в интернете.Как SimilarWeb Получает Данные
Одним из ярких примеров слива данных является покупка компанией SimilarWeb популярного расширения для браузера Stylish. После его приобретения в расширение было встроено шпионское ПО. Это ПО, как минимум, отслеживало посещаемые пользователями сайты.
Кто Еще Сливает Данные в SimilarWeb?
До июля 2023 года для русскоязычного сегмента интернета компания использовала как минимум три источника данных о трафике сайта:
- Браузерное расширение Stylish
- Браузерное Расширение FriGate
- Некоторые DNS-серверы.
Как примерно работает эмпирическая система учёта трафика SimilarWeb?
Для того, чтобы эмпирическая система SimilarWeb сделала прогноз, необходимо присутствие данных из всех 3-х источников, что представлены выше. Например, если вы посещаете сайт habr.com с расширением FriGate, а ваш друг посещает этот же сайт с установленным расширением Stylish, и есть запросы через DNS-серверы, которые сотрудничают с SimilarWeb, то этот факт даст к росту трафика. Однако, если я прогоню запросы через DNS-серверы, которые с SimilarWeb не делятся (например Билайн), то визиты будут проигнорированы несмотря на наличие визитов с Stylish и FriGate.
Справка:
DNS (Domain Name System) – это система, которая переводит доменные имена сайтов в IP-адреса.Утечка данных через DNS происходит, когда запросы на перевод доменных имен в IP-адреса, попадают в ненадежные руки. В результате, даже если ваш интернет-трафик зашифрован, сторонние наблюдатели могут увидеть, какие сайты вы посещаете.
Антифрод SimilarWeb (т.е. защита от накрутки)
Таким образом, антифрод SimilarWeb устойчив к накрутке. Чтобы накрутить SimilarWeb нужно знать адреса тех, кто им данные сливает. И второй момент - их основа предполагает использование количественных характеристик для идентификации подлинности трафика.
Привожу примеры:
- Допустим, 100 визитов из 100 осуществлены через одни и те же ДНС.
- Или для 100 заходов ни у одного не установлен AdBlock (это можно проверить и без слива).
- Или все 100 заходов от одного интернет провайдера.
- Или все 100 заходов новые, без истории навигации в интернете.
Пересечение подобных характеристик - это и есть накрученный трафик или трафик ботов. Характеристики выше - это просто примеры, это идея.
В любом трафике ботов можно выделить одинаковые характеристики несмотря на подмену фингерпринта, IP адресов, DNS и так далее. Нужно знать как работают боты и понимать где искать эти характеристики.До слива персональных данных один шаг
Вот, допустим, директор крупной кампании - всё у него честно. Но тут к нему приходят "друзья": демонстрируют интим-фото, намекают что жена и дети, предлагают деньги. И всё - с этого момента он завербован и обезличенный сбор данных превращается в персональный.
Можно ли защитится от утечки данных?
Наверно нет: источников слива много: кого-то взломают, кто-то сам сольет. Да, можно использовать свой личный ВПН сервер, можно не использовать браузерные расширения, можно выпиливать с сайтов метрику, аналитику и другие пикселы. Но даже если это сделать, то, все равно, у нас дырявая операционная система, дырявый браузер и т.п. Поэтому я не парюсь)
Как посмотреть слепки браузера в KillBot.
Смотрите скриншоты.
KillBot кластеризует трафик на слепки. За каждым слепком стоит группа пользователей или ботов.
Поведение пользователей каждого слепка можно оценить - есть ссылка на вебвизор.
Вы самостоятельно можете классифицировать слепок - кому он принадлежит пользователю или боту. Это дает возможность, например, заблокировать кластер визитов принадлежащей только одной бот программе.
Смотрите скриншоты.
KillBot кластеризует трафик на слепки. За каждым слепком стоит группа пользователей или ботов.
Поведение пользователей каждого слепка можно оценить - есть ссылка на вебвизор.
Вы самостоятельно можете классифицировать слепок - кому он принадлежит пользователю или боту. Это дает возможность, например, заблокировать кластер визитов принадлежащей только одной бот программе.
Скриншот 28-06-2024 153514.jpg
30.4 KB
Реализовано автоматическое выявление слепков ботов. Визит помечается как бот или нет в полностью автоматическом режиме. Руками так же можно донастроить. Это апдейт "Гроза".
Теперь, для абсолютного большинства современных ботов, вам не требуется тратить время на анализ поведения пользователей внутри слепка - KillBot это делает за вас.
Ошибка может каснуться только пользователей браузера ТОР (т.е. пользователей которые умышленно себя скрывают). Объем такого трафика мизерный, а если он и есть, то просто добавляем слепок вашей сессии ТОР в список известных - и живём дальше без ошибок.
Работает волшебно. Выбирайте опцию как на скрине, пробуйте. Если будут ошибки, то все они на уровне багов, фича новая.
Скоро будет апдейт "Шторм" - будет предоставлен доступ к ID устройства с которого осуществляется доступ в интернет. Т.е. если я выхожу со своего компьютера в интернет, то у меня будтет одинаковый ID, вне зависимости от того, какой браузер или бот программу я использую. Исключением так же является браузер TOR.
Благодаря этому можно вычислить личность мошенника: кто-то наспамил в режиме инкогнито под впн, а потом со своего же компа залогинился под личной учетной записью - неудачник). ID устройства, конечно же не уникально, но уникальности достаточно чтобы выявить ворону в сообществе из нескольких тысяч или даже десятков тысяч человек.
Теперь, для абсолютного большинства современных ботов, вам не требуется тратить время на анализ поведения пользователей внутри слепка - KillBot это делает за вас.
Ошибка может каснуться только пользователей браузера ТОР (т.е. пользователей которые умышленно себя скрывают). Объем такого трафика мизерный, а если он и есть, то просто добавляем слепок вашей сессии ТОР в список известных - и живём дальше без ошибок.
Работает волшебно. Выбирайте опцию как на скрине, пробуйте. Если будут ошибки, то все они на уровне багов, фича новая.
Скоро будет апдейт "Шторм" - будет предоставлен доступ к ID устройства с которого осуществляется доступ в интернет. Т.е. если я выхожу со своего компьютера в интернет, то у меня будтет одинаковый ID, вне зависимости от того, какой браузер или бот программу я использую. Исключением так же является браузер TOR.
Благодаря этому можно вычислить личность мошенника: кто-то наспамил в режиме инкогнито под впн, а потом со своего же компа залогинился под личной учетной записью - неудачник). ID устройства, конечно же не уникально, но уникальности достаточно чтобы выявить ворону в сообществе из нескольких тысяч или даже десятков тысяч человек.
Слайдер, АПИ, индивидуальные действия: Что нового появилось в KillBot
1. Для каждого слепка теперь можно указать индивидуальное действие. Визитам с отдельным слепком можно: показать капчу, заблокировать, скрыть метрику или обработать по умолчанию.
2. Системные группы браузеров разбиты на две, это
3. Гугл капча убрана. На её место пришла наша капча - "слайдер". Так как килбот еще не популярен, то боты её не разгадывают. Для пользователя этот вид капчи решается очень легко, поэтому рекомендую при анализе слепков выставлять эту опцию. Если за слепком много решений капч, то за слепком - пользователи.
4. Появилось АПИ: https://killbot.ru/API
Примеры вариантов интеграции по АПИ:
- создать модуль для популярной cms с подключением KillBot (по партнёрской программе процент с продаж 50%-20%)
- усилить свое антирод решение
Рекомендую:
- Обновить код KillBot, чтобы все последние изменения стали актуальны.
- В настойках скрипта выберите дополнительную группу браузеров: "Системные браузеры [поведение]" - эта вновь добавленная группа, для старых проектов она не подключена.
1. Для каждого слепка теперь можно указать индивидуальное действие. Визитам с отдельным слепком можно: показать капчу, заблокировать, скрыть метрику или обработать по умолчанию.
2. Системные группы браузеров разбиты на две, это
"Системные браузеры [оплата]" и "Системные браузеры [поведение]". Браузер попадает в группу "Системные браузеры [оплата]", если с него зафиксирован факт оплаты деньгами. В группу "Системные браузеры [поведение]" браузер попадает по анализу поведения. Пример осознанного поведения настоящего пользователя: пользователь перешел из поиска по запросу "купить плитку под дерево", и на сайте из всей палитры цветов акцуентирует внимание именно на плитке с цветом дерева. Браузеры таких осознанных визитов попадают в эту группу. 3. Гугл капча убрана. На её место пришла наша капча - "слайдер". Так как килбот еще не популярен, то боты её не разгадывают. Для пользователя этот вид капчи решается очень легко, поэтому рекомендую при анализе слепков выставлять эту опцию. Если за слепком много решений капч, то за слепком - пользователи.
4. Появилось АПИ: https://killbot.ru/API
Интегрируйте наше решение по АПИ, интеграция очень простая - нужно просто подключить js файл, а потом get запросом получить результат. Примеры вариантов интеграции по АПИ:
- создать модуль для популярной cms с подключением KillBot (по партнёрской программе процент с продаж 50%-20%)
- усилить свое антирод решение
Рекомендую:
- Обновить код KillBot, чтобы все последние изменения стали актуальны.
- В настойках скрипта выберите дополнительную группу браузеров: "Системные браузеры [поведение]" - эта вновь добавленная группа, для старых проектов она не подключена.
2% роботности по Метрике после использования KillBot.
Это дали настройки по умолчанию, даже без профессиональной подстройки. Не знаю ни одного сервиса кто мог бы похвастаться этим же.
Скриншоты предоставлены клиентом, который интегрировал KillBot по API
Первый скриншот - это роботность по тем визитам, которые KillBot пометил как настоящие пользователи. А второй скриншот - это роботность по всему трафику сайта. Для KillBot это элементарный кейс - он легко повторяется на любом сайте.
Как именно работает роботность в Яндекс Метрике?
Смотрите, каждый из нас - это индивидуальная личность, я каждое утро встаю и читаю новости на lenta ру, сюда же добавляется еще ряд сайтов, которые я посещаю регулярно. Далее я перехожу на свой рабочий сайт и работаю уже на нем. Примерно такое же поведение у каждого из нас.
Как работают боты?
Ботов нагуливают - чтобы их интересы совпадали с требуемой тематикой. Поэтому боты, в большинстве своём, посещают одни и те же сайты.
Яндекс знает обо всех и всё - и если он видит много разных визитов, в истории навигации в интернете которых одинаковое ядро сайтов, то всех их в роботов. В роботность так же уходят визиты с фингерпринтом, который используют много ботов (вне зависимости от истории посещений). Так же в роботов попадут плохо написанные боты технически.
В целом, идея роботности по версии Яндекса очень хорошая и на неё можно ссылаться.
Это дали настройки по умолчанию, даже без профессиональной подстройки. Не знаю ни одного сервиса кто мог бы похвастаться этим же.
Скриншоты предоставлены клиентом, который интегрировал KillBot по API
Первый скриншот - это роботность по тем визитам, которые KillBot пометил как настоящие пользователи. А второй скриншот - это роботность по всему трафику сайта. Для KillBot это элементарный кейс - он легко повторяется на любом сайте.
Как именно работает роботность в Яндекс Метрике?
Смотрите, каждый из нас - это индивидуальная личность, я каждое утро встаю и читаю новости на lenta ру, сюда же добавляется еще ряд сайтов, которые я посещаю регулярно. Далее я перехожу на свой рабочий сайт и работаю уже на нем. Примерно такое же поведение у каждого из нас.
Как работают боты?
Ботов нагуливают - чтобы их интересы совпадали с требуемой тематикой. Поэтому боты, в большинстве своём, посещают одни и те же сайты.
Яндекс знает обо всех и всё - и если он видит много разных визитов, в истории навигации в интернете которых одинаковое ядро сайтов, то всех их в роботов. В роботность так же уходят визиты с фингерпринтом, который используют много ботов (вне зависимости от истории посещений). Так же в роботов попадут плохо написанные боты технически.
В целом, идея роботности по версии Яндекса очень хорошая и на неё можно ссылаться.
Новые видео по работе с KillBot
Прежние видео сильно устарели.
Если вы только планируете использовать KillBot, то начните с обзора возможностей и первичной настройки. ШАГ 1: https://vk.com/video-218866928_456239047
Если вы уже используете KillBot, то рекомендую сразу посмотреть видео по продвинутому анализу слепков.
ШАГ 2: https://vk.com/video-218866928_456239049
Прежние видео сильно устарели.
Если вы только планируете использовать KillBot, то начните с обзора возможностей и первичной настройки. ШАГ 1: https://vk.com/video-218866928_456239047
Если вы уже используете KillBot, то рекомендую сразу посмотреть видео по продвинутому анализу слепков.
ШАГ 2: https://vk.com/video-218866928_456239049
VK Видео
Защита сайта от ботов, антифрод
Как пометить визиты сайта как бот или пользователь в метрике. Как именно сконфигурировать скрипт KillBot. Как отличить визит пользователя от бота. Видео по анализу слепков: https://vk.com/video-218866928_456239048 https://t.me/KillBotRus - телеграм канал…
DeviceID - доказать почему это бот сможет каждый
DeviceID - это новый идентификатор, который генерирует KillBot.
Начну с того, как именно работают боты.
Боты - это не разрозненные программы, которые бегают в интернет. Боты - это один софт, который работает на сервере и содаёт тысячи ботовских сессий.
Каждая ботовская сессия представляется реальным устройством на базе iOS, Android или PC.
Боты работают грамотно и подменяют браузерные параметры, поэтому сайт думает, что заход осуществлен с настощего смартфона, а не с ботовского софта, работающего на сервере.
DeviceID - это идентификатор устройсва на котором запущен браузер или бот.
DeviceID в KillBot описывает 4-ре устройства:
- Android: это значит, что запуск браузера осуществлен с ОС Android
- Apple: это значит, что запуск браузера осуществлен с продуктов фирмы Apple
- PC: запуск браузера осуществлен с персонального компьютера
- Server: запуск браузера осуществлен с очень мощного компьютера - в большинстве своём - это сервера.
Как и слепок браузера, DeviceID устойчив к подмене параметров - бот пытается скрыть свою истинную платформу, но на DeviceID это влияние не оказывает.
Как доказать, что был визит бота по DeviceID?
- Был визит на сайт, который представился как визит с Android;
- Смотрим DeviceID визита;
- Если DrviceID - это сервер, то визит однозначно ботовский: смартфонов Andriod с серверным железом просто нет;
Вот видео, в котором я рассказываю еще раз о слепке браузера и новом DeviceID: https://vk.com/video-218866928_456239050
Пример: как по DeviceID легко выявляются ботовские клики в Яндекс Директ: https://vk.com/video-218866928_456239051
Сейчас DeviceID в личном кабинете доступен не для всех. Для всех DeviceID работал в период 6-8 сентября.
На текущий момент я могу активировать DeviceID выборочно по запросу.
Для всех фича DeviceID заработает ближе к концу сентября, когда будут выполнены работы по оптимизации.
DeviceID - это новый идентификатор, который генерирует KillBot.
Начну с того, как именно работают боты.
Боты - это не разрозненные программы, которые бегают в интернет. Боты - это один софт, который работает на сервере и содаёт тысячи ботовских сессий.
Каждая ботовская сессия представляется реальным устройством на базе iOS, Android или PC.
Боты работают грамотно и подменяют браузерные параметры, поэтому сайт думает, что заход осуществлен с настощего смартфона, а не с ботовского софта, работающего на сервере.
DeviceID - это идентификатор устройсва на котором запущен браузер или бот.
DeviceID в KillBot описывает 4-ре устройства:
- Android: это значит, что запуск браузера осуществлен с ОС Android
- Apple: это значит, что запуск браузера осуществлен с продуктов фирмы Apple
- PC: запуск браузера осуществлен с персонального компьютера
- Server: запуск браузера осуществлен с очень мощного компьютера - в большинстве своём - это сервера.
Как и слепок браузера, DeviceID устойчив к подмене параметров - бот пытается скрыть свою истинную платформу, но на DeviceID это влияние не оказывает.
Как доказать, что был визит бота по DeviceID?
- Был визит на сайт, который представился как визит с Android;
- Смотрим DeviceID визита;
- Если DrviceID - это сервер, то визит однозначно ботовский: смартфонов Andriod с серверным железом просто нет;
Вот видео, в котором я рассказываю еще раз о слепке браузера и новом DeviceID: https://vk.com/video-218866928_456239050
Пример: как по DeviceID легко выявляются ботовские клики в Яндекс Директ: https://vk.com/video-218866928_456239051
Сейчас DeviceID в личном кабинете доступен не для всех. Для всех DeviceID работал в период 6-8 сентября.
На текущий момент я могу активировать DeviceID выборочно по запросу.
Для всех фича DeviceID заработает ближе к концу сентября, когда будут выполнены работы по оптимизации.
VK Видео
Идентификаторы ботов: DeviceID и слепок браузера в KillBot
В видео рассказываю об основных понятиях, которыми оперирует килбот. После просмотра этого видео обязательно посмотрите еще и это видео: https://vk.com/video-218866928_456239047 Как именно нужно понимать слепок браузера и DeviceID? Как фильтровать бота по…