Судя по всему мои приседания с листами прокачки прошли не зря. В течении последних 4х дней произошло пробитие топ3 к топ1 на нескольких сайтах. Через пару дней докачает новые профили (14 дней в сумме) и тестировать на других сайтах.

Новые профили с новым методом прокачки зло. (для тех кто в танке читайте в канале выше). Вчера переключил их на 10 сайтов, все что было в топ7-10 попало в топ-3, тут надо отметить то что произошло это за сутки на 4х сайтах.(до этого такой подъем я видел только в сказочных снах) Коммерческая ниша частотка по ВЧ ["!"] 30к+. Все что было ниже топ10 как было в дне так и осталось, дело времени. Естественно все что выше так и осталось но добавлено ещё несколько нюансов о которых рассказывать я уже не буду.

! Внимание !
Данный канал создан чисто по фану для описывания способов тестов, результатов тестов и обменом опыта с теми 0.5% который есть в подписчиках.
Тут описываю только свое ИМХО и ничего больше, если вам не нравится можете не читать.


- Услуги по накрутке не предоставляю (Даже за хорошие деньги)
- Базы ссылок не продаю
- Уроки не предоставляю
- Колл центра тоже нет
- роботность для пидоров и про неё было сказано тыща постов
Но если уж прям много денег, то напишите посмотрим. (но крутить всеравно не буду, своего говна хватает).

вы можете написать мне в ЛС и рассказать про ваши интересные тесты если таковы есть. В канале такие вещи не публикуются.

Обновление генератора ключей до версии 3.0
- Добавлено брендирование ключей которых нет в топ20 (теперь если ключа нету автоматически подставляется бренд слово с расчетом трафика)
- Возможность выключать точный сбор частотки вордстат(необходимо для слишком малочастотных проектов)
- Помимо webvisitor, добавлена поддержка monstro, при желании также будет добавлен zennoposoter (нужен пример)
- Исправление мелких багов
конфиги нужно будет обновить
За обновлением и покупкой(150$) пишите в лс @desed
Обновления бесплатны.

Про генератор почитать: https://t.me/yandex_bots/10

Роботность
- Корреляции между позициями в ПС и роботностью НЕТ! Об этом говорят графики которые я мониторю уже 4 месяца.
- У меня роботность минимальная где-то 1% где-то 6% с редкими всплесками до 20-30%. Во время всплесков разницы нет, не до не после.
- Если у тебя 1% роботности то на другом сайте может быть 100% и ты никогда об этом не узнаешь.
- Чтоб убрать роботность нужно задавать боту цели. (не спрашивайте как)

Все.

Обновление генератора ключей до версии 3.5
- Рефакторинг кода
- Изменение алгоритма подсчета трафа в отчет.
- Исправление мелких багов.
- Теперь версия сбора статы с webmastera включена в основную ветку скипта (функция доступна только тем кто покупал веб мастер версию.)
- Изменения алгоритмов работы с НЧ запросами.

Для тех кто в танке по скрипту с вебмастером, открываю тайну века.
Если зайти в вебмастер поисковые запросы -> Управление группами
Вы увидите показы,клики,позицию,ctr по своим ключам ЗА НЕДЕЛЮ (средняя, average).
Точней информации чем там быть не может впринципе.
Вордстат дает общие представление в очень очень сфеерическом ваакуме по этим данным мы можем только понять относительность популярности ключей в группе.
С вебмастером все иначе, если ваш сайт в топ10 по выдаче то вы увидите реальную картину выдачи и действительно реальный цифры.
Данная штука нужна только для тех проектов где ваша частотка по "[!W]" от 20к и выше. Для остальных штука бесполезная.
Она поможет крутить нормально когда у вас в вордстате цифры далеки от реальности, у вас гембла или вы хотите точности.

Скрипт умеет брать эти данные и считать на основе этих данных сколько ПФ вам крутить.
Данное дополнение(не обновление, а фича с вебмастером) дорого богато +250$.

Важно
Советую проверять фингерпринты которые вы покупаете.
Если принты старые или хоть чутка с ними что-то не так, у вас в лучшем случае не будет роста. В худшем все полетит сильно вниз.

Для тех кто использует API баса, беспокоится не нужно(но ИМХО я не уверен.)
Как оказалось от фингеров зависит много что, я наступил на эти грабли, поправил принты и почти сразу пошел эффект

На скрине Долгосрочные интересы. Сайт по факту как эксперимент, выборка за 7 дней. 99% из них боты

Давно я не рассказывал о методах ДИ и новых придуманных и найденых фичах за последнее время.

Про ДИ примерно можно почитать тут https://t.me/yandex_bots/89

В общем с более совершенной системой прокачки я качаю профили чуть больше месяца.
Результаты есть почти на всех сайтах и они закрепились.
Если открывать в метрике "Долгосрочные интересы" то они не имеют отличий от живого пользователя.
Также пол, возраст, набор тематик все как у живого трафика.
В общем данные по аудитории вы можете увидеть на скрине.
ИМХО обычно это самая платежоспособная аудитория получается.
Определить в метрике что это бот почти нереально.

Когда система была обкатана я пошел дальше и сделал планировщик урлов под потоки.
Фактически это отдельный сервис в виде одной ссылке которая направляет бота куда нужна.
Вместо генерации листов прокачки и раскидывания их на десятки машин и в ручную обновляя каждый раз я просто раз и на всегда ставлю 1 ссылку и ВСЕ.

Как это работает:
1. Профиль при прокачке заходит на мой урл.
2. Профиль идентефицируется системой, проверяет на каких сайтах он уже был.
3. Дальше скрипт определяет с какого прокси мы сидим ipv4 или ipv6
4. Ищем сайт в зависимости от типа прокси для ipv6 только ipv6 и.т.д
5. Ищет домен на котором профиль ещё не был
6. Ищем ссылку на домене
7. Проверяем доступность домена, если не доступен сразу даем другой линк до тех пор пока не будет рабочий. (когда много сайтов постоянно весомый % страниц тупо не работают и ваш бот молотит в холостую, засирая логи ошибками)
8. Ваш бот отправляется покорять интернеты

Фактически это API сервис
Были некоторые сложности с производительностью т.к как страниц много. Сейчас в итоге все работает за 9мс +100-200мс на проверку сайта.

Также из-за логирования можно отслеживать множество разных вещей, которые я потом наложу на графики.
Можно будет с телефончега посмотреть как у вас все работает на серверах даже не заходя на них.

В итоге сейчас пул из 3.5м урлов(который расширится до 8+) и ~50к доменов.
Я использую только те сайты которые входят в тематику, у которых есть метрика и.т.д (чтоб их достать пришлось распарсить весь рунет).


Фингерпринты
В общем словив пару оплевух от яндекса за фингеры я начал разбиратся в процессе основательно.
90-95% того что дает сервис баса по отпечаткам старое говно.
Также на этих отпечатках каждый день качаются миллионы профилей всех разных софтов.

Итог пришлось собирать свои приватные отпечатки.
Что и как, долго нудно. Много кода и приседаний.

Т.к как штуки с урлами превратились в отд API сервис, готов взять на корабль ещё 1-2х человек. Стоимость билета 2к$ ибо API и куча работы денег стоят.
Пускать на массовый лад по очевидным причинам смысла нет.

С долгосрочными интересами (ДИ) выхожу на качественно новый уровень. Теперь на каждый профиль будет вешатся примерный разброс по общим увлечениям и тематикам. Удалось определить для доменов тематики а также их региональность.
Таблица тематика - колво сайтов - просто айдишник

2 недели работы на обновление:

Принты
Теперь приватные фингеры которые собираются с сайтов т.е людей.
Лежат на серваке и обновляются раз в 2 часа и готовы к выгрузке (можно даже автоматизировать)

Обновление по Базе
100 911 уник домен (увеличено х2)
IPV6 17382
IPV4 83529

УРЛОВ 18.2 млн

Кто-то может сказать что мало, у меня там пол ляма лежит с метрикой но мусор. Это все что вошло в тематики со всеми фильтрами

- Теперь для сайтов определяется категория и тематика - определено из базы 78654 шт
- Появились листы по стоп словам, для фильтрации не нужного говна.
- Появилась дополнительная валидация домена через title, description (раньше валидация была через поисковые ключи)
- Определение региона сайта по title, description (через ключи нельзя ибо интернет магазины..)

Система парсинга урлов теперь не с мегаиндекса а с яндекс поиска. В много ступеней.
Если очень коротко, то так:
1. Собираем основные корневые ключи с гугл тренд по тематикам.
2. На основе этих ключей парсим на каждый ещё по 15 на выходе получаем 200к
3. Парсим по этим 200к ключам всю выдачу Яндекса в топ100 = 20 лям урлов
4. Делаем домены, удаляем дубли. Удаляем то что было в базе, чекаем на ботов, метрику, протокол и.т.д
5. На каждый домен парсим выдачу по site: domain.com + 3 запроса по ключам с фильтром на НОВОЕ. +400 линков на каждый домен, по ходу парсинга ещё есть фильтры от мусора и.т.д
6. Получаем 18.2 лям урлов.

Система редиректа профилей+

Чо за система? Вместо скармливания тонны беспорядочно рандомных ссылок за это отвечает отдельный сервис.
Берешь забиваешь один линк по которому ходят твои боты и забываешь про приседания и обновления листов ссылок и прочей фигни.
Это дает возможности:
- Профиль не зайдет на один домен дважды
- Можно рулить ДИ
- Можно закинуть прокси ipv6 и ipv4 в одну кучу оно определяется на лету
- Отсутствие битых сайтов впринципе. (они постоянно проверяются)
- Возможность полного мониторинга каждого сервера, где какие просадки и.т.д Сколько заходов в час-день-неделю-минуту
- Подсчет сайтов (а не убогий метод счета cookies, который ничего не дает).
- Можно взять отдельный профиль и посмотреть когда-куда он заходил. По каким ДИ и сколько раз, включая IP адреса и.т.д
- Система из-за того что ненатыкается на повторные сайты, битые сайты дает кпд +15-20%. Если вы используете базы без чекинга то % будет выше.

Данная система будет работать абсолютно на любом софте.



- Добавлена система кеширования и куча мелких оптимизаций.
- Теперь сайты будет чекать отдельным микросервисом на сервере по кругу 24/7. (до этого это делалось перед заходом). это ускорит на 200-500мс все дело на каждый заход.


Разберем линк:
/&server=1&region=213&cat_string=47;80|67;50|48;60|37;90|473;60

- server = номер сервера на котором мы крутим. Ставим обязательно ибо в течении следующей неделе появятся графики и стата.
- region = https://yandex.ru/dev/xml/doc/dg/reference/regions.html указываем тоже самое что и в Яде. Теперь скрипт будет пускать ваши профили только на региональные сайты и на те для которых региона нет.
условно качая бота под МСК он не будет бегать по сайтам Новосибирска.
Сайты с определенным регионом: https://paste2.org/LHttZyEt колво сайтов / номер региона
- cat_string = данная строка позволяет нам распределить пропорции ДИ. Если ничего не указывать, ничего страшного не случится и ваш ДИ будет размазан равномерно, думаю каждый бот сейчас будет получать
интересов больше чем у простых людей. Вы с помощью этой строки сможете настроить СВОИ собственные ДИ вплане пропорций.
К примеру строка 47;80|67;50|48;60|37;90|473;60
47 - ид категории
80 - это % шанса клацания на эту категорию.
символ | это разделитель. Т.е можете распределить хоть все 150шт.
Не ставьте категории у которых колво сайтов ниже 30.
% шанса ставим от 6 до 99%

На выходе условно будет так. Сейчас 150 категорий, если у категории много сайтов то шанс клика на нее 6% и чем меньше сайтов тем ниже.
Когда вы вносите коррективы к примеру на категорию Автомобили пишите 80%, то на неё из 150шт будет кликат чаще но не с шансом 80%(но один фиг чаще всех что есть в списке).
Вы можете указать одинаковую процентовку и.т.д Просто открываете свои ДИ в дни без ботов и слизывайте от туда проценты и все.

Категории https://paste2.org/IHjA3b9H ид категории / описание / колво сайтов
категория с идом 10000 это те сайты которые не определило.

Если вы где-то что-то напортачите или сайт по категории не найдется, он даст ссылку на общий. Так-что не переживайте.

-----------
В планах на май:
- Сделать фул веб мониторинг по все статистике прокачки.
- Улучшить методы детекта региона и тематики.


Если вы хотите билет на кораблик(систему) то вход 2000$, на кораблике уже есть люди.

ИМХО Мануал [Рекомендации] по накрутке
Это актуально для частоток 20к ["!"] и выше.
Для частоток аля 1-5к не думаю что есть смысл так заморачиватся, но прочесть стоит.

Разберем для сайта у которого 0 живого трафа.
Скрипт умеет наливать бренд запросы если ключей нет в поиске

Льем пациенту по 30-50 трафа в сутки, если позиции двинулись с мертвой точки немного наращиваем НЕМНОГО!
Дальше игра в долгую может буст пойти за 2 недели а может и за 2 месяца. С чем это связано я не ебу просто.
Льем ключи абсолютно по всему пулу запросов, больше лучше. Скрипт не даст использовать прям говно ключи у которых трафа 0.
Рано или поздно сайт начнет выплывать к топ20 как только сайт выплыл в топ20 начинаем лить по органик ключам но совсем чуть-чуть.
Бренд также оставляем.
Потом обычно наступает день X и ваш сайт пробивает 10ку причем по всему массиву, дальше перегениваем под актуал реалии ключи и льем трафа как на топ4-5.
И льем в среднем 30-35% трафа от ЖИВОГО. Не больше не меньше.

Топ 5 и выше
Когда пробиваем 5е место начинается самое интересное.

Для пробития в топ1-4 вам нужно:
1. Нормальный запас профилей чтоб держать топ.
2. Все ваши НЧ и СЧ должны уже быть в топ3. (это очень важно)
3. Внимательность и терпение.

После того как мы сидим хотяб дня 3 на одном месте и летаем +-2 то пора наваливать на ставки выше.

В генераторе указываем произвольную позицию топ1 и геним не БОЛЬШЕ 40% от живого трафа.
Ждем несколько дней, если ситуация не меняется наваливаем эту цифру до 50%.
Рост обычно приходит внезапно в течении недели, топ1 не обещаю но топ3 стабильно можно.

Если вы оседлали топ1. Не подливайте трафик ВООБЩЕ, темболее не уменьшайте.

Важные нюансы
1. Яндекс не даст тебе больше пользователей чем решил он сам. Если вы будете лить много ботов то 1 бот = 1 посетитель сайта, даже на ТОП1. (т.е топ есть а конверсии нет)
2. Если в логах кликах ваш сайт все время в топ1 или намного выше чем должен быть. Ваши профили запалены (я в целом с этого и начал заниматся этой лютой дичью, на новом методе профили не залипают в топ1).
залипалово обычно происходит когда крутишь долго.
3. Если стопнуть ботов или "дать сайту отдохнуть" то ваша перспектива с топ1 отлететь на 10ку. Причем пару часов у вас будет лютый врыв живых юзеров а потом вы отлетите. Если включить все вернется но уже не факт что на топ1
4. Если понял что переливаешь трафик то сбавлять его нужно плавно. Если делать резко то перспектива пункта номер 3.
5. Если сильно увеличить разово трафик перспектива п.3
6. Никогда не лить много когда сайта нет в топе. Есть долбоебы которые льют по 500 ботов на сайт которого в топ50 даже нет.
7. Не лейте ботов со второй страницы яндекса! НИКОГДА! Для этого есть бренд запросы.
8. Когда у вас все запросы с топ10 переключитесь на версию вебмастера. Она считает намного точней чем вордстат, там самая точная статистика. (если гембла то вообще единственная).
9. на CTR похуй, тестил смотрел корреляции ноль. Раньше работало
10. Если налить сразу и много будет Н и Х у Я.
11. Если ваш сайт плохой, то вы начали не с той оптимизации.
12. Если у сайта нет моб версии, то вы начали не с той оптимизации.
13. Всегда стабильно увеличивай или уменьшай трафик. ВСЕГДА. При резких поворотах сайт летает по выдаче.

И ещё
Можно не юзать бренд запросы и крутить для начала только те ключи которые есть в выдаче топ10. У любого более менее норм сайта должен быть траф с пары десятков НЧ ключей.
(за исключением совсем новых сайтов). Подливайте потихоньку и со временем пул будет расширятся.

Почему для топ1 НЧ и СЧ должны быть в топ3. Кароче для поддержки топ1 нужно лить много ботов, в итоге топ1 по ВЧ есть но трафа нет.
Когда есть НЧ и СЧ можно нормально компенсировать и не жертвовать живым трафом.

Сайты исключения:
У меня 14 сайтов. В топе 11шт.
Частота по вч от 20к до 110к на ключ, в нише крутят вообще все.
На 3х сайтах достигнут стабилити топ1-2.
На 5 сайтах стабилити 3-5.
На остальных качели от 3го до 8го.
Инфа более менее актуальна за последние месяца 2.
Если у тебя другое мнение WELCOME комментарии

Комбайн по прокачке/работы профилей можно сказать закончен.
Как теперь все работает прокачка.
Для прокачки профилей теперь не нужно мучится с парсингом урлов, доменов, вечной их проверкой и.т.д
Для этого есть всего одна ссылка
https://example.com/example?&server=1&region=213&cat_string=37;78|47;64|473;64|815;64|438;4

В ней я указываю сервер/регион/долгосрочные интересы(категории сайтов) и их процентовку.
Кладу в софт и все. Бот переходит на линк, дальше уже мой софт определяет тип прокси 4-6ки, подбирает сайт по региону и ДИ и выдает его.
Все это занимает 70-90мс. Дальше заход пишется в логи, на основах этих логов бот дважды на один сайт заходить не будет. Для того что максимально нагулять профили.

Тоже самое я сделал по прокачке с поисковыми заходами. Поисковые ключи идут по долгосрочным интересам.

Реализован свой API для фингерпринтов. 24/7 качаются принты со своих сайтов +принты с баса. Фильтруются от фигни и всегда доступны по API линку.
Т.к как сервис баса падает по КД каждую неделю, +много фингеров не вызывает доверия.

Система полного контроля за профилями.
Открываешь ссылочку на телефоне и смотришь полный мониторинг по всем серверам.
- Графики скорости работы по каждому серверу по дням-часам.
- Сколько нагуливают сайтов профили по дням.
- Расчеты производительности прокачки по каждому серверу. И сколько действительно будет нормальных профилей и когда.
- Всякие выгрузки по прокси/устройствам и.т.д

Фактически можно мониторить любую информацию.


Техническая часть
Так как не я один пользуюсь сервисом, на API сервис летит от 1 до 3 миллионов запросов в сутки.
Логирование реализовано через clickhouse. Домены и прочие вещи лежат в mysql но кешируются через redis.
Фингеры лежат в mongodb, в случае высокой нагрузки можно закешировать в redis.

clickhouse позволяет работать с логами за адекватное количество времени на каждую выгрузку данных, т.к как данных сотни миллионов строк.

Под это все дело куплен отдельный выделенный сервер.

Че это дало в итоге
- Производительность, она выросла в двое.
- ipv6 и ipv4 прокси можно хранить в одной куче.
- Отслеживание всех серверов лежа на диване. (у меня их 9)
- Профили стали намного лучше (их качество теперь можно отслеживая не тыкая пальцем в небо)
- Ставить эксперименты и разные штуки проще.
- Экономия времени в долгосрочной перспективе несоизмерима.
- Легкая масштабируемость, никаких файлов.

Планы
Автоматический парсинг контента с яндекс сервисов и прокачка на них.

https://rextester.com/ONOL11023 Сделал простой скриптик, просто считает колво нужных профилей на количество заданий. Также показывает трафик и.т.д Вводите свое колво заданий и дней прокачки и воуля. UPD задания умножайте на колво заходов за задание