Комбайн по прокачке/работы профилей можно сказать закончен.
Как теперь все работает прокачка.
Для прокачки профилей теперь не нужно мучится с парсингом урлов, доменов, вечной их проверкой и.т.д
Для этого есть всего одна ссылка
https://example.com/example?&server=1&region=213&cat_string=37;78|47;64|473;64|815;64|438;4

В ней я указываю сервер/регион/долгосрочные интересы(категории сайтов) и их процентовку.
Кладу в софт и все. Бот переходит на линк, дальше уже мой софт определяет тип прокси 4-6ки, подбирает сайт по региону и ДИ и выдает его.
Все это занимает 70-90мс. Дальше заход пишется в логи, на основах этих логов бот дважды на один сайт заходить не будет. Для того что максимально нагулять профили.

Тоже самое я сделал по прокачке с поисковыми заходами. Поисковые ключи идут по долгосрочным интересам.

Реализован свой API для фингерпринтов. 24/7 качаются принты со своих сайтов +принты с баса. Фильтруются от фигни и всегда доступны по API линку.
Т.к как сервис баса падает по КД каждую неделю, +много фингеров не вызывает доверия.

Система полного контроля за профилями.
Открываешь ссылочку на телефоне и смотришь полный мониторинг по всем серверам.
- Графики скорости работы по каждому серверу по дням-часам.
- Сколько нагуливают сайтов профили по дням.
- Расчеты производительности прокачки по каждому серверу. И сколько действительно будет нормальных профилей и когда.
- Всякие выгрузки по прокси/устройствам и.т.д

Фактически можно мониторить любую информацию.


Техническая часть
Так как не я один пользуюсь сервисом, на API сервис летит от 1 до 3 миллионов запросов в сутки.
Логирование реализовано через clickhouse. Домены и прочие вещи лежат в mysql но кешируются через redis.
Фингеры лежат в mongodb, в случае высокой нагрузки можно закешировать в redis.

clickhouse позволяет работать с логами за адекватное количество времени на каждую выгрузку данных, т.к как данных сотни миллионов строк.

Под это все дело куплен отдельный выделенный сервер.

Че это дало в итоге
- Производительность, она выросла в двое.
- ipv6 и ipv4 прокси можно хранить в одной куче.
- Отслеживание всех серверов лежа на диване. (у меня их 9)
- Профили стали намного лучше (их качество теперь можно отслеживая не тыкая пальцем в небо)
- Ставить эксперименты и разные штуки проще.
- Экономия времени в долгосрочной перспективе несоизмерима.
- Легкая масштабируемость, никаких файлов.

Планы
Автоматический парсинг контента с яндекс сервисов и прокачка на них.

https://rextester.com/ONOL11023 Сделал простой скриптик, просто считает колво нужных профилей на количество заданий. Также показывает трафик и.т.д Вводите свое колво заданий и дней прокачки и воуля. UPD задания умножайте на колво заходов за задание

Кароче все что теперь учитывается как робот не учитывается Яндекс поиском, вообще. Проверяется легко, смотрите сколько кликов у вас в вебмастере и в яндекс метрике. Все что роботы, будут отсеяны в вебмастере. Теперь роботность решает все. Алгоритмы роботности поменяли примерно в середине мая.

Результаты по моим сайтам с 24.02.22 - 24.06.22
Частота ["!"] 10-40к

Отзыв по комбайну

У комбайна было ещё несколько важных изменений в течении пары недель.

Тестирование одной фичи, резалт за 10 часов работы. Частота ["!"] 150к-60к

О Быдлокодер API:
- Мануал есть
- Доступ постоянный
- Платить за API 1 раз, дальше 0$
- Приватный чат, где указания/рекомендации
- Обновления постоянно, какие-то доработки, изменения.
- Софт Monstro на основе баса (Т.к как это API есть возможность легко подключить любой другой.)
- Производительность выше на 30-60% в сравнении с обычными листами прокачки.
- Листы прокачки сделаны через API 13 лям урлов на 110к доменов. (больше в рунете тупо нет, остальное мусор). Все отфильтровано по тематикам на антибот защиты и.т.д Также из коробки можно качать на ipv6
- Вам не нужно делать тесты и искать компромиссы все за вас уже все сделано и описано в документации.
- Полный контроль прокачки от количества сайтов, до выбора их тематик, +графики и статистика.
- Куча закрытых мануалов на основе тестирований.
- Рабочий мануал по апу новорега с быстротопом +медленным ПФ. Проверено на сайтах с высокими частотами, обкатано за 2 месяца.

От вас:
1. Уметь читать
2. Уметь немножечко думать
3. Прокси
4. Железо

Если с первыми тремя пунктами туго, есть человек который все настроит.


Примерные расходы на ПФ:
1. Железо 2800р за 1 сервер на Ryzen 5 3600 / 64gb под 90 потоков.
2. Прокси пакет под 100 мегабит. 15к в месяц (имеет смысл только если у вас 3-5 машин.) Условно 3000руб под 1 сервер.
3. Лицензия Monstro 2000 руб.

Итого: 2800+3000+2000 = 7800 руб в месяц на ~800-900 ботов в сутки или 26000 ботов в месяц.
800-900 ботов в день покроют почти любой сайт с частотой ВЧ ["!"] до 15000. (очень сильно зависит от ниши)


Цена 2500$ никаких: аренд, тестов, дай профили, а можно поставить на мой сайт на неделю и.т.д API не ограничен на количество серверов.
Скидок не будет, цена со временем также будет подниматся. Подписочной модели не будет.
Клиентским SEO не занимаюсь.

По покупке API писать @MaximBim

Оплата: крипта, ру карты, webmoney

Более подробно (информация могла немного устареть. Но смысл остается.):
- О монстро https://t.me/sphereABC/390
- https://t.me/yandex_bots/113 о комбайне
- https://t.me/yandex_bots/109 управление прокачкой
- ещё о комбайне https://t.me/yandex_bots/106
- мануал (обрезанный +немного устарел)
https://t.me/yandex_bots/162

API на текущий момент используют ~50 человек.

Отзывы:
https://t.me/yandex_bots/201
https://t.me/yandex_bots/149
https://t.me/yandex_bots/171
https://t.me/yandex_bots/165
https://t.me/yandex_bots/142
https://t.me/yandex_bots/117

Не плохо, интересно какие качели будут

Трафик крутится, бабки мутятся. Качелей нет, роботность сломана и живет своей жизнью. Сайты в топе. У меня отпуск +-45 дней. Если хотите купить комбайн то в ЛС, пока никто не жаловался, все работает как часы. На правах рекламы: https://t.me/bike_in_indonesia

Отпуск закончился.
Накрутка ПФ также работает без каких либо проблем и отклонений, все как часы.

В процессе расширения урлов для комбайна, за несколько месяцев БД похудела на 10%.
Т.к как скрипт 24/7 постоянно проверяет базу и убирает плохие/битые сайты чтоб на них не тратилось время.

На скрине кстате пул НЧ-СЧ-ВЧ запросов с частотой от 2000 до 25000.

Все остальное как было в топе так и осталось, с небольшими качелями не ниже 3го места.

Ходят слухи что у многих с весны опустились руки и ПФ не работает, ну ну...

Кто был внимательный, последние несколько месяцев уже знает что на всех софтах накрутки бот трафик не учитывается в Яндекс Вебмастере(не весь трафик).
Яндекс сделал антифрод систему и там совсем другие цифры чем в Яндекс Метрике.

Решил расчитать все эти вещи в новом генераторе заданий и на основе него понимать куда и что крутить более детально.
По отчету что генит софт сразу ясно где перекручены ключи, где можно добавить и.т.д

- Только одна настройка для регулировки трафика.
- Статистика вебмастера и метрики теперь берется за период между датам а не один день и считается средняя по датам.
- Берется статистика также с API яндекс метрики.
- Высчитывание реальной роботности Яндека. В метрике роботность может писать 100% но в Вебмастере клики будут учитаны.
- Никаких сторонних сервисов для проверки позиций, бандит серьезно кидает сайты туда сюда. И всякие топвизоры не дают реальной картины, а вот средняя позиции в ПС более чем реальна.
- Полная детализация на каждый отдельно взятый ключ.
- Лог пишется в CSV для удобства анализа.

Не считаем больше:
- по позиции, ctr и.т.д смысла просто нет.
- бренды выпилены - не нужны
- НЧ запросы - не нужны

* Если у вас 0 трафика в вебмастере, скрипт не але.
* Нет метрики или вебмастера - скрипт не але.
Для этого есть старая версия.

Если ключ есть в вебмастере и у него есть просмотры то на основе этого можно смело крутить не зависимо от того на какой он позиции.


Формулы расчета:
https://t.me/yandex_bots/129

Скрипт для сайтов от среднего размера и выше, для выводов к топ1-3 без качель.
Для серьезной аналитики. Лучше данных нигде не достать.

Несколько дней ещё потребуется для тестов. Пока ещё не продается.

Формулы расчета:
CTR вебмастера = (клики / просмотры) * 100
Разница кликов Вебмастера и Метрики = визиты метрики - визиты вебмастера
Роботность по вебмастеру = 100 - (визиты вебмастера - визиты метрики * 100)
CTR без обрезки вебмастера = `(визиты метрики / частота вебмастера) * 100
Средняя позиция общая = (Ср. поз клика + Ср. поз просмотра) / 2
Множитель бот трафика = процент от частотки.

Есть некоторые закономерности в этих данных.
Сравнивал дни где лил много трафика, мало трафика и как это влияло на позиции.
Пока нет идей как точно это все дело автоматизировать и вообще отказатся от множителей, чтоб сразу готовые задания генило с необходимым количеством трафика.

https://t.me/yandex_bots/128
Отпишите в комменты что думаете за цифры
распространите пост выше по профильным чатам, мб что подскажут в комменты

Отчет с одного моего сайта для общего изучения и анализа. Ключи я потер

Обновление базы комбайна 3.0
И новшества за последние несколько месяцев.

Новая база:
12 624 101 - урлов
112 405 - доменов

Правила фильтрации доменов:
- Трафик от 1000 чел
- Наличие страниц в поиске Яндекса
- Яндекс Метрика на сайтах
- Отсутствие антибот зашиты
- Определена тематика сайта

Все парсилось на основе 3 000 000 доменных имен.

- Улучшена производительность баз данных в API теперь связка ClickHouse + mysql + postgres
- В базе стало на 30% больше сайтов.
- Улучшен алгоритм определения тематики сайта.
- Улучшен алгоритм определения региональности сайта.
- Улучшен алгоритм для назначения ДИ профиля.
- Исправлены разные мелкие баги.

Отличия комбайна от листов прокачки


- Возможность выбирать тематики для ваших профилей, можно даже попадать в аффинити вашей аудитории. https://t.me/yandex_bots/113
- Чтоб у вашего профиля появился траст достаточно посетить 60-70 сайтов, и у вас 4-8 категорий ДИ (зависит от того как вы настроите). На листах прокачки нужно от 200 и в лучшем случае у вас будет 2-3 категории ДИ (обычно стройка).
- Скорость работы выше чем на листах на 30-40%
- Практически никаких ошибок или мертвых сайтов. На сервере 24/7 работает скрипт который проверяет сайты на валидность.
- Самая большая база с поддержкой ipv6.
- Возможность использовать ipv4+ipv6 прокси вперемешку.
- Панель для анализа прокачки. К примеру у вас 10 серверов, и можно с телефона посмотреть где сервер упал или уменьшилась скорость.


Сейчас комбайном пользуется ~25 человек
3 900 000 страниц боты посещают в день
45 обращений API в секунду
Из этих мощностей можно нагнать 65000 ботов ежесуточно с 14 дневной прокачкой.

Релиз базы будет на следующей неделе.

C 1 октября цена комбайна увеличится на 500$

Результаты по генератору с вебмастера меня прям очень впечатлили. Кол-во кликов в вебмастер существенно выросло. Подрос CTR и позии. Собственно изучайте скрин.

Сегодня заканчиваю обновление базы данных под прокачку профилей в API комбайне.

Существенно улучшил алгоритмы для определения категории сайта. Траст профиля должен стать значительно лучше.
Также количество доменов в базе выросло до 122к и количество урлов 13.6м. (+30%).

Также значительно выросло количество ipv6 сайтов.

Напоминаю цена комбайна 1 октября будет увеличена на 500$.
https://t.me/yandex_bots/136