В дополнение к прошлому посту о прогоне новым Хрумером 23 с AI

Перепроверил ссылки из отчета, из 1379 живых осталось 110 (25 из них дофолоу)

Самые распространённые причины пропажи ссылок это удаление админом ресурса, оно и понятно все таки спам

Так же посмотрел качество площадок где остались ссылки, мягко говоря оно не очень))

Тем не менее на сайте рост кликов и показов с Гугла ( неуверен что связано на все 100% c прогоном, так как велись еще работы)

Функционал чат gpt в Хрумер сырой, либо я еще не научился им правильно работать, так как на многих ресурсах из отчета генерация ИИ текста не проходит и поститься альтернативный текст заготовленный мной (Чат гпт не может получить инфу о ресурсе, поэтому не знает что постить на форуме )

НО это еще не окончательные выводы

Во первых база была сырая да и за 2023 год, многие площадки там уже не актуальны, так как собирались под старый хрумер

Я использовал паблик прокси, что само собой не самый оптимальный вариант

На следующей недели планирую новый прогонпод бурж проекты, уже с учетом всего вышесказанного))

Наверное все уже знают что у QIWI отозвали лицензию 

Qiwi заблокировала функционал кошелька — нельзя ни вывести деньги, ни оплатить покупки, ни пополнить счет мобильного телефона. Но есть и хорошие новости: банк является участником системы страхования вкладов, поэтому деньги будут возвращены вкладчикам в размере 100%, если их сумма не превышает 1,4 млн руб после подачи заявления в АСВ
При этом выплаты вкладчикам предусмотрено провести не позднее 6 марта 2024 года.

Про средства на кошельках, которые теперь лежат мертвым грузом, конкретики нет

Вроде бы если карта киви банка привязана к кошельку, то вернут

Какие уроки может вынести из этой ситуации обычный веб-мастер, по традиции пишем в коменты

PS Следующим может стать одна из бирж где вы храните свои usdt

Еще один сервис для проверки наличия обратных ссылок в базе доноров вроде бесплатный, кто пользовался, Какие впечатления?
https://www.scrapebox.com/free-link-checker

🇹🇷Турция откроет регистрацию в зоне .TR

Как сообщает издание CircleID, в июне 2024 года регистратура Турции впервые откроет регистрацию доменов второго уровня в национальном домене .TR.

Это выглядит странным, но до настоящего времени в национальном домене Турции для открытой регистрации были доступны только домены третьего уровня в зонах .COM.TR, .NET.TR, .ORG.TR, .INFO.TR и других.

Возможно, поэтому в .TR сейчас зарегистрировано менее 1,5 млн доменов, что совсем немного для страны с населением более 85 млн человек.

До 14 мая продлится период приоритетной регистрации, когда администраторы могут зарегистрировать домены второго уровня в зоне .TR, полностью совпадающие с их доменами третьего уровня.

А старт открытой регистрации намечен на 14 июня 2024 года.

Продолжаю прогонять базу в 20М ссылок, конечно заметно что опытные хрумоводы ее отжали до суха (в логах все чаще вижу "неизвестный тип защиты, регистрация невозможна''

Палки в колеса вставляют абузы от владельцев площадок, тут связка vpn+прокси выручает, но есть свои нюансы
ну и конечно норм сервер, vdsina совсем не тянет, постоянно виснет, видимо совсем заспамили, пора искать что то новое

​​Я люблю международные доменные зоны и стараюсь использовать преимущественно их в работе (com, net, online, info и тд)
Из плюсов ты не привязан к конкретному гео, гугл может ранжировать рандомно, без жесткой привязки к языку контента
из минусов, эти гео зачастую бывают копеечные, но это скорее не минус, просто надо уметь с ними работать

PS забавный факт, один из лидеров в СНГ в своей ниши сидит на зоне .be, что не мешает ему собирать сотни тысяч пользователей в сутки))

Как чистить базы для хрумера под ссылочный спам?

Фильтр базы ссылок по словам: konta contact-us conta feedback hello-world unapproved Пример настроек http://joxi.ru/E2pYQVqSjzZbnA
Этот примитивный фильтр мастхев для сырой базы, позволит избавится от множества абуз на свой сервер.

Проверка на 200 ОК через анализатор базы ссылок Пример настроек http://joxi.ru/LmGYv8MSZW3K3A
Советую использовать прокси, чтобы быстрее шла проверка, на миллионых базах, ускоряет процесс в разы

Данный фильтр, срабатывает иногда пропускает битые сайты, и лучше использовать пресет А парсера, но как бесплатный вариант чека ответа сервера имеет место быть

Фразы для анализатора чистка ссылок на модерации : awaiting moderation ожидает одобрения ожидает модерации has been approved will be visible after espera moderacion pendiente de moderacion komentao eeka na schvaleni Váš komentáø èeká na schválení. Komentarz czeka na zatwierdzenie Twoj komentarz oczekuje na moderacje Kommentar wartet auf Freigabe espera da moderacao Dein Kommentar wartet auf Freischaltung Il tuo commento e in attesa di moderazione moderációra

Этот фильтр используем уже после того как проспамили по базе, позволяет удалить ссылки которые висят на модерации

Большая часть информации взята отсюда
https://www.youtube.com/watch?v=dwial-D5-vE&t=424s

в каком то из чатов видел инфу о том реестр запрещенных сайтов от РКН перестал показывать причины блокировки ресурсов, сейчас уже не помню где я читал, но как обычно оказалось инфа фейк, С утра у меня блокнули несколько сайтов, причина блокировки указана))
Смотрю здесь https://reestr.rublacklist.net/ru/

#news Гугл пустил в народ новые поисковые алгоритмы на основе ИИ-модели, Search Generative Experience. Но помощник оказался с подвохом: предлагаемые им ссылки ведут на всевозможные скам-сайты. Подозрительные расширения для Хрома, липовые раздачи айфонов, подписки на спам, мошенничество с техподдержкой — вредонос на любой вкус.

Судя по схожим шаблонам сайтов, под индексацию они попали через отравление поисковой выдачи. Пикантности проблеме придаёт формат, в котором алгоритм выдаёт результаты поиска: обернув их в убедительное описание текстом. Что невольно повышает правдоподобность выдачи. Впрочем, натасканный на гуглопоиске ИИ-болванчик просто не может не распространять малварь. Это уже не баг, а фича.

@tomhunter

Я помню что хотел сделать пост о том как работать с почтой для хрумера в 2024, но оказывается что добрый человек уже постарался
https://antoshabrain.blogspot.com/p/xrumer-mail.html

В статье о том как работать со своими почтовиками, с гугл почтами, yandex com и тд
Расписаны все настройки, на данные момент схема работы актуальная, единственное что изменилось так это гугл начал просить смс код за любой чих, даже если просто настраивать фильтр почтовых рассылках

https://www.youtube.com/watch?v=jkWwIPrOO0Y
Вот это я понимаю подход. Чувак Разместил целую ферму по генерации переводных дорвеев под ТЦ, я слышал эту историю, говорят что прикрыли там лавочку. кто то раскрыл ферму) но я уверен что этот манимейкер не пропадет 😎

Вот вы говорите мошенничество, обман, скам и тд
Я о том, что для того чтобы посмотреть фильм, например здесь https://maior-grom-igra.lordfilmer.ru/ надо оформить подписку (ну а потом как говориться следи за руками, точнее за балансом на своей карте))
Но никакого обмана нет, на сайте черным по белому указано что зачем и как

Обращение администрации сайта maior-grom-igra.lordfilmer.ru к пользователям.
Доводим до Вашего сведения, что администрация сайта maior-grom-igra.lordfilmer.ru продает
мобильных пользователей вышеуказанного интернет­ресурса с помощью различных
рекламных материалов, таких как: баннеры, тизеры, редиректы (автоматическая
переадресация) и других, в том числе абонентов ПАО «МегаФон», ПАО «МТС», ПАО
«ВымпелКом».
Рекламодатели, покупающие мобильных пользователей, предлагают им воспользоваться
различными тематическими сервисами, в том числе предоставляемыми на платной основе с
использованием технологии «WAP­Click».
Надеемся на понимание.
В случае возникновения вопросов Вы можете обратиться к администрации сайта по
следующим контактным данным:
E­mail: support@maior-grom-igra.lordfilmer.ru
С уважением,
Администрация сайта maior-grom-igra.lordfilmer.ru

НОВЫЕ ПРАВИЛА В ОТНОШЕНИИ СПАМА Недопустимое использование домена с истекшим сроком регистрации
Недопустимое использование домена с истекшим сроком регистрации – это ситуация, когда кто-то покупает просроченный домен и и начинает использовать его в основном для того, чтобы манипулировать рейтингом в Поиске. При этом на ресурсе размещается контент, практически не представляющий ценности для пользователей. Например, нарушитель приобретает сайт медицинской направленности и заменяет его содержание на низкокачественный контент о казино, рассчитывая на хорошую репутацию домена, заработанную предыдущим владельцем.

Такое не происходит случайно – это намеренное злоупотребление. Как правило, такие домены можно найти только через поисковые системы. Но если кто-то использует старое доменное имя для нового сайта с оригинальным контентом, нацеленным на людей, это не будет нарушением.

Недопустимое масштабирование контента
При недопустимом масштабировании контента нарушитель создает множество страниц не чтобы помогать пользователям, а чтобы манипулировать ранжированием. В таких случаях, как правило, генерируется большое количество неоригинального контента, который практически бесполезен для пользователей, независимо от того, как именно он был создан.

Это правило – логическое развитие существующих правил об автоматически генерируемом контенте. Они помогут нам противостоять злоупотреблениям масштабируемым контентом независимо от метода его создания – вручную, автоматически или полуавтоматически.

Бесплатный кластеризатор по топам

Для собственных нужд, я сделал кластеризатор по похожести SERP. Побудило на создание меня следующее:

- Программы чаще всего сделаны под Windows.
- Сервисы обычно предоставляют услугу как дополнительную.
- На больших объемах не выгодно.
- Виснут на 100к+ ключевых слов, мне нужны большие объемы.
- ChatGPT предлагает кластеризацию, которая не справляется с большими объемами.
- Мне нужна была поддержка любых языков.
- Не требовательно к ресурсам.

Я подумал, что для URL не обязательно нужна векторизация. По сути топ это множество, а для множеств можно использовать другие формулы, поэтому сделал кластеризатор на основе Коэффициента Жаккара. Я опробовал и другие, например, Dice или Overlap, но они оказались хуже.

За репост буду благодарен! 🙏

Инструкция:

Сохраните себе копию данного файла на Google Drive через File, чтобы не сталкиваться каждый раз с предупреждением от Google Colab.

Внимание! Этот код только кластеризует, он не собирает выдачу. Собрать выдачу можно с помощью других сервисов, например, выгрузить Ahrefs с галочкой на Include top 10 positions from SERP for each keyword.

Для запуска необходимо нажать на кнопку play (▷) внизу и следовать инструкции.
1. Choose files. Загружаем CSV файл с, как минимум, 2-мя колонками: Keywords и URL.
2. Column delimiter. Вводим разделитель колонок. По умолчанию это запятая.
3. Keywords column label. Вводим заголовок колонки для поисковых фраз (чувствителен к регистру).
4. URL column label. Вводим заголовок колонки для URL (чувствителен к регистру).
5. Similarity threshold. Вводим порог похожести, я рекомендую 0,6.
6. Жмем кнопку Run.
7. После окончания работы нажимаем Save, чтобы сохранить в папку Downloads.

Файл результатов

1. Каждая группа в колонке Group имеет номер, начинающийся с 0.
2. Ключевые фразы, которые объеденены в один кластер, будут иметь один номер группы.
3. Если фраза не имеет общих групп с другими фразами, то она выделяется в отдельную группу.
4. Если фразы не имеют собранных URL, то они все выделяются в группу -1.

Внимание! В браузере Safari работает некорректно, необходимо использовать Chrome.

https://colab.research.google.com/drive/1QGNNuY7OSBErn5am-dS1lnubHr-65kSF?usp=sharing