🚨 Решение проблемы с индексацией RSS лент комментариев в WordPress 🚨

Google упорно пытается индексировать страницы, даже если они заблокированы в robots.txt. Особенно это касается RSS лент комментариев, которые не всегда нужны и могут попасть в дополнительный индекс, ухудшая ранжирование сайта.

💡 Как я решил проблему: Создал плагин для WordPress, который блокирует индексацию RSS лент комментариев, но сохраняет основную ленту и Яндекс Турбо.

Плагин: ссылка на скачивание

Прописывает 301 редирект с комментариев на посты.
Позволяет сохранить нужные RSS ленты.

Полный пост с описанием на моем блоге.

​Бесплатная тулза: Анализатор и сборщик URL-адресов с Wayback Machine

Вам когда-нибудь требовалось выгрузить список урлов из Веб-Архива для анализа неудачной миграции, но не хватало подходящего инструмента?

Вот он, его фичи:

- Эволюция структуры сайта
- Эволюция статус-кодов
- Часто изменяемые страницы
- Изменения в robots.txt
- Выгрузка URL-ов

Посмотрите, как менялась структура сайта (эволюция папок) с течением времени.

Это позволит легко увидеть, когда сайт переезжал на новую платформу или имел проблемы в прошлом.

Выгружайте и проверяйте статус-коды страниц на лету.

Полезно для отслеживания частоты серверных ошибок, удаленных страниц, редиректов и страниц со статусом 200.

Удобно шпионить за наиболее часто меняющимися страницами конкурентов.

Отслеживайте эволюцию robots.txt во времени и сравнивайте версии.

Быстро восстанавливайте рабочую/историческую версию robots.txt.

Восстанавливайтесь после неудачных миграций и переездов на новые платформы.

Возможно, есть шанс повысить релевантность старых редиректов или настроить редиректы для старых 404-ых, которые были упущены в первый раз.

Приложение: https://wayback.streamlit.app

Исходник: https://github.com/searchsolved/search-solved-public-seo/tree/main/wayback-url-tool

@MikeBlazerX

Плагин для WordPress который показывает всплывающее окно с подпиской на Телеграм.
Скриншот.
Плюсы
1) Минимум библиотек
2) Возможность настройки текста
3) Установка задержки в секундах

На видео процес установки Python и PyCharm на Windows.
Много кто из seo специалистов видят исходные коды проектов, но не совсем понимают как их запустить. На видео основа - как установить питон и среду разработки IDE. После можно будет выполнять код из нашего телеграм канала.

#python #pycharm

🚀 Как использовать KeyBERT для кластеризации ключевых слов 🔑

Ищете способ улучшить структуру контента и SEO-оптимизацию? В новой статье рассказываем, как применить KeyBERT — мощный инструмент для кластеризации ключевых слов с помощью машинного обучения.

🔍 Что вас ждет:

Обзор методов кластеризации.
Пошаговое руководство по использованию KeyBERT.
Примеры реальных данных и практическое применение.
Как повысить релевантность ваших ключевых слов для SEO.
🔗 Ознакомьтесь с полным гайдом по ссылке:

#SEO #python #Кластеризация #KeyBERT #Маркетинг

🔍 Парсинг поисковой выдачи Google по ключевым словам — подробный гайд (аналог вордстат в Google)

💡 Для SEO-специалистов и разработчиков: как создать свой инструмент для сбора данных из Keyword Planner API без дорогих сервисов на Python.

👉 В статье:

Как обойти ограничения Google и собрать 40+ тысяч ключевых слов.
Полный процесс работы с Google Ads API: от получения токена до обработки данных.
💬 "Наступает новая эпоха — без прямого обращения к API Google всё становится сложнее. Готовы заморочиться? Тогда получите доступ к сокровищнице данных и создайте свой Google Wordstat!"

📖 Читайте, чтобы узнать, как сэкономить сотни долларов и сделать мощный парсер своими руками. 🚀
https://habr.com/ru/articles/867876/

#Python #GoogleAPI #Google #CloudPlatform

Google Search Console Data Exporter
🚀 Google Search Console Data Exporter — это инструмент, созданный с использованием Streamlit, предназначенный для удобной выгрузки данных из Google Search Console в формате CSV.
Главное преимущество - позволяет за счет API получить больше запросов и данных, чем через интерфейс самого Google Console.

📊 Основные функции:

Получение информации о ключевых запросах (keywords).
Данные по связанным URL.
Статистика кликов и показов.
Определение средней позиции запроса в поисковой выдаче.
Экспорт данных в CSV для дальнейшего анализа.
💻 Простой и удобный интерфейс:

Ввод домена вашего сайта и выбор диапазона дат.
Отображение прогресса выполнения запросов.
Автоматическое создание таблицы с результатами и возможность экспорта в CSV.


🔧 Как использовать:

Введите домен сайта.
Выберите диапазон дат.
Нажмите на кнопку "Получить данные".
Ознакомьтесь с таблицей и скачайте данные в CSV.
📥 Получите полный отчет с ключевыми запросами, кликами, показами и позициями.

Код на github

🔧 Скрипт для анализа каннибализации ключевых запросов

Этот скрипт позволяет анализировать данные из Google Search Console на предмет каннибализации ключевых запросов.
Он выявляет случаи, когда один запрос продвигается на нескольких URL, и предоставляет подробный отчет с указанием показов, кликов и позиций.

📥 Загрузите CSV, установите фильтры, и получите готовый анализ прямо в интерфейсе! Файл CSV можно получить из предыдущего скрипта.

📂 Экспортируйте результаты в удобном формате для дальнейшей работы.

Полезно для SEO-специалистов, которые хотят улучшить видимость своих страниц в поисковой выдаче.
Ссылка на Github

🔥 Расчет релевантности текстов с помощью нейронных сетей
Скрипт на Python использует LaBSE для оценки текстовой релевантности через косинусную близость. Это мощный инструмент для анализа запросов, статей и URL из выдачи.

📌 Как начать
1️⃣ Установите Python и PyCharm .
2️⃣ Скачайте код с GitHub.
3️⃣ Запустите. При первом старте загрузится нейронная сеть LaBSE (2 ГБ).

📊 Возможности

Проверка релевантности абзацев и заголовков, title.
Автоматическое скачивание текстов из сайтов и расчет семантической релевантности.

Полное описание запуска, работы и скриншотов на сайте

Обещанный скрипт для отлова ботов Google. Скрипт собирает все ip и юзерагенты зашедших на тестовую страницу. Работает даже с кешированными страницами.
В тестовой странице test.html в самом низу вставлен скрипт, который записывает ip и юзерагент в базу данных с помощью write.php.
Посмотреть записанные данные можно с помощью log.php.
В subnets.txt хранятся ip и подсети Google ботов (список не полный, можете редактировать)

Как протестировать.
В файлы write.php и log.php прописываем данные для подключения к базе данных Mysql.
Создаем с помощью FTP папку и заливаем туда файлы.

Создаем таблицу в базе данных (к примеру в Cpanel) заходим в Базы данных->PhpMyAdmin-> выбираем базу данных и переходим в вкладку SQL.
Выполняем код:

CREATE TABLE user_ip_data (
id INT(11) AUTO_INCREMENT PRIMARY KEY,
ip_address VARCHAR(45),
user_agent TEXT,
date_time DATETIME
);

База создана, теперь у вас все должно работать. Проверяем:
1) Переходим по url https://mysite.com/papka/test.html
2) Заходим на https://mysite.com/papka/log.php и увидите свой ip и юзерагент.
3) Проводите эксперименты, привлекая бота на https://mysite.com/papka/test.html

Ссылка на архив.

Если будет интерес, доработаю функционал, тот который напрашивается больше всего - работа с WordPress, показ стран ip и другое.

🔎 Проверка позиций сайта в Google за секунды! В любой стране с помощью php скрипта🚀

Определение позиций в Гугле через API Xmlriver ( примерно 25 центов USD за 1К запросов). Вводишь домен, список ключевых слов – мгновенно получаешь данные о позициях в поиске! 🔥

✅ Можно настроить регион, язык, мобильная или desktop выдача
✅ Можно переделать под Яндекс за 10 минут
✅ Без лишних действий, можно настроить дополнительно.
❌ Однопоточный
❌ Нет обработки в случае ошибок самого Xmlriver (такое бывает)

Для первого запуска:
Открываем файл process.php и вводим свой API и юзер_id (увидеть свой можно тут). Заливаем 2 файла index.html и process.php на свой сайт, желательно в папочку и открываем https://site.com/papka/index.html

⚡️ Как это работает?
1️⃣ Вводишь домен и ключевые слова.
2️⃣ Скрипт отправляет запрос к API xmlriver.
3️⃣ API возвращает XML с позициями сайта в поиске Google.
4️⃣ Результаты отображаются в удобной таблице прямо на сайте.
Скачать с Github.

🔍 RDAP-инструмент для проверки доменов !
Уже месяц как официально Whois перестали поддерживаться. Если вы где-то проверяете с помощью whois - это или поддержка старого API или данные получают с помощью RDAP и отдают вам.


🧠 Всё работает через официальный протокол RDAP, с выбором сервера на основе зоны домена (например, .com, .org и т.д.).

💡 Этот Python-скрипт дает возможность получить:

✅ Статус домена
📅 Даты регистрации и истечения
👥 Контакты и организации
🌐 DNS-серверы
📄 Примечания и источник данных (RDAP-ссылка)

Зачем это нужно - можно переделать под чекер времени до дропа, юзать для своих PBN или для перехвата освобождающихся доменов.
Ссылка на Гитхаб

🕷Получение карты XML и парсинг по полученным ссылкам.
Иногда нужно получить все ссылки конкурента (которые должны индексироваться) и спарсить какие то данные. Пример демонстрирует получение xml карты и реализацию однопоточного парсинга (заготовка).

Код на Python который:

🧨Загружает все ссылки из sitemap.xml ;

🧨Проверяет код ответа каждой страницы (200, 404, и т.д.);

🧨Автоматически открывает каждую ссылку через Selenium;

🧨Извлекает заголовок страницы (<title>) - сделано для демонстрации, парсить можно все что угодно;

Позволяет настроить свой User-Agent и задержку между запросами (для некоторых сайтов которые жестко следят за юзерагентом);

Отображает процесс работы: сколько осталось, сколько прошло времени ⏱️;

После завершения — позволяет скачать все результаты в CSV.

По традиции ссылка с исходным кодом на гитхаб.