🔧 Скрипт для анализа каннибализации ключевых запросов
Этот скрипт позволяет анализировать данные из Google Search Console на предмет каннибализации ключевых запросов.
Он выявляет случаи, когда один запрос продвигается на нескольких URL, и предоставляет подробный отчет с указанием показов, кликов и позиций.
📥 Загрузите CSV, установите фильтры, и получите готовый анализ прямо в интерфейсе! Файл CSV можно получить из предыдущего скрипта.
📂 Экспортируйте результаты в удобном формате для дальнейшей работы.
Полезно для SEO-специалистов, которые хотят улучшить видимость своих страниц в поисковой выдаче.
Ссылка на Github
Этот скрипт позволяет анализировать данные из Google Search Console на предмет каннибализации ключевых запросов.
Он выявляет случаи, когда один запрос продвигается на нескольких URL, и предоставляет подробный отчет с указанием показов, кликов и позиций.
📥 Загрузите CSV, установите фильтры, и получите готовый анализ прямо в интерфейсе! Файл CSV можно получить из предыдущего скрипта.
📂 Экспортируйте результаты в удобном формате для дальнейшей работы.
Полезно для SEO-специалистов, которые хотят улучшить видимость своих страниц в поисковой выдаче.
Ссылка на Github
5👍4🔥1
🔥 Расчет релевантности текстов с помощью нейронных сетей
Скрипт на Python использует LaBSE для оценки текстовой релевантности через косинусную близость. Это мощный инструмент для анализа запросов, статей и URL из выдачи.
📌 Как начать
1️⃣ Установите Python и PyCharm .
2️⃣ Скачайте код с GitHub.
3️⃣ Запустите. При первом старте загрузится нейронная сеть LaBSE (2 ГБ).
📊 Возможности
Проверка релевантности абзацев и заголовков, title.
Автоматическое скачивание текстов из сайтов и расчет семантической релевантности.
Полное описание запуска, работы и скриншотов на сайте
Скрипт на Python использует LaBSE для оценки текстовой релевантности через косинусную близость. Это мощный инструмент для анализа запросов, статей и URL из выдачи.
📌 Как начать
1️⃣ Установите Python и PyCharm .
2️⃣ Скачайте код с GitHub.
3️⃣ Запустите. При первом старте загрузится нейронная сеть LaBSE (2 ГБ).
📊 Возможности
Проверка релевантности абзацев и заголовков, title.
Автоматическое скачивание текстов из сайтов и расчет семантической релевантности.
Полное описание запуска, работы и скриншотов на сайте
1🔥8
Обещанный скрипт для отлова ботов Google. Скрипт собирает все ip и юзерагенты зашедших на тестовую страницу. Работает даже с кешированными страницами.
В тестовой странице test.html в самом низу вставлен скрипт, который записывает ip и юзерагент в базу данных с помощью write.php.
Посмотреть записанные данные можно с помощью log.php.
В subnets.txt хранятся ip и подсети Google ботов (список не полный, можете редактировать)
Как протестировать.
В файлы write.php и log.php прописываем данные для подключения к базе данных Mysql.
Создаем с помощью FTP папку и заливаем туда файлы.
Создаем таблицу в базе данных (к примеру в Cpanel) заходим в Базы данных->PhpMyAdmin-> выбираем базу данных и переходим в вкладку SQL.
Выполняем код:
База создана, теперь у вас все должно работать. Проверяем:
1) Переходим по url https://mysite.com/papka/test.html
2) Заходим на https://mysite.com/papka/log.php и увидите свой ip и юзерагент.
3) Проводите эксперименты, привлекая бота на https://mysite.com/papka/test.html
Ссылка на архив.
Если будет интерес, доработаю функционал, тот который напрашивается больше всего - работа с WordPress, показ стран ip и другое.
В тестовой странице test.html в самом низу вставлен скрипт, который записывает ip и юзерагент в базу данных с помощью write.php.
Посмотреть записанные данные можно с помощью log.php.
В subnets.txt хранятся ip и подсети Google ботов (список не полный, можете редактировать)
Как протестировать.
В файлы write.php и log.php прописываем данные для подключения к базе данных Mysql.
Создаем с помощью FTP папку и заливаем туда файлы.
Создаем таблицу в базе данных (к примеру в Cpanel) заходим в Базы данных->PhpMyAdmin-> выбираем базу данных и переходим в вкладку SQL.
Выполняем код:
CREATE TABLE user_ip_data (
id INT(11) AUTO_INCREMENT PRIMARY KEY,
ip_address VARCHAR(45),
user_agent TEXT,
date_time DATETIME
);
База создана, теперь у вас все должно работать. Проверяем:
1) Переходим по url https://mysite.com/papka/test.html
2) Заходим на https://mysite.com/papka/log.php и увидите свой ip и юзерагент.
3) Проводите эксперименты, привлекая бота на https://mysite.com/papka/test.html
Ссылка на архив.
Если будет интерес, доработаю функционал, тот который напрашивается больше всего - работа с WordPress, показ стран ip и другое.
Lightshot
Screenshot
Captured with Lightshot
1👍5🔥3
🔎 Проверка позиций сайта в Google за секунды! В любой стране с помощью php скрипта🚀
Определение позиций в Гугле через API Xmlriver ( примерно 25 центов USD за 1К запросов). Вводишь домен, список ключевых слов – мгновенно получаешь данные о позициях в поиске! 🔥
✅ Можно настроить регион, язык, мобильная или desktop выдача
✅ Можно переделать под Яндекс за 10 минут
✅ Без лишних действий, можно настроить дополнительно.
❌ Однопоточный
❌ Нет обработки в случае ошибок самого Xmlriver (такое бывает)
Для первого запуска:
Открываем файл process.php и вводим свой API и юзер_id (увидеть свой можно тут). Заливаем 2 файла index.html и process.php на свой сайт, желательно в папочку и открываем https://site.com/papka/index.html
⚡️ Как это работает?
1️⃣ Вводишь домен и ключевые слова.
2️⃣ Скрипт отправляет запрос к API xmlriver.
3️⃣ API возвращает XML с позициями сайта в поиске Google.
4️⃣ Результаты отображаются в удобной таблице прямо на сайте.
Скачать с Github.
Определение позиций в Гугле через API Xmlriver ( примерно 25 центов USD за 1К запросов). Вводишь домен, список ключевых слов – мгновенно получаешь данные о позициях в поиске! 🔥
✅ Можно настроить регион, язык, мобильная или desktop выдача
✅ Можно переделать под Яндекс за 10 минут
✅ Без лишних действий, можно настроить дополнительно.
❌ Однопоточный
❌ Нет обработки в случае ошибок самого Xmlriver (такое бывает)
Для первого запуска:
Открываем файл process.php и вводим свой API и юзер_id (увидеть свой можно тут). Заливаем 2 файла index.html и process.php на свой сайт, желательно в папочку и открываем https://site.com/papka/index.html
⚡️ Как это работает?
1️⃣ Вводишь домен и ключевые слова.
2️⃣ Скрипт отправляет запрос к API xmlriver.
3️⃣ API возвращает XML с позициями сайта в поиске Google.
4️⃣ Результаты отображаются в удобной таблице прямо на сайте.
Скачать с Github.
1👍3
🚀 Проверка метрик PageSpeed Insights
Этот скрипт позволяет проверять производительность веб-страниц с помощью Google PageSpeed Insights API.
Поддерживает мобильную и десктопную проверку.
Можно получить:
FCP, LCP, TBT, CLS, Speed Index, TTFB и Score.
💡 Как пользоваться:
Введите свой API ключ Google PageSpeed. (Как его получить читайте тут)
Выберите стратегию (мобильная или десктопная).
Введите URL вручную или загрузите XML карту сайта.
Нажмите Проверить для получения результатов.
Получить результат можно в CSV и Excel.
Скачать с Github.
Этот скрипт позволяет проверять производительность веб-страниц с помощью Google PageSpeed Insights API.
Поддерживает мобильную и десктопную проверку.
Можно получить:
FCP, LCP, TBT, CLS, Speed Index, TTFB и Score.
💡 Как пользоваться:
Введите свой API ключ Google PageSpeed. (Как его получить читайте тут)
Выберите стратегию (мобильная или десктопная).
Введите URL вручную или загрузите XML карту сайта.
Нажмите Проверить для получения результатов.
Получить результат можно в CSV и Excel.
Скачать с Github.
1👍3🔥1
🔍 RDAP-инструмент для проверки доменов !
Уже месяц как официально Whois перестали поддерживаться. Если вы где-то проверяете с помощью whois - это или поддержка старого API или данные получают с помощью RDAP и отдают вам.
🧠 Всё работает через официальный протокол RDAP, с выбором сервера на основе зоны домена (например, .com, .org и т.д.).
💡 Этот Python-скрипт дает возможность получить:
✅ Статус домена
📅 Даты регистрации и истечения
👥 Контакты и организации
🌐 DNS-серверы
📄 Примечания и источник данных (RDAP-ссылка)
Зачем это нужно - можно переделать под чекер времени до дропа, юзать для своих PBN или для перехвата освобождающихся доменов.
Ссылка на Гитхаб
Уже месяц как официально Whois перестали поддерживаться. Если вы где-то проверяете с помощью whois - это или поддержка старого API или данные получают с помощью RDAP и отдают вам.
🧠 Всё работает через официальный протокол RDAP, с выбором сервера на основе зоны домена (например, .com, .org и т.д.).
💡 Этот Python-скрипт дает возможность получить:
✅ Статус домена
📅 Даты регистрации и истечения
👥 Контакты и организации
🌐 DNS-серверы
📄 Примечания и источник данных (RDAP-ссылка)
Зачем это нужно - можно переделать под чекер времени до дропа, юзать для своих PBN или для перехвата освобождающихся доменов.
Ссылка на Гитхаб
1👍6🔥1
🕷Получение карты XML и парсинг по полученным ссылкам.
Иногда нужно получить все ссылки конкурента (которые должны индексироваться) и спарсить какие то данные. Пример демонстрирует получение xml карты и реализацию однопоточного парсинга (заготовка).
Код на Python который:
🧨Загружает все ссылки из sitemap.xml ;
🧨Проверяет код ответа каждой страницы (200, 404, и т.д.);
🧨Автоматически открывает каждую ссылку через Selenium;
🧨Извлекает заголовок страницы (<title>) - сделано для демонстрации, парсить можно все что угодно;
Позволяет настроить свой User-Agent и задержку между запросами (для некоторых сайтов которые жестко следят за юзерагентом);
Отображает процесс работы: сколько осталось, сколько прошло времени ⏱️;
После завершения — позволяет скачать все результаты в CSV.
По традиции ссылка с исходным кодом на гитхаб.
Иногда нужно получить все ссылки конкурента (которые должны индексироваться) и спарсить какие то данные. Пример демонстрирует получение xml карты и реализацию однопоточного парсинга (заготовка).
Код на Python который:
🧨Загружает все ссылки из sitemap.xml ;
🧨Проверяет код ответа каждой страницы (200, 404, и т.д.);
🧨Автоматически открывает каждую ссылку через Selenium;
🧨Извлекает заголовок страницы (<title>) - сделано для демонстрации, парсить можно все что угодно;
Позволяет настроить свой User-Agent и задержку между запросами (для некоторых сайтов которые жестко следят за юзерагентом);
Отображает процесс работы: сколько осталось, сколько прошло времени ⏱️;
После завершения — позволяет скачать все результаты в CSV.
По традиции ссылка с исходным кодом на гитхаб.
1🔥6🤡2👏1
Этот инструмент позволяет наглядно отобразить векторную семантическую близость между статьями. Он использует модель BERT (LaBSE) для оценки смысловой схожести текстов и визуализирует результат в виде интерактивного графа.
Как пользоваться:
Подготовьте CSV-файл с двумя колонками: Address (URL статьи) и H1-1 (заголовок) - экспорт из лягушки.
Загрузите файл в интерфейс Streamlit - простым перетаскиванием.
Инструмент автоматически скачает и распарсит текст каждой статьи.
Можно настраивать порог релевантности, выбирать отображение одиночных узлов и скачивать CSV со списком схожих пар.
Зачем нужно:
1) Найти малорелевантные страницы для улучшения siteEmbeddings, поможет увеличить тематический траст после удаления.
2) Найти страницы с 100% совпадением - каннибализация и дубли.
3) Найти наиболее семантически релевантные страницы для ручной перелинковки.
4) Можно проверять разные сайты - таким образом среди списка страниц разных доменов искать релевантные (для PBN).
Ссылка на Гитхаб.
Как пользоваться:
Подготовьте CSV-файл с двумя колонками: Address (URL статьи) и H1-1 (заголовок) - экспорт из лягушки.
Загрузите файл в интерфейс Streamlit - простым перетаскиванием.
Инструмент автоматически скачает и распарсит текст каждой статьи.
Можно настраивать порог релевантности, выбирать отображение одиночных узлов и скачивать CSV со списком схожих пар.
Зачем нужно:
1) Найти малорелевантные страницы для улучшения siteEmbeddings, поможет увеличить тематический траст после удаления.
2) Найти страницы с 100% совпадением - каннибализация и дубли.
3) Найти наиболее семантически релевантные страницы для ручной перелинковки.
4) Можно проверять разные сайты - таким образом среди списка страниц разных доменов искать релевантные (для PBN).
Ссылка на Гитхаб.
2🔥10👍2👌1
🧾 Масcовый многопоточный RDAP-чекер доменов
Этот веб-сервис позволяет массово проверять информацию о доменах с использованием протокола RDAP (Registration Data Access Protocol). Пользователь загружает .txt-файл со списком доменов:
📄 Формат входного файла — .txt, по одному домену на строку (возможны с http(s)://, www. — они будут автоматически обработаны).
Результаты в таблице + возможность скачать CSV-файл с полной информацией (смотри скрины)
🔍 Для каждого домена определяет:
Регистратора (если доступен)
Дату регистрации
Дату истечения делегирования
Последнюю дату изменения
Статус (active, inactive, pendingDelete и др.)
Свободен ли домен
Ссылку на RDAP-источник
Статус обработки запроса (OK, ошибки и т. п.)
🚀 Возможности:
Многопоточность: (1000 доменов за 20 секунд, 13000 доменов за 4 минуты!)
Автоматическое определение RDAP-сервера на основе зоны домена (.com, .org, и др.) Не проверяет региональные домены (ru, su, fr, pl и другие)
Установка:
Скачать с гитхаб.
Этот веб-сервис позволяет массово проверять информацию о доменах с использованием протокола RDAP (Registration Data Access Protocol). Пользователь загружает .txt-файл со списком доменов:
📄 Формат входного файла — .txt, по одному домену на строку (возможны с http(s)://, www. — они будут автоматически обработаны).
Результаты в таблице + возможность скачать CSV-файл с полной информацией (смотри скрины)
🔍 Для каждого домена определяет:
Регистратора (если доступен)
Дату регистрации
Дату истечения делегирования
Последнюю дату изменения
Статус (active, inactive, pendingDelete и др.)
Свободен ли домен
Ссылку на RDAP-источник
Статус обработки запроса (OK, ошибки и т. п.)
🚀 Возможности:
Многопоточность: (1000 доменов за 20 секунд, 13000 доменов за 4 минуты!)
Автоматическое определение RDAP-сервера на основе зоны домена (.com, .org, и др.) Не проверяет региональные домены (ru, su, fr, pl и другие)
Установка:
pip install streamlit requests
Скачать с гитхаб.
1🔥9👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Новый Яндекс Wordstat API - используем с помощью скрипта на Python.
Парсим до 2000 ключей за 1 запрос. Можно спарсить все ключи по запросу из Wordstat , для этого установите рекурсивный сбор побольше (ограничение от Яндекса в сутки 1000 запросов).
Перед запуском устанавливаем библиотеки:
Подробнее о подключении.
Структура запросов в справке Яндекса.
В исходник вставьте свой Яндекс OAuth, вот подробнее о его получении.
Руководство от нуля до получение API.
Ссылка на исходник (Гитхаб).
Парсим до 2000 ключей за 1 запрос. Можно спарсить все ключи по запросу из Wordstat , для этого установите рекурсивный сбор побольше (ограничение от Яндекса в сутки 1000 запросов).
Перед запуском устанавливаем библиотеки:
pip install streamlit requests pandas
Подробнее о подключении.
Структура запросов в справке Яндекса.
В исходник вставьте свой Яндекс OAuth, вот подробнее о его получении.
Руководство от нуля до получение API.
Ссылка на исходник (Гитхаб).
🔥5😱3❤2
Обновление бесплатного парсера Вордстата.
Добавленный функционал:
💫 1) Теперь видно количество используемых лимитов API
💫 2) Обработка 429 и 503 ошибок - теперь если лимиты кончатся скрипт 3 раза пробует повторить действие и корректно прекращает парсинг.
💫 3) Скорость сбора ускорена до 7 раз
💫 4) Реализована возможность докачки ключей если у вас кончились лимиты. Теперь скрипт запоминает позицию парсинга. Если на следующий день (когда добавят лимиты) вы снова запустите парсинг - будет происходить парсинг не с начала, а с точки где вы остановились.
5) Реализовано сохранение (кроме csv и excel) в базу данных Sqlite.
Как установить - читайте в прошлом описании или полное на блоге.
Линк на Github.
Поддержите пост, так будет понятно что вам нужны подобные скрипты. Репост приветствуется 👍
Добавленный функционал:
💫 1) Теперь видно количество используемых лимитов API
💫 2) Обработка 429 и 503 ошибок - теперь если лимиты кончатся скрипт 3 раза пробует повторить действие и корректно прекращает парсинг.
💫 3) Скорость сбора ускорена до 7 раз
💫 4) Реализована возможность докачки ключей если у вас кончились лимиты. Теперь скрипт запоминает позицию парсинга. Если на следующий день (когда добавят лимиты) вы снова запустите парсинг - будет происходить парсинг не с начала, а с точки где вы остановились.
5) Реализовано сохранение (кроме csv и excel) в базу данных Sqlite.
Как установить - читайте в прошлом описании или полное на блоге.
Линк на Github.
Поддержите пост, так будет понятно что вам нужны подобные скрипты. Репост приветствуется 👍
👍10🔥5❤1👌1
Скрипт для мониторинга доменов в Google Sheets:
— Добавляешь любые URL в вкладку Add domains, нажимаешь Extract — скрипт извлекает чистые домены.
💫 Проверяет RDAP/WHOIS и автоматически распределяет по вкладкам: Redemption, <30d, >30d.
💫 Показывает фазу домена, ориентировочную дату дропа и сколько дней осталось.
💫 Ведет аудит во вкладке logs, добавляет Wayback-ссылку на каждый домен.
💫 Есть кнопки Recheck для каждого бакета, дубликаты убираются автоматически.
💫 Работает «из коробки» — без API-ключей.
Ссылка
— Добавляешь любые URL в вкладку Add domains, нажимаешь Extract — скрипт извлекает чистые домены.
💫 Проверяет RDAP/WHOIS и автоматически распределяет по вкладкам: Redemption, <30d, >30d.
💫 Показывает фазу домена, ориентировочную дату дропа и сколько дней осталось.
💫 Ведет аудит во вкладке logs, добавляет Wayback-ссылку на каждый домен.
💫 Есть кнопки Recheck для каждого бакета, дубликаты убираются автоматически.
💫 Работает «из коробки» — без API-ключей.
Ссылка
👍3⚡1❤1
Генерирует семантическую вселенную ключевых слов на основе модели EAV (Entity-Attribute-Value / Сущность-Атрибут-Значение), которую можно использовать как в SEO, так и в GEO рабочих процессах.
Как это может помочь вашей SEO + GEO стратегии:
Упорядочивает запросы вокруг сущностей, атрибутов и переменных.
Стройте тематические карты, которые легче перепрофилировать в наборы данных для RAG (Retrieval-Augmented Generation), контент-брифы или внутренние базы знаний.
Определяйте, какие интенты (информационные, коммерческие, транзакционные) требуют лучшего покрытия для AI-обзоров и генеративных функций поисковой выдачи (SERP).
Создавайте структурированные входные данные для масштабируемого производства контента (программное SEO, лендинги, FAQ, тематические хабы).
Сравнивайте семантическое покрытие по продуктам, услугам или рынкам, чтобы увидеть, где генеративные системы могут «галлюцинировать» или заполнять пробелы контентом конкурентов.
Оригинал поста
Github
Как это может помочь вашей SEO + GEO стратегии:
Упорядочивает запросы вокруг сущностей, атрибутов и переменных.
Стройте тематические карты, которые легче перепрофилировать в наборы данных для RAG (Retrieval-Augmented Generation), контент-брифы или внутренние базы знаний.
Определяйте, какие интенты (информационные, коммерческие, транзакционные) требуют лучшего покрытия для AI-обзоров и генеративных функций поисковой выдачи (SERP).
Создавайте структурированные входные данные для масштабируемого производства контента (программное SEO, лендинги, FAQ, тематические хабы).
Сравнивайте семантическое покрытие по продуктам, услугам или рынкам, чтобы увидеть, где генеративные системы могут «галлюцинировать» или заполнять пробелы контентом конкурентов.
Оригинал поста
Github
🔥5😁2✍1👍1