🔍 Быстрый чек обратных ссылок: без сторонних библиотек и сложных скриптов

При линкбилдинге часто собираются огромные таблицы с обещанными размещениями. Но как узнать, какие из них действительно работают и не удалены, а не затерялись при публикации?

Для этого есть лёгкий утилитарный инструмент — backlink-finder.
Он сканирует список донорских страниц и показывает, какие из них реально ссылаются на ваши домены, собирая анкоры и атрибуты ссылок.

⚙️ Главные фишки:
Только стандартная библиотека:
Работает на чистом Python 3.9+ без единой внешней зависимости (pip install не потребуется).

Сбор параметров: Вытягивает не только факт наличия ссылки, но и anchor_text, атрибут rel (проверяет на nofollow, sponsored, ugc), а также итоговый URL.

Умный парсинг: Автоматически учитывает поддомены (например, mysite.com найдет и ссылки на blog.mysite.com), обрабатывает редиректы, <base href> и различные кодировки страниц.

Удобный вывод: Результаты выгружаются в CSV-файл, а сводный отчёт выводится прямо в терминал.

🚀 Быстрый старт:
Клонируем репозиторий:



git clone https://github.com/izzipizzy/backlink-finder.git
cd backlink-finder

Создаем файл urls.txt со списком страниц для проверки (по одной на строку) и запускаем сканирование:
python3 backlink_finder.py urls.txt --domains mysite.com --out found.csv

💡 Подсказка: Если доменов много, их можно вынести в отдельный файл domains.txt — скрипт подтянет его автоматически.

Гуглоиды подтвердили внедрение маскировки урлов в серпе через редирект на google.com/goto.

В чем суть проблемы? Я так понимаю это результат борьбы с парсерами. Теперь если не перейти по ссылке goto - вы не узнаете url страницы. И наверное с попытками перехода Гугл тоже будет бороться, показывая капчу, иначе зачем все это.

Что это значит для seo оптимизаторов? Если раньше скраперы накручивали показы, сканируя топы, то сейчас может оказаться что крутиться будут и переходы, так как чтобы узнать юрл парсеру нужно перейти по goto.
Готовьтесь к кликам по запросам от ботов.

Второе что интересное - не поломается ли работа ботов ChatGPT и других, которые частично использовали поиск в Google для выдачи ответа. Я надеюсь что они договорятся, потому что иначе может поломаться вся логика и останется только Bing и внутренний RAG поиск.

обновление 29.08.2026: найдены первые ссылки с goto в ChatGPT
https://x.com/metehan777/status/2093433841616617814

Невозможность предпросмотра ссылки: Раньше пользователь мог навести курсор на ссылку в поисковой выдаче (SERP) и в левом нижнем углу браузера увидеть реальный адрес сайта, куда он перейдет.
Я лично довольно часто юзал такой предпросмотр и для как пользователя это потеря.

🤖 ChatGPT втайне построил собственный поисковик: что такое Labrador?

Долгое время в SEO-сообществе считалось, что ChatGPT не имеет собственной поисковой базы и полностью зависит от выдачи Google или Bing. Это оказалось мифом. Анализ внутренних процессов показывает, что OpenAI разработала масштабную независимую поисковую архитектуру.

📂 Что известно о секретном индексе?

Кодовое имя — Labrador. Это не просто одна база данных, а целое семейство специализированных вертикальных индексов.

Направления поиска: Веб-страницы распределены по тематическим слоям:

общий веб, PDF-документы, YouTube, Википедия, академический архив arXiv, новости (с разделением по свежести), медицина, юриспруденция, финансы, товары (Shopping) и изображения. Индекс хранит полные тексты страниц, даты их обхода роботом и даты публикации.

Эксабайтный масштаб: Согласно вакансиям OpenAI, их поисковые системы проектируются под работу на эксабайтном масштабе. Команда нанимает инженеров для разработки гибридного поиска, сочетающего классический текстовый алгоритм ранжирования (BM25) и векторный поиск по эмбеддингам.

Агрессивный кэш вместо «живого» поиска: Около 58% сайтов в интернете загружаются дольше 0,8 секунды, что слишком медленно для масштабов ChatGPT. Чтобы ускорить ответы, OpenAI кэширует страницы.

🔍 Откуда появились доказательства?
След в серверном коде: С мая по июль 2026 года во внутренних данных ChatGPT (SSE-событиях) передавалось скрытое поле result_source. Наряду с внешними парсерами там фигурировал Labrador.

Показания под присягой: Руководитель ChatGPT Ник Терли на судебных слушаниях против Google признался, что разработка собственного индекса началась еще в 2023 году. Изначально OpenAI ставила сверхагрессивную цель — закрывать своими силами 80% поисковых запросов уже к концу 2023 года.

Эксперименты в реальном времени: Прямо сейчас идет масштабное A/B-тестирование товарного индекса (Shopping). Тест «prefer-index-over-serp-v3» (приоритет собственного индекса над внешними парсерами) затронул около 8% всех чатов пользователей.

🛰 Внешние провайдеры больше не нужны? Пока нужны. Полный переход на автономный поиск — это долгий процесс, который может занять не менее 5 лет даже при наличии доступа к данным крупных поисковиков.

Сейчас ChatGPT склеивает выдачу своего индекса с результатами минимум 8 внешних каналов. В их числе: сторонние парсеры (Bright Data, Oxylabs), лицензионные соглашения с Yelp и TripAdvisor, а также поисковая платформа Web IQ от Microsoft.

💡 Что это значит для бизнеса и маркетологов?

Прекратите ориентироваться только на Bing. Видимость вашего сайта там не гарантирует автоматическое попадание в выдачу ChatGPT — здесь работают алгоритмы Labrador и Microsoft Web IQ, чья логика отличается от стандартного поиска.

Заполняйте Yelp и TripAdvisor. Если у вас локальный бизнес, ChatGPT использует эти платформы как официальных лицензированных партнеров.

Проверяйте свой кэш. Используйте режим строгой изоляции (Lockdown Mode) в настройках ChatGPT, чтобы проверить, какие именно страницы вашего сайта уже сохранены во внутреннем кэше OpenAI.

1️⃣ Google обновил рекомендации по AI-контенту
Google дополнил документацию по использованию генеративного ИИ в контенте.

Главный акцент — на риске фактических ошибок: AI может уверенно генерировать недостоверную информацию, поэтому такой контент нужно проверять перед публикацией.

Причём речь идёт не только о статьях. Google отдельно упоминает title, meta description, structured data и alt-тексты.

А массовое создание страниц с помощью ИИ без дополнительной пользы для пользователя по-прежнему может подпадать под scaled content abuse.

Комментарий Евгения Молдовану : По факту title, description имеют слишком маленький размер чтобы их детектировать с помощью ИИ (метками). Скорее всего цель изменения - перенести ответственность на вебмастера, так как Google использует эти данные в AI Overview.

🔗 Официальная документация Google

2️⃣ Google против фейковых авторов, созданных с помощью AI

В рекомендациях Google по качеству контента отдельно появился важный момент: нельзя создавать ложное впечатление об авторе материала.

В частности, Google предупреждает о вымышленных именах, фальшивых регалиях и AI-сгенерированных фотографиях людей, если они используются для того, чтобы представить несуществующего эксперта как реального автора.

То есть схема «придумаем эксперта, сгенерируем ему фото, напишем убедительную биографию и будем публиковать от его имени» — уже не просто сомнительная практика, а то, на что Google прямо обращает внимание.

Комментарий Евгения Молдовану:
Гугл уже давно проверял это, советуя асессорам проверять авторов в поиске, использовать поиск по фото, искать экспертов в социальных сетях. Если у вас есть отдельные страницы О нас, Контакты, Редакция - можна и не использовать вообще профиль автора, тогда доверие будет распространяться от администраторов сайта и редакции (траст самого сайта). Если у вас нет фото автора - лучше его вообще не использовать. Если автор слабенький - возможно он вообще не нужен.

🔗 Официальная документация Google