🚀 Автоматизируем SEO-аудит: Интерактивный дашборд на Python + Screaming Frog CLI!

Это демо для тех кто не знал что Screaming Frog можно запускать в фоновом режиме и получать результаты в своей панельке.

🎯 Главные фичи и функционал:

Headless-краулинг в один клик: Дашборд автоматически находит Screaming Frog на вашем компьютере и запускает сканирование в фоновом режиме. Вы видите прогресс-бар прямо в браузере.

📋 Интерактивный чек-лист из 31 SEO-параметра: Мгновенный срез состояния сайта. Всё от битых ссылок (4xx/5xx) и цепочек редиректов до дубликатов мета-тегов, отсутствия микроразметки (Schema/OpenGraph) и медленных страниц.

🖱 Интерактивный UX (Клик-инфо): Хотите узнать, на каких страницах дублируются заголовки H1 или где не настроен Canonical? Просто кликните по нужной строке в общем чек-листе — и подробная таблица с проблемными URL сразу откроется прямо под ним!

🔗 Все адреса страниц в таблицах оформлены как активные гиперссылки. Кликайте и сразу проверяйте страницу в новой вкладке.

💾 История сканирований: Больше не нужно перекрауливать сайт заново! Дашборд кэширует результаты. Вы можете в любой момент переключиться на ранее просканированные домены через быстрый список.

📥 Авто-экспорт отчетов: Система автоматически генерирует детальные CSV-отчеты по каждой ошибке и собирает их в один аккуратный ZIP-архив для отправки клиенту или разработчикам.

Пример - просто демо работы с функционалом лягушки, дорабатывайте на его базе дальше код.

Скачать с Гитхаб

TripleTree · менеджер семантики

Однофайловый браузерный сервис управления семантическим ядром. Не требует установки и сервера: один HTML-файл, данные хранятся локально в браузере (автосохранение сессии), AI-функции работают через API Anthropic по собственному ключу пользователя. Автор скрипта.

Данные и импорт

• Импорт семантического ядра из XLSX (запрос, показы, WS, Score, роль, структура папок из колонки пути).
• Догрузка запросов в существующую сессию из второго файла: дедупликация по нормализованной форме (стеммер Snowball), корзина не воскрешается, новые запросы попадают в «Неразобранное».
• Автосохранение сессии в браузере; ручное сохранение/загрузка файла сессии.
• Отмена последних операций (Undo, до 80 шагов): перемещения, роли, структура, схлопывание, удаление.

Структура (дерево папок)

- Папки и подпапки без ограничения вложенности; перетаскивание запросов и папок мышью, палитра «Переместить в…».
• Динамическая нумерация папок среди соседей уровня — ненавязчивая, пересчитывается при перестановке.
• Цветовые метки папок (зелёный / жёлтый / красный / синий).
• Красная метка = карантин: красное поддерево исключается из всех анализов, отчётов и листов экспорта; единственное место — лист «Запросы» с пометкой «КРАСНАЯ». В диалогах отбора чекбоксы красных подпапок по умолчанию сняты.
• Теги статуса папки: ✓ готово / ⟳ в работе / ⚠️ проблема — цветные бейджи в дереве, переключаются в контекстном меню.
• Метки Tier 1–3 — приоритет папки, три различимых цвета.
• Технические разделители структуры: именованная строка-линия перед группой папок; перетаскивается, переименовывается, не участвует в анализах, экспорте и нумерации.
• Схлопывание подпапок: все запросы поддерева собираются в папку, подпапки удаляются (с Undo).
• Удаление папки отправляет все её запросы в корзину.
• Корзина с восстановлением и очисткой; счётчики запросов и показов по каждой папке; URL папки с наследованием для вложенных.
• Поиск/фильтр по дереву.

Группировка кластера (AI, требует API-ключ Anthropic)

• AI-аудит (чистка): выявление мусорных, нецелевых и дублирующих запросов.
• Структура: создать и разложить: модель предлагает подпапки по интентам и раскладывает запросы; защита от групп-дублей (Жаккар покрытий) и микрогрупп.
• Раскладка по подпапкам: классификация запросов по существующей структуре.
• Разгруппировка по маркерам.
• После любой раскладки остаток корня автоматически уходит в подпапку «Нераспределенные» с красной меткой — сразу под карантином.

Таблица запросов

• Сортировки, фильтр по папке с исключающими токенами, «включая подпапки», выделения, массовые операции, копирование.
• Группы дублей (D-группы) по нормализованной форме.
• Плашки меток на запросах.
• Ручная установка/снятие вершины (хоткей V); глобальный прогон авто-вершин по всем папкам сессии (жёлтая подсветка спорных).

Правые панели (просмотр)

• Униграммы, Биграммы, Триграммы — частотный словарь области с весами.
• Хоткеи панелей: U

Экспорт XLSX

• Листы: Запросы (с пометкой красных), Структура (без красных и разделителей, с колонкой «Тег»), Униграммы / Биграммы / Триграммы, Корзина.
• Экспорт всей сессии или отдельной папки.

Интерфейс

• Светлая и тёмная темы (переключатель ☾/☀️, уважение системной настройки).

Распространяется по лицензии CC0 "Работает как есть, можете переделывать как вам надо".
Ссылка на файлы.

🔍 Быстрый чек обратных ссылок: без сторонних библиотек и сложных скриптов

При линкбилдинге часто собираются огромные таблицы с обещанными размещениями. Но как узнать, какие из них действительно работают и не удалены, а не затерялись при публикации?

Для этого есть лёгкий утилитарный инструмент — backlink-finder.
Он сканирует список донорских страниц и показывает, какие из них реально ссылаются на ваши домены, собирая анкоры и атрибуты ссылок.

⚙️ Главные фишки:
Только стандартная библиотека:
Работает на чистом Python 3.9+ без единой внешней зависимости (pip install не потребуется).

Сбор параметров: Вытягивает не только факт наличия ссылки, но и anchor_text, атрибут rel (проверяет на nofollow, sponsored, ugc), а также итоговый URL.

Умный парсинг: Автоматически учитывает поддомены (например, mysite.com найдет и ссылки на blog.mysite.com), обрабатывает редиректы, <base href> и различные кодировки страниц.

Удобный вывод: Результаты выгружаются в CSV-файл, а сводный отчёт выводится прямо в терминал.

🚀 Быстрый старт:
Клонируем репозиторий:



git clone https://github.com/izzipizzy/backlink-finder.git
cd backlink-finder

Создаем файл urls.txt со списком страниц для проверки (по одной на строку) и запускаем сканирование:
python3 backlink_finder.py urls.txt --domains mysite.com --out found.csv

💡 Подсказка: Если доменов много, их можно вынести в отдельный файл domains.txt — скрипт подтянет его автоматически.

Гуглоиды подтвердили внедрение маскировки урлов в серпе через редирект на google.com/goto.

В чем суть проблемы? Я так понимаю это результат борьбы с парсерами. Теперь если не перейти по ссылке goto - вы не узнаете url страницы. И наверное с попытками перехода Гугл тоже будет бороться, показывая капчу, иначе зачем все это.

Что это значит для seo оптимизаторов? Если раньше скраперы накручивали показы, сканируя топы, то сейчас может оказаться что крутиться будут и переходы, так как чтобы узнать юрл парсеру нужно перейти по goto.
Готовьтесь к кликам по запросам от ботов.

Второе что интересное - не поломается ли работа ботов ChatGPT и других, которые частично использовали поиск в Google для выдачи ответа. Я надеюсь что они договорятся, потому что иначе может поломаться вся логика и останется только Bing и внутренний RAG поиск.

обновление 29.08.2026: найдены первые ссылки с goto в ChatGPT
https://x.com/metehan777/status/2093433841616617814

Невозможность предпросмотра ссылки: Раньше пользователь мог навести курсор на ссылку в поисковой выдаче (SERP) и в левом нижнем углу браузера увидеть реальный адрес сайта, куда он перейдет.
Я лично довольно часто юзал такой предпросмотр и для как пользователя это потеря.

🤖 ChatGPT втайне построил собственный поисковик: что такое Labrador?

Долгое время в SEO-сообществе считалось, что ChatGPT не имеет собственной поисковой базы и полностью зависит от выдачи Google или Bing. Это оказалось мифом. Анализ внутренних процессов показывает, что OpenAI разработала масштабную независимую поисковую архитектуру.

📂 Что известно о секретном индексе?

Кодовое имя — Labrador. Это не просто одна база данных, а целое семейство специализированных вертикальных индексов.

Направления поиска: Веб-страницы распределены по тематическим слоям:

общий веб, PDF-документы, YouTube, Википедия, академический архив arXiv, новости (с разделением по свежести), медицина, юриспруденция, финансы, товары (Shopping) и изображения. Индекс хранит полные тексты страниц, даты их обхода роботом и даты публикации.

Эксабайтный масштаб: Согласно вакансиям OpenAI, их поисковые системы проектируются под работу на эксабайтном масштабе. Команда нанимает инженеров для разработки гибридного поиска, сочетающего классический текстовый алгоритм ранжирования (BM25) и векторный поиск по эмбеддингам.

Агрессивный кэш вместо «живого» поиска: Около 58% сайтов в интернете загружаются дольше 0,8 секунды, что слишком медленно для масштабов ChatGPT. Чтобы ускорить ответы, OpenAI кэширует страницы.

🔍 Откуда появились доказательства?
След в серверном коде: С мая по июль 2026 года во внутренних данных ChatGPT (SSE-событиях) передавалось скрытое поле result_source. Наряду с внешними парсерами там фигурировал Labrador.

Показания под присягой: Руководитель ChatGPT Ник Терли на судебных слушаниях против Google признался, что разработка собственного индекса началась еще в 2023 году. Изначально OpenAI ставила сверхагрессивную цель — закрывать своими силами 80% поисковых запросов уже к концу 2023 года.

Эксперименты в реальном времени: Прямо сейчас идет масштабное A/B-тестирование товарного индекса (Shopping). Тест «prefer-index-over-serp-v3» (приоритет собственного индекса над внешними парсерами) затронул около 8% всех чатов пользователей.

🛰 Внешние провайдеры больше не нужны? Пока нужны. Полный переход на автономный поиск — это долгий процесс, который может занять не менее 5 лет даже при наличии доступа к данным крупных поисковиков.

Сейчас ChatGPT склеивает выдачу своего индекса с результатами минимум 8 внешних каналов. В их числе: сторонние парсеры (Bright Data, Oxylabs), лицензионные соглашения с Yelp и TripAdvisor, а также поисковая платформа Web IQ от Microsoft.

💡 Что это значит для бизнеса и маркетологов?

Прекратите ориентироваться только на Bing. Видимость вашего сайта там не гарантирует автоматическое попадание в выдачу ChatGPT — здесь работают алгоритмы Labrador и Microsoft Web IQ, чья логика отличается от стандартного поиска.

Заполняйте Yelp и TripAdvisor. Если у вас локальный бизнес, ChatGPT использует эти платформы как официальных лицензированных партнеров.

Проверяйте свой кэш. Используйте режим строгой изоляции (Lockdown Mode) в настройках ChatGPT, чтобы проверить, какие именно страницы вашего сайта уже сохранены во внутреннем кэше OpenAI.

1️⃣ Google обновил рекомендации по AI-контенту
Google дополнил документацию по использованию генеративного ИИ в контенте.

Главный акцент — на риске фактических ошибок: AI может уверенно генерировать недостоверную информацию, поэтому такой контент нужно проверять перед публикацией.

Причём речь идёт не только о статьях. Google отдельно упоминает title, meta description, structured data и alt-тексты.

А массовое создание страниц с помощью ИИ без дополнительной пользы для пользователя по-прежнему может подпадать под scaled content abuse.

Комментарий Евгения Молдовану : По факту title, description имеют слишком маленький размер чтобы их детектировать с помощью ИИ (метками). Скорее всего цель изменения - перенести ответственность на вебмастера, так как Google использует эти данные в AI Overview.

🔗 Официальная документация Google

2️⃣ Google против фейковых авторов, созданных с помощью AI

В рекомендациях Google по качеству контента отдельно появился важный момент: нельзя создавать ложное впечатление об авторе материала.

В частности, Google предупреждает о вымышленных именах, фальшивых регалиях и AI-сгенерированных фотографиях людей, если они используются для того, чтобы представить несуществующего эксперта как реального автора.

То есть схема «придумаем эксперта, сгенерируем ему фото, напишем убедительную биографию и будем публиковать от его имени» — уже не просто сомнительная практика, а то, на что Google прямо обращает внимание.

Комментарий Евгения Молдовану:
Гугл уже давно проверял это, советуя асессорам проверять авторов в поиске, использовать поиск по фото, искать экспертов в социальных сетях. Если у вас есть отдельные страницы О нас, Контакты, Редакция - можна и не использовать вообще профиль автора, тогда доверие будет распространяться от администраторов сайта и редакции (траст самого сайта). Если у вас нет фото автора - лучше его вообще не использовать. Если автор слабенький - возможно он вообще не нужен.

🔗 Официальная документация Google