Как долго длится процесс сканирования / индексации у Google

Гэри Иллиес (Gary Illyes) из Google на Search Central Live Deep Dive Europe в Барселоне представил новые данные от Google Search о том, сколько времени в среднем требуется Google для сканирования, индексирования и отображения результатов поиска. Данные разбиты по процессам внутри каждого этапа и показывают типичный временной интервал в сравнении с самым медленным.

Сканирование (Crawling):

- Новая страница: в среднем ~20 часов
- Повторное сканирование (известная страница): в среднем ~30 дней
- Обработка Sitemap: в среднем ~24 часа

Индексация (Indexing):

- Рендеринг страницы: от секунд до часов
- Обработка мета-аннотаций: в среднем ~45-90 минут
- Обработка аннотаций ссылок: в среднем от нескольких минут до 1-3 недель
- Полный цикл индексации: в среднем ~1,5 часа
- Удаление: в среднем от 1 до 3 недель
- Переезд сайта: в среднем ~1-3 месяца

Отображение в выдаче (Serving):

- Удаление через Search Console: в среднем ~2 часа
- Обновление сниппета: в среднем 1-2 дня
- Обновление изображения в текстовом результате: в среднем ~1-2 недели
- Изменения после основного обновления (восстановление): в среднем 3-6 месяцев

«Для каждого процесса было установлено самое быстрое, среднее и самое медленное время. Эти данные основаны на внутреннем анализе Google. Гэри делает оговорку: многие из этих процессов взаимосвязаны. Например, страница не может быть проиндексирована, пока не будет просканирована, поэтому задержки накапливаются», - добавил он.

Источник https://www.seroundtable.com/google-crawling-indexing-serving-data-42225.html

Основы работы с каноническими тегами (canonical tags) / Daniel Foley Carter

Что важно знать о теге Canonical:

1. Теги Canonical изначально были созданы для того, чтобы давать четкое указание на основной (родительский) URL в группе похожих страниц. У старых и сложных сайтов часто возникали непреодолимые технические ограничения, поэтому Google предоставил веб-мастерам возможность использовать канонические теги.

2. Тег Canonical следует использовать для указания на другой URL только в том случае, если контент на страницах очень похож или идентичен; в противном случае Google может проигнорировать этот тег.

3. Страницы, для которых указан канонический URL, передают ссылочный вес (link equity) и сигналы этому основному URL. С точки зрения распределения PageRank Google воспринимает канонические теги так же, как и редиректы.

4. На обработку страниц с каноническими тегами влияют задержки, связанные с частотой сканирования. Чтобы ссылочный вес передался, Googlebot должен просканировать страницу А, считать канонический тег и обработать эту связь в процессе индексации. Если страница А имеет низкий вес внутренних ссылок или редко сканируется повторно, передача веса может занять больше времени по сравнению с полноценным 301-м редиректом.

5. Обычно лучше объединить «дочерние» страницы (указывающие на каноническую) с основной страницей и настроить редирект с прежних путей на основной URL, чем предоставлять Google право решать это самостоятельно.

6. Следует по возможности избегать использования «дочерних» страниц с каноническими тегами, указывающими на другие URL; современные технические возможности большинства сайтов позволяют обойтись без такой практики.

7. Если вы закроете от индексации (используя noindex) страницы, для которых указан канонический URL, имеющий внешние ссылки, ссылочный вес не будет передан, так как директива noindex имеет приоритет над каноническим тегом.

8. Не следует указывать канонический тег, ведущий на первую страницу пагинации, для всех страниц пагинации (будь то категории товаров в интернет-магазине, результаты поиска, страницы блога и т.д.); вместо этого используйте самоссылающиеся канонические теги (self-referencing canonicals, ссылки на самих себя).

9. Количество внутренних и внешних ссылок может привести к тому, что Google ошибочно определит основную (каноническую) страницу. Ссылки служат сигналом: если на «дочернюю» страницу (неканоническую) ведет больше ссылок, Google может назначить ее основной.

10. Хотя внешний ссылочный вес консолидируется, внутренние ссылки, ведущие на неканонические страницы, расходуют краулинговый бюджет и снижают четкость сигналов для поисковой системы. Всегда обновляйте внутреннюю навигацию, ссылки в футере и XML-карты сайта, чтобы они указывали непосредственно на каноническую версию, а не полагались на канонические теги для передачи внутреннего трафика.

11. Канонические теги не должны заменять управление протоколом URL или обеспечение согласованности. То есть, возвращают ли ваши URL HTTP 200 с косой чертой в конце или без нее? Вместо использования канонических тегов именно редиректы должны автоматически обрабатывать несогласованные URL-адреса.

12. Канонические теги не должны использоваться для обработки сайтов с большим количеством параметров URL, полученных в результате фильтрации. Хотя канонические теги и помогают в этом, это становится огромной тратой бюджета сканирования.
Управляйте параметрами через Robots.txt, запрещая их использование, если варианты URL-адресов параметров не имеют трафика или внешних ссылок; в идеале следует блокировать избыточные параметры. Если параметр изменяет содержимое страницы, и канонический тег больше не имеет смысла, Google может его игнорировать, что может привести к каннибализации.

13. Канонические URL всегда должны использовать абсолютные URL-адреса (включая протокол https:// и host).

Новости ВордЧекер

Из-за инцидентов с дата-центрами Яндекса наблюдаются временные затруднения, связанные со сбором позиций из поисковой выдачи и панели вебмастера Яндекса. Просим ожидать восстановление работоспособности Яндекса и его сервисов.

Нельзя доверять ИИ проведение аудита - западный SEO-специалист Дэниел Фоли Картер (Daniel Foley Carter) оценил, насколько это вообще возможно

Если пустить все на самотек, можно легко выставить себя дураком: представьте, что вы сдаете клиенту аудит, в котором проанализированы страницы, которых даже не существует 😂

А ведь именно так ИИ и работает: он «галлюцинирует», ошибается или просто выдумывает данные.

Даниэль провел эксперимент: дал Claude и ChatGPT одну и ту же задачу, предоставил доступ к Ahrefs, а также задал четкие ограничения и инструкции.

Что получилось в итоге:

👀 ChatGPT «увидел» несуществующие URL - вероятно, из-за устаревших данных в Google Search Console. В итоге он проанализировал контент, которого нет, и даже дал по нему рекомендации.

🤖 Claude повел себя похоже: предложил объединить более 30 страниц, которые на самом деле отдавали код ответа 410 (удалено).

➡️ Обе модели выдали массу плохих, а порой и просто неверных советов - в основном из-за «галлюцинаций» в данных. Проблема усугублялась, когда сайты блокировали слишком много запросов: ИИ мог проанализировать часть реального контента, но при проверке URL натыкался на блокировки и начинал генерировать вымышленные данные.

➡️ В ходе нескольких тестов ИИ не смог обработать даже малую часть реальных данных или контента сайта. Из-за этого многие рекомендации не учитывали общую картину: например, ИИ предлагал создать контент, который на сайте уже был.

➡️ ИИ не способен самостоятельно корректно разобраться с HTTP-статусами, каннибализацией запросов или большими массивами данных из GSC.

Суть в том, что использовать такие инструменты без контроля - значит напрашиваться на неприятности.

У ИИ есть свое место в SEO, но только в рамках строго определенных задач и под постоянным присмотром человека.

Автоматизация в SEO существует давно, но полагать, что языковые модели - по сути, просто предсказатели следующего слова - могут заменить даже среднестатистического SEO-специалиста, - это просто смешно.

По данным Cloudflare Radar после атаки дронов на дата-центры Яндекса, с 7 октября, трафик от YANDEX (AS13238) снизился примерно на 35% после удара по Сасово, а затем упал на 99% по сравнению с прошлой неделей около 00:30 UTC 11 октября, поскольку его площадка во Владимире отключилась, согласно данным компании.

https://radar.cloudflare.com/traffic/as13238?dateStart=2026-10-05&dateEnd=2026-10-16

На данный момент инфраструктура Яндеса потихоньку восстанавливается, из маркетинговых сервисов стали частично доступны Яндекс Вебмастер и Яндекс Дерект. Метрика пока недоступна.

Новая версия SiteAnalyzer SEO Tools 4.0

Что нового:
- добавлена возможность отслеживания «Query fan-out» запросов для ИИ-ассистентов ChatGPT, DeepSeek, Claude, Gemini, Perplexity, Алиса AI и ГигаЧат
- ведение истории запросов к ИИ-ассистентам с возможностью подробного анализа каждого ответа по числу вопросов к поиску, найденным источникам, доменам, цитатам и другим фильтрам
- 3 блока «Query fan-out» статистики: распределение вопросов по ассистентам, использование веб-поиска в ответах, ТОП доменов по числу страниц
- возможность отключения автоматического мониторинга и запуск мониторинга в ручном режиме в любой момент
- возможность переключения панели «Query fan-out» в ночной режим (три темы: Светлая, Темная, Системная)
- возможность скачивания JSON с ответами ИИ для локального анализа

Подробнее: https://site-analyzer.ru/articles/seo-extension-query-fan-out/

ПС. Чуть позже выложим на общее обозрение статистику по использованию ИИ-агентов.

Метрика начинает оживать

Можно ли использовать «анкорный контекст» (anchor context) для SEO? / Cyrus Shepard

Google рекомендует размещать ссылки в релевантном контексте, однако многие не осознают, как именно поисковая система использует эти сигналы для оценки ссылок и, в конечном итоге, для ранжирования страниц.

В известном патенте Анны Паттерсон и Пола Хаара (двух ключевых фигур в разработке поиска Google) под названием «Ранжирование на основе контекста ссылок» (Ranking based on reference contexts) объясняется, как Google может использовать «редкие» (RARE) слова, расположенные до и после анкорного текста, для определения контекста.

В дальнейшем Google может применять этот контекст в качестве «самостоятельного» фактора ранжирования.

В документах, ставших доступными в результате утечки API Google, упоминаются параметры, которые измеряют именно это: fullLeftContext, fullRightContext и context2- последнее определяется как «хеш терминов, находящихся рядом с анкором».

Паттерсон и Хаар поясняют, что Google может ранжировать страницы, «основываясь на количестве различных контекстов, связанных со ссылками».

Чем разнообразнее и релевантнее контексты, тем лучше.

С другой стороны, если множество «контекстов» выглядят подозрительно похожими, Google может классифицировать такие ссылки как спам.

Важно отметить, что Google делает акцент на поиске «редких» слов вокруг анкорного текста - то есть слов, которые встречаются здесь чаще, чем в остальной части страницы.

Большинство людей (как и многие платформы для линкбилдинга) сосредотачиваются исключительно на анкорном тексте, упуская из виду остальное. Однако контекст может играть чрезвычайно важную роль.

Новые решения для роста в SEO в эпоху ИИ - на Большом Нарижнике!
 
SEO меняется быстрее, чем успевают обновляться стратегии. 2 ноября на конференции по продвижению «Большой Нарижник» от «КручуВерчу» разберем, какие подходы работают в поиске, куда движется GEO и что стоит внедрять уже сейчас.
 
Отдельный фокус - на продвижении в новой реальности поиска. В GEO-секции и на мастер-классах эксперты рынка разберут, как попадать в AI-ответы, сохранять видимость бренда и измерять эффективность продвижения.

Спикеры:

— Роман Ковалев, создатель GEO-сервиса «Тунец», расскажет, влияют ли домен, ссылки, технические факторы и контент на ответы нейросетей.
— Илья Русаков, основатель impulse guru и aisov ru, разберёт, как AI-поиск меняет e-commerce и что делать, чтобы не остаться за пределами выдачи.
— Владимир Назаров, основатель и руководитель HEAD PROMO, представит исследование рынка GEO за пределами РФ.
— На мастер-классах Михаил Шакин, автор курса «SEO Шаолинь», покажет, как применять вайбкодинг и автоматизацию в SEO,
— Ильяна Левина, эксперт по системному интернет-маркетингу (Сбер, РЖД, IKEA), раскроет, как масштабировать лиды с помощью ИИ и личного бренда.
 
В программе конференции:
 
— 4 направления: InHouse SEO, Hard SEO, GEO и Black SEO
— 12 докладов и 8 мастер-классов от практиков рынка
— экспозона, живые разборы, нетворкинг-пространства
— секретные зоны и вечерняя программа
 
Кроме GEO, в фокусе конференции — AI-агенты, аналитика, семантика, контент, affiliate и автоматизация продвижения.

Если хочется сверить свой стек с рынком и найти новые точки роста - встречаемся на Большом!

Стоимость участия: от 5,500 руб.
 
По промокоду SITEANALYZER тебя ждет скидка -15% на все тарифы.
 
2 ноября · Большой Нарижник
Москва, LOFT HALL #10 × TAU

Яндекс включил переобход страниц

При этом Вебмастер АПИ все также пока не работает