Между тем детектив с отключением поддержки директивы canonical при смене протокола продолжается (предыдущая серия здесь: https://t.me/sealytics/40 ). В заголовок поста опять вернулась фраза "с https на http". Похоже, в Яндексе столкнулись какие-то противоборствующие по этому поводу группировки )
Кстати, могу поделиться реальным эпизодом из практики, когда поддержка этой директивы была бы полезна именно с таком направлении. Дело в том, что по техническим причинам было необходимо существование обоих версий (т.е. редирект исключался), но главным зеркалом надо было назначить именно HTTP. В разделе "Переезд сайта" в Яндекс Вебмастере деактивировалась опция "Добавить HTTPS", но хватало этого буквально на несколько дней. Затем Яндекс сам активировал эту опцию и назначал главным зеркалом HTTPS. И так по кругу, только успевай замечать.

Неприятные новости от Роскомнадзора. По одному из сайтов от них пришло "письмо счастья", в котором указывается на нарушения 152-ФЗ "О персональных данных" - зарубежный айпишник (используется Cloudfare) и наличие кода Google Analytics без формы согласия посетителей сайта на обработку их персональных данных с использованием именно этого сервиса.
Ну, положим, запрос на согласие использования GA можно включить в форму, но вот использование зарубежных CDN, получается, под запретом.

Мысли про пагинацию. Индексировать или не индексировать.
Считаю, что в случае списков (например, товаров в категории или статей по теме) для нормальной перелинковки конечных страниц просто необходимо позволять роботу проходить по ссылкам пагинации. При этом наличие страниц пагинации в индексе совершенно необязательно.
Сделать это можно двумя способами:
1) Директива canonical со всех страниц пагинации на первую страницу.
2) Мета robots со значением noindex, follow для страниц пагинации кроме первой.
Первый способ, на мой взгляд, предпочтительней. Про рекомендацию Google не использовать первую страницу пагинации в качестве канонической знаю, однако опыт подсказывает обратное. Но могут быть нюансы, когда поисковик игнорирует canonical, но массово выкидывает страницы пагинации из индекса как малоценные или дубли. Тогда использовать второй способ.
Закрывать пагинацию от индексации в robots.txt с помощью директив Disallow или Clean-param (в Яндексе, если пагинация задается get-параметром в URL) категорически не рекомендую.

По итогам обсуждения в комментариях к предыдущему посту канала хотелось бы поговорить о различиях упоминаемых в нем способов:
1) Canonical - происходит склейка страниц с консолидацией нетекстовых (внешних) факторов плюс учёт ссылок с неканонической страницы в ссылочной структуре.
2) Мета robots со значением noindex, follow - никакой склейки, только учёт ссылок.
3) Clean-param - склейка с консолидацей есть, учёта ссылок нет, по сути аналог 301-го редиректа.
4) Disallow - ни склейки, ни учёта ссылок.

Небольшое уточнение по мете robots. Формально значение follow (равно как и index) - необязательно. По умолчанию робот делает все, что не запрещено (сканирует ссылки и индексирует контент). А вот для запрещения сканирования ссылок используется nofollow, для запрещения индексации контента - noindex.

Перекину в канал из чата интересное наблюдение Игоря Бакалова. Вообще-то для главных страниц запрещенных к индексации сайтов Яндекс практикует подобные сниппеты с сообщением "Владелец сайта предпочёл скрыть описание страницы" довольно давно. Но вот для внутренних я что-то действительно такого не припомню.

Похоже что Яндекс последовал примеру Google и начал показывать в поиске страницы, которые закрыты от индексации. Наблюдаю на 2 сайтах. Что характерно, страницы со скриншота ниже закрыты при помощи тега <meta name="robots" content="noindex"/> и до кучи при помощи Disallow: /files/

В продолжение темы про директивы для поисковиков.
Наткнулся тут на комментарий Джона Мюллера пятилетней давности, котором он говорит о том, что директива canonical имеет для Google больший приоритет, чем мета robots со значением noindex, если вдруг они окажутся в коде одной страницы.
Честно говоря, полагал, что должно быть наоборот.

Еще один любопытный комментарий Джона Мюллера.
Он посоветовал не париться по поводу Core Web Vitals владельцам небольших сайтов.
Его философское умозаключение - сеошники слишком парятся над теми вещами, которые измеримы, потому что в сеошном мире очень мало измеримого - заставляет задуматься, а стоит ли париться по этому поводу и владельцам больших сайтов? )

Всякий раз, когда натыкаюсь на подобное, хочется сказать "И эти люди запрещают нам ковыряться в носу?"
А как же незабвенное "Мы стараемся не индексировать или не ранжировать высоко: ... Страницы с результатами поиска по сайту или результатами отбора товаров, услуг, других объектов по условиям, если они мало информативны и мало полезны для пользователей."?
И ведь таких результатов собственного поиска в собственном индексе - миллионы.

Важная вещь, о которой часто забывают.
Значимость внутренней страницы сайта для поисковой системы во многом определяется двумя факторами:
1) Количеством входящих ссылок.
2) Длиной самой короткой цепочки ссылок от главной страницы (чем короче, тем лучше).
Не допускайте, чтобы большое количество страниц сайта находилось очень далеко от главной.
Не допускайте, чтобы большое количество страниц сайта имело минимум внутренних ссылок. Страницы-сироты без внутренних ссылок или кластеры таких страниц, на которые нельзя попасть по ссылкам с других страниц, не входящих в кластер - это вообще табу.
Совершенствуйте рубрикаторы, делайте более плотную перекрестную перелинковку.
Если не можете цепочку кликов до определенных страниц уменьшить, а количество входящих ссылок на них - увеличить, то крепко подумайте, нужны ли эти страницы в индексе.
Страница, на которую ссылается только одна 100500-ая страница пагинации - не нужна никому, ни поисковикам, ни пользователям. Большое количество таких страниц на сайте говорит о том, что и сам сайт никому не нужен )
Даже если адепты модного "силосования" пытаются вас убедить в обратном.

Поздравляю всех прекрасных подписчиц канала с 8 марта. Пусть у вас всё будет в топе!

В блоге Яндекса для вебмастеров анонсируется добавление новых данных в YML-фиде: о промокодах и доставке. И хотя эти данные "обогатят" сниппет только в поиске по товарам, на мой взгляд, это хороший повод задуматься о важности данных сигналов и для коммерческого ранжирования в органике. По крайней мере, интернет-магазины, которые на этапе заказа не дают информацию о вариантах и стоимости доставки, будут неизбежно проигрывать в поисковой выдаче тем, у кого эта информация есть.

Про переезд сайта с изменением URL. Рекомендации Google и Яндекса в этом вопросе существенно разнятся.
И если Google позволяет просто напрямую сопоставить старые и новые URL и настроить 301-й редирект (другие виды редиректов не рекомендуются), то Яндекс требует двойной редирект:

"Установите на сервере редирект с HTTP-кодами 301 или 302. Перенаправление должно вести со страниц старого сайта на аналогичные страницы нового — который должен участвовать в поиске.
Если у сайта изменились доменное имя и названия каталогов, то нужно установить двойной редирект. Например, адрес страницы http://сайт.рф/стр/ изменился на http://example.ru/page/. Тогда перенаправление должно работать следующим образом:
http://сайт.рф/стр/ -> http://example.ru/стр/ -> http://example.ru/page/ "

Получается, что для того, чтобы корректно переехать в обоих поисковиках, надо использовать схему Яндекса с двойным 301-м редиректом.
Google хоть и не рекомендует использовать цепочки редиректов, но допускает их, если количество переходов сведено к минимуму.

Столкнулся на днях в одном сеошном чате с утверждением, что вес внутренней ссылки зависит от ее расположения на странице - якобы ссылки из основного контента весомее ссылок из футера.
Ну, я еще понимаю, когда подобные мысли возникают насчет внешних ссылок - типа подвальные блоки с большей вероятностью являются продажными, поэтому ссылки могут фильтровать только за сам факт наличия в подвале (что на самом деле весьма и весьма сомнительно).
Но вот подобные идеи насчет внутренних - считаю, мягко говоря, некомпететными и не имеющими под собой никаких оснований. Ну, и старина Джон Мюллер подтверждает:
“We don’t really differentiate there.
So if like, things are linked in your footer of the page and they’re linked from across the whole website then from our point of view you have those links from across your whole website.
It’s not the case that we would say, Oh, like links in a footer have less weight or are not as useful we will ignore them or anything like that.
So from that point of view, when it comes to links we essentially just see them as links on a page.”

Пятничное. Рубрика "Мимо тещиного дома я без шуток не хожу".
Наткнулся на очередной оксюморон в Яндексе. По запросу Clean-param в выдаче Яндекса по сайту Яндекса находим кучу дублей с незначащими get-параметрами в URL, которые Яндекс призывает удалять из индекса с помощью этой самой директивы Clean-param. Призывает, получается, всех, кроме себя.
Интересно, он себе в Яндекс.Вебмастер шлет грозные алерты о дублях с get-параметрами? И если шлет, их кто-то читает? )

Google опубликовал политику использования моделей искусственного интеллекта.
Примечательно, что кроме прочего запрещается приписывать сгенерированному AI контенту авторство человека, а также выдавать его за экспертизу, особенно в тематиках EEAT.
Полагаю, что и в алгоритмах ранжирования подобная позиция будет также иметь место. Так что по меньшей мере в тематиках EEAT наполнять контент генеренкой, на мой взгляд, представляется далеко не лучшей идеей.

Обнаружил, что Яндекс изменил своё отношение к запрещенным в файле robots.txt страницам.
На странице Яндекс Справки "Использование файла robots.txt" появилось примечание:
"Ограниченные в robots.txt страницы могут участвовать в поиске Яндекса. Чтобы удалить страницы из поиска, укажите директиву noindex в HTML-коде страницы или настройте HTTP-заголовок."
А на странице "Как удалить страницы из поиска" в описании способа удаления "Запрет в файле robots.txt" вместо фразы
"Робот прекращает обращаться к странице в течение суток."
появилась фраза
"Из поисковой базы страница будет удалена в течение недели после того, как робот обнаружит ваши указания. При этом страница может иногда появляться в результатах поиска, например, если на нее ведут ссылки с других ресурсов."
Таким образом Яндекс в данном вопросе перенял позицию Google. Надеюсь, что так же, как и Google, сканировать запрещенные в robots.txt страницы Яндекс все-таки не будет.

Яндекс не устает огорашивать изменениями. В инструменте "Проверка ответа сервера" Яндекс Вебмастера вдруг исчезли сообщения о времени ответа сервера и IP сайта, которые шли после строки "Код статуса HTTP".

IP сайта - шут с ним, а вот время ответа сервера боту Яндекса знать было полезно. Интересно, кому оно помешало?

Выдыхаем. Проверка времени ответа сервера, исчезнувшая из инструмента "Проверка ответа сервера" Яндекс Вебмастера, обнаружилась в не так давно созданном подразделе "Проверка страницы" раздела "Индексирование".