Посткриптум к последнему предложению предыдущего поста.
Интересная ведь штука получается - можно сделать контент для ботов, дать ему быстренько проиндексироваться, а затем разместить контент для людей, и отдавать 304 на все запросы от ботов If-Modified-Since. В итоге в индексе висит версия для ботов, люди получают версию для людей.
С одной стороны, вроде очень похоже на клоакинг, а с другой - всего лишь некорректная обработка запроса If-Modified-Since.

Гуглоид Джон Мюллер подтвердил практически полный переход Google на mobile-first indexing. На десктопном сканировании остается очень небольшое количество сайтов, не работающих на мобильных устройстах.
Так что если у вашего сайта в Google Search Console основной робот все еще десктопный, то Google считает, что на смартфонах он не работает.

Тихо и незаметно в новом инструменте Яндекс Вебмастера "Мониторинг запросов" появилась выгрузка данных в xls. Спасибо яндексоидам, инструментом стало пользоваться сильно удобнее.
А тихо и незаметно, наверное потому, что блог Яндекса для вебмастеров что-то заморозился на мартовской отметке. Разбежались все редакторы, что ли?

Google в своем блоге рассказал о своей системе определения авторитетности новостей.
Заявлено, что система работает в определенных тематиках, таких как здоровье, политика или финансы, т.е. судя по всему - в тематиках YMYL.
В качестве наиболее важных сигналов заявлены такие как актуальность источника (например, для локальных новостей более актуальны локальные источники), цитируемость источника другими издателями, а также репутация источника.
В общем, все к тому, что запрыгнуть в нишу новостного поискового трафика в тематиках YMYL очень непросто.

С каждым годом функционал языка запросов Яндекса становится все беднее.
Старый добрый оператор url: тоже стал привирать.
В связке с символом * (Цитата из Яндекс Справки: "Чтобы найти все документы, адреса которых начинаются с заданного значения, поставьте в конце URL символ *") он теперь показывает явно не все, что есть в индексе. Грусть-печаль.

С Днем оптимизатора!
Мало кто знает, почему этот праздник отмечают 28 мая.
А дело было так. В начале двухтысячных на популярном тогда форуме Searchengines.ru (в просторечье - Сёрч) решили выбрать дату для празднования дня оптимизатора.
Было предложено несколько вариантов. Один из активных тогда пользователей под ником greenwood, который служил срочную в погранвойсках, предложил дату дня пограничника - 28 мая.
Так как это была ближайшая к времени голосования дата, то победила именно она )

Ещё один сервис, приобретенный Яндексом, превратился в тыкву. Яндекс.Кью через месяц становится "музеем контента".
Купили - не пригодилось. Эффективный менеджмент. )

Обнаружился баг в инструменте "Проверка ответа сервера" сервиса Яндекс Вебмастер. Если для проверки выбирать по умолчанию Основной робот Яндекса Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots), то проверять приходит не он, а Робот Яндекс Вебмастера Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots).
Будьте внимательны.

В тему предыдущего поста.
Если вы дифференцируете отдачу содержимого страниц своего сайта по User agent, следует принимать во внимание, что в случае проверки страницы на сайте инструментом "Проверка URL" в Google Search Console проверять страницу придет не Googlebot Smartphone или Desktop, а робот Google Inspection Tool.
Варианты полных строк его User agent для мобильных устройств и десктопов можно найти на странице англоязычной версии документации по поисковым роботам Google Search Central (в русскоязычной версии этой информации пока нет):
Mobile
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; Google-InspectionTool/1.0)
Desktop
Mozilla/5.0 (compatible; Google-InspectionTool/1.0)

Один дотошный буржуский сеошник по имени Сайрус Шеппард в своем твиттере поделился результатами исследования, по каким тематикам в буржуйском Google сейчас не показываются новомодные SGE-ответы, генерируемые AI:
1. Навигационные запросы
2. Рецепты
3. Взрослая тематика (18+)
4. YMYL - медицина и финансы
5. Новости и текущие события
6. "Быстрые" информационные запросы - погода, тексты песен и т.п.
7. "Чувствительные" темы - холокост, гендерная идентичность и т.п.
По оценкам Сайруса это составляет примерно 50-70% всех запросов, что, в общем-то, пока обнадеживает.
С другой стороны, внедрение SGE в поиск только начинается. Но хочется надеяться, что хотя бы YMYL тематики останутся без его присутствия.

Про канониклы.
Google изъял из англоязычной версии документации о директиве canonical рекомендацию использовать его для управления скопированным контентом, размещенном на других доменах (интересно, что в русскоязычной версии эта рекомендация еще остается).
Причина объяснена на другой странице документации (русскоязычной версии у нее нет):
"The canonical link element is not recommended for those who wish to avoid duplication by syndication partners, because the pages are often very different. The most effective solution is for partners to block indexing of your content."
Получается, кроссдоменные директивы canonical в Google - всё?

Гуглоид Джон Мюллер в дискуссии на форуме Reddit не рекомендует выбирать для продвижения домены в дешевых доменных зонах, перегруженных спамом:
"From an SEO POV, I would just not pick a TLD that's super-cheap and over-run with spam."
Выглядит так, что "плохое окружение" ("bad neighborhood") касается и доменных зон.

Интересный детектор AI-сгенерированного текста. С почти 100%-й вероятностью определил примеры на английском, сгенерированные ChatGPT.

SERP на домене ya.ru.
Яндекс собрался полностью переезжать на ya.ru вслед за мордой?

На форуме по техническому SEO Reddit один юзер пожаловался, что сервис Semrush пометил ссылку с Github как токсичную.
Я уже писал, что с очень большим сомнением отношусь к сервисам, пытающимся как-то классифицировать ссылки с точки зрения их работоспособности в алгоритмах ранжирования поисковиков.
Ничего кроме фантазий разработчиков сервисов о том, как по их мнению, поисковики должны оценивать ссылки, они не отражают. А фантазии эти имеют исчезающе мало общего с реальностью.
Но сеошникам позарез нужны хоть какие-то пузомерки, и поэтому, к сожалению, всякие "чектрасты" становятся практически отраслевым стандартом.

Иногда мне на консультациях задают такой вопрос - не навредит ли, если на странице поставить canonical на себя же?
Нет, навредить это не может, да и старина Джон Мюллер того же мнения:
"...self-canonicalization is a good practice in general, and doesn't cause problems there."

Хинт от гуглоида Гэри Ийеша на июньских SEO office hours.
Если в поисковой выдаче у вашего сайта показывается два результата (Гэри называет это "host group"), то неплохо будет консолидировать эти две страницы, назначив одну из них канонической для другой, если есть такая возможность.
На мой взгляд, хороший совет по крайней мере по двум причинам:
1) Объединение поисковых сигналов обеих страниц, происходящее при консолидации, может увеличить релевантность страницы, назначенной канонической.
2) Не будет происходить каннибализации кликов по поиске.

И еще один заслуживающий внимания момент из июньских SEO office hours.
На вопрос, вредны ли цифры в URL с точки зрения SEO, гуглоид Джон Мюллер отвечает, что не вредны ни цифры, ни нелатинские буквы, ни даже симводы юникода.
Джон только предостерегает от использования в URL временных идентификаторов, изменяющихся при любой новой загрузке страницы, что делает индексацию сайта затруднительной.
В связи с этим вспоминается приснопамятный слив факторов ранжирования из Яндекса, и фактор 331 UrlHasNoDigits ("В урле нет цифр"), на основе которого многие толкователи делали вывод, что наличие цифр в URL однозначно негативно для ранжирования в Яндексе.

Ещё один из ответов гуглоидов на июньских SEO office hours.
На вопрос, как запретить индексировать определенную секцию контента на странице, Джон Мюллер предложил только вариант использования iframe или JavaScript, источник которых заблокирован в файле robots.txt.
Ну, остается только добавить, что еще можно выводить контент, индексирование которого нежелательно, в виде изображения, если это возможно и уместно.

Что же касается Яндекса, то у него, конечно, есть поддержка тега <noindeх>, которым можно закрыть часть контента от индексации, однако, как я уже писал, его использование не спасает от антиспама.