Временами гуглоиды еще те водовозы.
Вчера Мартин Шплитт, Джон Мюллер и Дэнни Салливан собрались на очередной подкаст серии "Search Off the Record" потрещать за апдейты в преддверии August 2023 Core Update. По факту – полчаса времени коту под хост, и весь трёп можно было бы заменить одной сакраментальной фразой Платона Щукина "Следуйте нашим рекомендациям, развивайте Ваш сайт… и со временем…"

Гуглоид Гэри Ийеш, отвечая на вопрос о возможности запрета сканирования краулером определенной части страницы, предлагает недокументированные способы ввиду отсутствия документированных:
1) поместить этот раздел в JavaScript, который запрещен для сканирования;
2) настроить свой http-сервер таким образом, чтобы условно пропускать возврат определенных байтов - другими словами, заняться клоакингом.
Правда с оговоркой, что что большинству поисковых систем не особенно нравится эта практика, потому что исторически она использовалась для спамерских техник.
Вот такие "вредные советы" от гуглоида.
Я бы лично рекомендовал воспользоваться все-таки первым способом. Второй более опасен с точки зрения антиспама, так как боты и пользователи получают разные версии страницы. Хотя, по логике, криминал должен возникать не там, где от бота скрывают то, что показывают пользователю, а наоборот - там, где от пользователя скрывают то, что показывают боту.

Хоть сегодня и не пятница, но позволю себе пятничный пост )
Гуглоид Джон Мюллер начал что-то подозревать об отношении к нему сеошников, которых он называет "коллекцией персонажей":

"Все, что я говорю, является доказательством того, что я ничего не знаю или что я что-то знаю и пытаюсь их обмануть, поэтому лучше поступить наоборот."

Добро пожаловать из мира розовых пони в реальность, Джон 😁

В блоге Google Search Central Blog вышел материал (пока что только на английском языке) в стиле научпоп под названием "Комедия ошибок", посвященный различным проблемам доступа краулера к вебсайтам (ошибки DNS, сетевые ошибки, ошибки сервера и клиента).
В общем-то ничего революционного, но рекомендую к прочтению на досуге для общего развития и упорядочивания знаний в своей голове.

Наткнулся на довольно старенькое, но весьма любопытное исследование от сервиса Ahrefs, посвященное выделенным описаниям (featured snippet) Google.
Моменты, которые мне показались интересными:
• Выделенные описания показывается у 12% поисковых запросов
• Выделенное описание (по сути "нулевая" позиция в поисковой выдаче) получает в среднем только примерно 8,6% кликов, в то время как страница, которая занимает место прямо под ним (1-я позиция), получает в среднем примерно 19,6% кликов. Если выделенного описания в выдаче нет, 1-я позиция получает в среднем примерно 26% всех кликов. Юзеры меньше доверяют примеси, чем органике?
• 30,9% выделенных описаний берутся с 1-го места выдачи, 99,58% – из топ-10.
• Корреляции числа бэклинков с попаданием в выделенный сниппет не обнаружено (оговорка – исследование проводилось без учета анкорного текста).
• Большинство выделенных сниппетов показываются не по популярным запросам, а по запросам из "длинного хвоста".
• Страница с наибольшим количеством выделенных сниппетов показывается по 4658 запросам
• Википедия – абсолютный лидер среди сайтов по числу выделенных описаний.

Хотите задать вопрос про апдейты Google Джону Мюллеру? Просто заполните до 4 сентября форму вопросов для секции апдейтов конференции brightonSEO. И быть может, вам повезет, и старина Джон ответит на ваш вопрос. А может вам повезет вдвойне, и ответ будет толковым. 😁

Google включил в перечень поддерживаемых для индексации типов файлов файлы с расширением .csv. Соответствующая строка появилась в документации.
Однако ни одного файла с таким расширением в индексе пока не обнаружено.

Согласно исследованию сервиса Originality.ai после того, как компания OpenAI три недели назад объявила о своем краулере c User-Agent GPTbot, eго заблокировали в файле robots.txt 9,2% из 1000 самых популярных сайтов. И эта тенденция продолжает расти со скоростью 5% в неделю.
Похоже, владельцы сайтов не очень-то хотят, чтоб на их контенте обучался искусственный интеллект.

Наткнулся на интересный (правда, прошлогодний) эксперимент по исследованию повторного сканирования краулерами Google страниц, отдающих ответы 404 и 410.
Который показал, что страницы с ответом 404 сканируются повторно на 49,6% чаще, чем страницы с ответом 410.
Получается, чисто с технической точки зрения будет более корректно отдавать 410, если вы не собираетесь размещать на данном URL в будущем индексируемый контент.
Хотя, впрочем, на краулинговый бюджет это влиять никак не будет.

P.S. Еще существует поверье, что страницы с ответом 410 быстрее вылетают из индекса, чем с 404. Но экспериментов, подтверждающих это, пока не встречал.

Какими только обрядами и ритуалами не обрастает сеошная практика. Один буржуйский сеошник на полном серьезе утверждает, что в URL страниц обязательно надо помещать папку с названием услуги (/services/) перед папкой с названием региона (/location/), т.е. структура URL обязательно должна быть в виде site/service/location/.
Вездесущий гуглоид Джон Мюллер спешит развенчать этот абсурдный миф:

"Что касается SEO, мы рассматриваем URL скорее как идентификаторы, за очень немногими исключениями".

В блоге Яндекса для вебмастеров опубликован пост об обновлении алгоритма определения вторконтента, явившегося причиной массового наложения фильтра за малополезный контент и спам в этом месяце, о чем я уже писал ранее.
Перечислены варианты использования заимствованного контента, не попадающие под санкции:

"авторских (предоставленные производителем, создателем, организатором) описаний товаров, услуг, событий, организаций, компьютерных программ, инструкций к применению и руководств по эксплуатации; 
текстов литературных и фольклорных произведений, песен, анекдотов, цитат и афоризмов; 
текстов законов, указов и других нормативных актов, стандартов, шаблонов документов; 
своего текста из других источников (блогов, социальных сетей), пресс-релизов, опубликованных в других источниках; 
и в других случаях, когда в результате пользователи получают дополнительную ценность. "

Последний пункт про дополнительную ценность определенно радует своей конкретикой 😊

Свежий ролик из серии "Search Central Lightning Talks", в котором Мартин Шплитт занимается ликбезом по использованию инструмента Chrome Devtools для диагностики и улучшения показателей Core Web Vitals.
Рекомендуется к просмотру для общего развития тем, кто плохо знаком с Google Lighthouse.

Яндекс активно развивает поиск по товарам (помним: нужно больше золота!) – в Блоге Яндекса для вебмастеров появилось сообщение о том, что информацию об условиях доставки теперь можно добавить прямо в интерфейсе сервиса Яндекс Вебмастер.
Эх, эту бы активность – да на борьбу с накрутчиками ПФ в органике.

Google начал раскатку SGE за пределами США. Первыми странами стали Индия и Япония. Ждем, когда доберутся до России.

Временами мне приходилось сталкиваться с утверждениями, что почтовый ящик, указанный на коммерческом сайте, должен быть непременно на домене сайта. Что ящик на другом домене (как правило, на бесплатном почтовом сервисе) якобы подрывает доверие пользователей и поисковых машин. Но, честно говоря, никогда не видел этому подтверждений на практике.
На форуме Reddit натолкнулся на дискуссию по данной проблеме. Буржуйский товарищ вопрошает, является ли домен почтового ящика фактором ранжирования? Вездесущий гуглоид Джон Мюллер парирует вопросом на вопрос "С чего бы?"
И действительно, с чего бы?

Еще один знаковый момент из позавчерашнего анонса Google раскатки SGE за пределами США.
Эксперимент с показом ссылок в обзорах SGE признан удачным, и теперь показ таких ссылок штатно запускается в США, а далее будет раскатываться на другие страны по мере их подключения к SGE. Увы, органика задвигается все дальше.

В Блоге Яндекса для вебмастеров появился анонс новых возможностей отчета "Мониторинг запросов" – добавлены сортировка и фильтр по спросу, а также а еще уточнены значения N/A и 0 в отчетах, чтоб было понятно, то ли пользователи не могут найти вас в выдаче по конкретному запросу, то ли статистика по нему просто не отображается в инструменте.
Такая активность яндексоидов определенно радует.

Гуглоида Джона Мюллера настолько захватила тема отсутствия различий для ранжирования между разными видами редиректов, что он в добавок к активности на эту тему в соцсетях записал видеоролик.
Похоже, у него есть сомнения, что сеошники к нему прислушиваются. )

"Техническое SEO не уходит, оно продолжает оставаться основой всего, что построено в открытой сети"

– ответил гуглоид Джон Мюллер на заявления одного пользователя соцсети X, что техническое SEO теряет актуальность по сравнению с контентом.
Целиком и полностью согласен с Джоном, без грамотной технички сложно добиться хорошего результата, имея даже супер-пупер контент.

Любопытный случай описывает один испанский сеошник. У него на сайте Google вдруг стал склеивать абсолютно непохожие страницы, выбирая канонической ту, которая в ссылочной структуре находится ближе к главной. Пишет, что не одинок в подобном отношении Google к сайту.
У кого-то наблюдается что-то подобное?

Любопытный ответ от гуглоида Джона Мюллера на вопрос, может ли использование контента, сгенерированого искусственным интеллектом, вызвать пенальти от Google.
В ответе Джон продемонстрировал владение эзоповым языком:
"Есть множество способов, которые могут привести к публикации некачественного контента, не обязательно использовать AI".
Выглядит так, будто контент от AI гуглоиды априори считают некачественным.