FIPP сообщает, что
"По данным TollBit, доля попыток извлечения данных с помощью ИИ, обходящих файлы robots.txt, выросла с 3,3% в четвертом квартале 2024 года до примерно 13% к концу первого квартала 2025 года. Только в марте было зафиксировано более 26 миллионов случаев запрета извлечения данных с сайтов, на которых были размещены файлы robots.txt с просьбой к разработчикам не извлекать контент, но которые все равно были извлечены."
FIPP
State of the Bots: FIPP and TollBit put the spotlight on AI scraping - FIPP
There are few issues more pressing for media companies than copyright infringement by AI bots. With research showing website scraping has increased at a rapid rate, publishers are scrambling to find out who exactly is extracting the data, what can be done…
Весьма интересная статья о том, как Google Discover пытается понять ваши намерения с тем, чтоб показать подходящую подборку.
"Чтобы решить, какую статью, видео или подкаст добавить в вашу ленту, Google приходится совмещать две противоречивые временные шкалы:
Ваша долгая история : что вы действительно читали, просматривали или игнорировали в течение месяцев, а то и лет. Эти глубинные закономерности раскрывают ваши неизменные увлечения, любимые темы и потребительские привычки.
Ваше краткое настроение : мгновенное состояние устройства, текущее время, последние поисковые запросы, скорость прокрутки. Эти мимолетные сигналы отражают ваши текущие потребности и мимолетное любопытство.
Именно это разделение и воплощают "Пикассо" и "Ван Гог": два слоя пользовательских внедрений, которые накладываются друг на друга и дополняют друг друга, решая невозможное уравнение персонализации без запроса."
Буржуйский сеошник Оливье де Сегонзак утверждает, что раскрыл систему расширения запросов, которая применяется органическом поиске Google. В Яндексе в свое время это называлось переколдовкой запроса.
RESONEO
Uncovering Google’s Query Expansion System and a Mysterious Scoring Layer - RESONEO
People are talking a lot about “query fan‑out” for conversational search engines these days. But did you know the same query‑expansion principle is
👍2
Ну, и, собственно, сводка по результатам исследований внутренней работы Google от Оливье де Сегонзака и Дэмьена Анделла.
Интересно, стало быть утечка из Google не так уж и бесполезна, если верить этим французам.
"Мы получили список из почти 1200 экспериментов Google, более 800 из которых были активны по состоянию на июнь 2025 года.
Этот набор данных подтверждает, что многие компоненты, раскрытые в утечках 2024 года — Mustang, Twiddlers, QRewrite, Tangram, QUS и другие — по-прежнему играют центральную роль в системе.
В то же время появляется волна новых и интригующих кодовых имен: от «Гармония» и «Тор» до более вызывающих названий, таких как «Шепот», «Лунный камень» и «Солнце».
Среди наиболее примечательных — DeepNow, преемник Google Now с его аналогом NowBoost, и SuperGlue, который может заменить Glue — эквивалент NavBoost для универсального поиска."
Интересно, стало быть утечка из Google не так уж и бесполезна, если верить этим французам.
Search Engine Land
Inside Google's secret search systems: 1,200 experiments, AI agents, and entities
A deep dive into the unseen systems behind Google Search – uncovering live experiments, entity-based infrastructure, AI agents, and more.
Согласно отчету исследовательского центра Pew, пользователи Google, получившие поисковую выдачу с AI Overviews, реже переходят по ссылкам в выдаче на другие сайты, чем пользователи, которые AI Overviews не видят.
Ну да, а гуглоиды будут нам втирать, что зато перешедшие на сайты из выдачи с AI Overviews – ну, очень качественные. За одного битого двух небитых дают. 😀
Ну да, а гуглоиды будут нам втирать, что зато перешедшие на сайты из выдачи с AI Overviews – ну, очень качественные. За одного битого двух небитых дают. 😀
Статистика блокировки новостными сайтами роботов LLM в файле robots.txt от Screaming Frog:
Если б еще все боты LLM соблюдали директивы файл robots.txt... 😊
"Используя исходный список из 72 крупных национальных, региональных и потребительских новостных сайтов, мы записали, какие из 11 наиболее распространенных роботов-сканеров на основе ИИ разрешают или блокируют в robots.txt или метатегах страниц.
75% новостных сайтов блокируют как минимум один поисковый робот на базе ИИ (54 из 72).
GPTBot от OpenAI является самым блокируемым ботом — его блокируют 58% новостных сайтов.
MailOnline, iNews, Metro и BBC News блокируют 91% поисковых роботов.
Региональные новостные сайты чаще всего блокируют поисковых роботов на базе ИИ — в среднем 8."
Если б еще все боты LLM соблюдали директивы файл robots.txt... 😊
😁2
В очередном ролике серии Google SEO Office Hours Shorts гуглоид Джон Мюллер признал, что у них нет механизма обработки цен на товары, различающихся по штатам. Он предложил два альтернативных способа решения этой проблемы:
1) Используйте поле «Налог», чтобы скорректировать цену продукта до окончательной суммы для каждого штата.
2) Создайте отдельную страницу продукта для каждого штата, чтобы можно было сказать, что это продукт для Калифорнии, а затем новую страницу, чтобы сказать, что это цена в Нью-Йорке.
1) Используйте поле «Налог», чтобы скорректировать цену продукта до окончательной суммы для каждого штата.
2) Создайте отдельную страницу продукта для каждого штата, чтобы можно было сказать, что это продукт для Калифорнии, а затем новую страницу, чтобы сказать, что это цена в Нью-Йорке.
YouTube
"Can I use different prices for different US states?" - SEO Office Hours Shorts
In this episode of SEO Office Hours, we answer the question: What considerations should I make when my website displays different prices for products in diff...
Forwarded from Канал / Яндекс Вебмастер
Раньше можно было только делегировать полный доступ с правом редактирования всего сайта. Теперь владелец сайта может назначать другим пользователям разные роли с четко определенными правами: для редактирования, просмотра или частичного доступа. Это позволяет гибко распределять задачи и повышает безопасность при работе с сайтом в Вебмастере.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤1👎1
Бесплатный букмарклет для Google Chrome ChatGPT Search Query and Reasoning Extractor.
Этот инструмент извлекает:
• Все обоснованные поисковые запросы ChatGPT, используемые во время разговора (например, когда включен просмотр)
• Рассуждения или «мысли» ChatGPT о том, почему он искал то, что делал
• ОБНОВЛЕНИЕ: Теперь он также извлекает заголовки, URL-адреса и фрагменты всех веб-страниц, посещаемых в ходе поиска.
The SEO Pub
ChatGPT Search Query and Reasoning Extractor
Want to see how ChatGPT decides what to search and why? This bookmarklet I built gives you a behind-the-scenes look. What It Does This tool extracts: It opens everything in a clean, formatted page with: Why It’s Useful Example of the Output Here is an example…
Буржуйская сеошница Алейда Солис поставила эксперимент, подтвердивший, что ChatGPT использует поисковую выдачу Google для своих ответов:
Получается, LLM тырят контент не только у издателей, но и у поисковиков. 😀
"Я провела простой, но понятный тест, который подтверждает зависимость ChatGPT от снипеттов выдачи Google для своих ответов, показав, что:
1. ChatGPT, по сути, смог дать ответ *только* после того, как Google начал показывать страницу в своей выдаче, когда страница ещё не была проиндексирована в Bing.
2. ChatGPT подтвердил, что он предоставил ответ (который был неполным), «извлекая фрагмент из публично проиндексированной версии страницы... через веб-поиск, который предварительно просматривает содержимое страницы — вероятно, из индекса поисковой системы».
3. Сравнив фрагмент ответа ChatGPT с о сниппетом выдачи Google, я подтвердила, что они были одинаковыми!
Получается, LLM тырят контент не только у издателей, но и у поисковиков. 😀
Linkedin
🚨 Confirmed - ChatGPT uses Google SERP Snippets for its Answers! Here's a test I've run with proof:
I’ve run a simple but straight…
I’ve run a simple but straight…
🚨 Confirmed - ChatGPT uses Google SERP Snippets for its Answers! Here's a test I've run with proof:
I’ve run a simple but straight-forward to follow test that confirms the reliance of ChatGPT on Google SERPs snippets for its answers, showing that:
1.…
I’ve run a simple but straight-forward to follow test that confirms the reliance of ChatGPT on Google SERPs snippets for its answers, showing that:
1.…
❤7😁1
Гуглоиды представили Google Trends API. Принимаются заявки на альфа-тестирование:
"Мы начнём тестирование продукта, чтобы понять особенности его использования и довести его до совершенства, поэтому нам нужна обратная связь от разработчиков, которые любят тестировать и дорабатывать инструменты, которые могут быть ещё не готовы к использованию в промышленной эксплуатации. Если вы соответствуете этому профилю, подайте заявку на ранний доступ к альфа-версии API Google Trends.
В ближайшие недели мы начнём постепенно открывать доступ ограниченному числу разработчиков. Если вы не в первой группе, не волнуйтесь: мы расширим доступ в ближайшие месяцы."
Google for Developers
Introducing the Google Trends API (alpha): a new way to access Search Trends data | Google Search Central Blog | Google for…
Японский сеошник Кеничи Сузуки цитирует высказывание гуглоида Гэри Ийеша на мероприятии Google Search Live Deep Dive:
Ну вот, а то SEO уже некоторые успели похоронить 😀
"Чтобы ваш контент появился в AI Overview, просто используйте стандартные методы SEO. Вам не нужны GEO, LLMO или что-либо ещё. "
Ну вот, а то SEO уже некоторые успели похоронить 😀
Linkedin
#searchcentrallive #scldd2025 | Kenichi Suzuki | 20 comments
To get your content to appear in AI Overview, simply use normal SEO practices. You don't need GEO, LLMO or anything else.
Gary Illyes
#searchcentrallive #scldd2025 | 20 comments on LinkedIn
Gary Illyes
#searchcentrallive #scldd2025 | 20 comments on LinkedIn
👍3
SЕalytics (SEO-аналитика от Сергея Людкевича)
Японский сеошник Кеничи Сузуки цитирует высказывание гуглоида Гэри Ийеша на мероприятии Google Search Live Deep Dive: "Чтобы ваш контент появился в AI Overview, просто используйте стандартные методы SEO. Вам не нужны GEO, LLMO или что-либо ещё. " Ну вот,…
Еще один инсайд от японского сеошника Кеничи Сузуки с Google Search Central Live Deep Dive:
Короче, мертворожденное дитя этот ваш LLMs.txt.
"Гэри Ийеш четко заявил, что Google не поддерживает LLMs.txt и не планирует этого делать."
Короче, мертворожденное дитя этот ваш LLMs.txt.
Linkedin
#searchcentrallive #scldd2025 | Kenichi Suzuki | 10 comments
Gary Illyes clearly stated that Google doesn't support LLMs.txt and isn't planning to.
#searchcentrallive #scldd2025 | 10 comments on LinkedIn
#searchcentrallive #scldd2025 | 10 comments on LinkedIn
👍4
Гуглоиды запустили Web Guide – экспериментальную страницу результатов поиска, организованную с помощью искусственного интеллекта.
Однако, весьма широкий шаг в сторону персонализации поисковой выдачи.
"Web Guide группирует веб-ссылки удобным для пользователя образом — например, страницы, связанные с определёнными аспектами вашего запроса.
[...]
Подобно режиму искусственного интеллекта, Web Guide использует метод разветвления запросов, одновременно выдавая несколько связанных поисковых запросов для определения наиболее релевантных результатов."
Однако, весьма широкий шаг в сторону персонализации поисковой выдачи.
Google
Web Guide: An experimental AI-organized search results page
We’re launching Web Guide, a Search Labs experiment that uses AI to intelligently organize the search results page, making it easier to find information and web pages.
😁1
Обзор первого дня мероприятия Search Central Live Deep Dive Asia Pacific 2025 от буржуйского сеошника Дэна Тейлора.
"Некоторые практические советы, которые появились в первый день:
• Продолжайте создавать контент, ориентированный на человека. Модели Google отдают предпочтение естественному, профессиональному стилю написания.
• Оптимизируйте для различных модальностей. Убедитесь, что изображения имеют описательный альтернативный текст, видео — транскрипции, а голосовой поиск поддерживается разговорным языком.
• Контролируйте бюджет сканирования . Оперативно исправляйте ошибки 5XX и оптимизируйте структуру сайта для эффективного управления роботом Google.
• Воспользуйтесь рекомендациями Search Console. Владельцы сайтов, не являющиеся экспертами, могут воспользоваться функцией подсказок для повышения удобства использования и производительности.
• Будьте гибкими. Устоявшиеся тенденции в области трафика могут меняться по мере развития возможностей искусственного интеллекта. Прошлый успех не гарантирует успех в будущем."
Search Engine Journal
Google Search Central APAC 2025: Everything From Day 1
Read a summary of the key themes with some Google insights that emerged from day one at Search Central Live Deep Dive Asia Pacific 2025.
SЕalytics (SEO-аналитика от Сергея Людкевича)
Обзор первого дня мероприятия Search Central Live Deep Dive Asia Pacific 2025 от буржуйского сеошника Дэна Тейлора. "Некоторые практические советы, которые появились в первый день: • Продолжайте создавать контент, ориентированный на человека. Модели Google…
Обзор второго дня мероприятия Search Central Live Deep Dive Asia Pacific 2025 от буржуйского сеошника Дэна Тейлора. Из интересного:
Кто бы мог подумать? 😀
Вот про Unavailable after не знал.
Стало быть, без canonical и hrefrlang дубли вызывают штрафы. Что и требовалось доказать.
Ссылки с других региональных сайтов рулят, давно понятно.
Очередной пруф.
Объяснительная для асессоров, которые размечают выборки для обучения алгоритма? Ну да, совсем не показатель. 😊
А то ж — верный знак, что что-то не так.
"«Ссылки по-прежнему играют важную роль в Интернете и используются для поиска новых страниц, а также для определения структуры сайта. Мы также используем их для ранжирования». – Черри Проммавин."
Кто бы мог подумать? 😀
"Гэри Ийеш пояснил, какое место в этом потоке занимают файл robots.txt и мета robots:
Файл robots.txt определяет, какие данные могут извлекать поисковые роботы.
Мета-теги робота управляют тем, как полученные данные используются далее.
Он выделил несколько менее известных директив:
none: эквивалентно noindex,nofollow, объединеным в одно правило. Есть ли в этом преимущество? Несмотря на идентичность функций, использование одной директивы вместо двух может упростить управление тегами.
notranslate: Если установлено, Chrome больше не будет предлагать перевод страницы.
noimageindex: Также применяется к видеоресурсам.
Unavailable after: Несмотря на то, что эта функция была внедрена инженерами, которые позже ушли на другую работу, она всё ещё работает. Это может быть полезно для отмены публикации в блоге, срочных публикаций, таких как предложения и акции с ограниченным сроком действия, чтобы они не сохранялись в функциях искусственного интеллекта Google и не вводили пользователей в заблуждение или не наносили ущерб восприятию бренда."
Вот про Unavailable after не знал.
"Гэри Ийеш подчеркнул, что основной контент, согласно определению Google Quality Rater Guidelines, является важнейшим элементом сканирования и индексации. Это может быть текст, изображения, видео или расширенные функции, например, калькуляторы.Большой привет подвальным портянкам. 😀
[...]
«Если вы хотите попасть в топ по определённым вещам, разместите эти слова и темы в важных местах (на странице)». — Гэри Ийеш"
"Черри Проммавин объяснила суть дедупликации в трех основных областях:
[...]
если страницы отличаются только локалью (например, из-за геоперенаправлений), hreflang объединяет их без штрафных санкций."
Стало быть, без canonical и hrefrlang дубли вызывают штрафы. Что и требовалось доказать.
"Основные сигналы геотаргетинга, которые использует Google:
1. Национальный домен верхнего уровня (ccTLD): такие домены, как .sg или .au, указывают целевую страну.
2. Аннотации hreflang: используйте теги <link>, заголовки HTTP или записи карты сайта для объявления языковых и региональных альтернатив.
3. Местоположение сервера: IP-адрес или место хостинга вашего сервера могут служить географической подсказкой.
4. Дополнительные локальные сигналы , такие как язык и валюта на странице, ссылки с других региональных веб-сайтов и сигналы из профиля вашей местной компании, усиливают ваш целевой регион."
Ссылки с других региональных сайтов рулят, давно понятно.
"Микроразметка не используется в процессе ранжирования."
Очередной пруф.
"Ийеш подтвердил, что Google всё ещё использует PageRank внутри компании. Это не тот же алгоритм, что был в Белой книге 1996 года, но он носит то же название."Ага, уже читали в материалах антимонопольного процесса.
"Ийеш подчеркнул, что EEAT не является показателем индексации или ранжирования. Это объяснительный принцип, а не вычисляемая метрика."
Объяснительная для асессоров, которые размечают выборки для обучения алгоритма? Ну да, совсем не показатель. 😊
"Если страница была просканирована, но не проиндексирована, решением проблемы является улучшение качества контента."
А то ж — верный знак, что что-то не так.
"Внутренние ссылки могут помочь, но лишь в той мере, в какой они действительно делают страницу более полезной. Цель Google — поощрять улучшения, ориентированные на пользователя, а не манипулировать им."Типа, если по внутренним ссылкам не кликают, то и работают они хуже?
Search Engine Journal
Google Search Central APAC 2025: Everything From Day 2
The second day at SCL was packed with breaking news about the Google Trends API launch and insights about links, Schema, and the use of AI imagery.
👍6
SЕalytics (SEO-аналитика от Сергея Людкевича)
Обзор второго дня мероприятия Search Central Live Deep Dive Asia Pacific 2025 от буржуйского сеошника Дэна Тейлора. Из интересного: "«Ссылки по-прежнему играют важную роль в Интернете и используются для поиска новых страниц, а также для определения структуры…
И, наконец, обзор третьего дня мероприятия Search Central Live Deep Dive Asia Pacific 2025 от буржуйского сеошника Дэна Тейлора. Из интересного:
Влияет не непосредственно на ранжирование, а на обучение алгоритма, которое, в свою, очередь, влияет на ранжирование. Просто двухходовка.
Получается, надо втереться в доверие асессорам.
В общем, радуйтесь, если вы упали в спам-апдейт. Тогда есть шанс восстановиться, если поймете, за что могли наказать. А вот если упали в апдейт ядра – пиши пропало, остается только твердить мантру "Развивайте ваш сайт, и со временем..." и бить в бубен.
Собственно, пруфы и так уже известных фактов.
"Хо отметил, что «Руководство по оценке качества» является полезным ресурсом. Эти рекомендации не влияют на рейтинг напрямую , но помогают понять, как Google оценивает эффективность своих систем."
Влияет не непосредственно на ранжирование, а на обучение алгоритма, которое, в свою, очередь, влияет на ранжирование. Просто двухходовка.
"Из EEAT (Опыт, Экспертиза, • Авторитетность и Доверие) ясно, что доверие имеет первостепенное значение.
• Даже если тема не касается здоровья, денег или безопасности (ваши деньги или ваша жизнь), Google все равно отдает приоритет достоверному контенту.
• Если страница резко расходится с общим мнением экспертов, она может быть сочтена в целом менее надежной.
• Большое количество страниц с кодом 404 или noindex на сайте не является проблемой качества. Ошибка 404 — это техническая проблема, как и тег «noindex»."
Получается, надо втереться в доверие асессорам.
"Восстановление после обновлений Google
Обновления ядра
Технически вы не наказаны, поэтому технически не предусмотрено восстановление, как в случае со спам-апдейтами.
Google рекомендует вам:
Продолжайте работать так же хорошо, смотрите на то, что ваши конкуренты делают лучше, и учитесь у сайтов, которые работают лучше вас.
Спам-апдейты
Удалите тип спама, упомянутый Google в сообщениях своего блога ."
В общем, радуйтесь, если вы упали в спам-апдейт. Тогда есть шанс восстановиться, если поймете, за что могли наказать. А вот если упали в апдейт ядра – пиши пропало, остается только твердить мантру "Развивайте ваш сайт, и со временем..." и бить в бубен.
"Добавление структурированных данных на ваш сайт не улучшит его ранжирование напрямую. Однако оно может сделать ваши сниппеты более привлекательными в результатах поиска, что может привести к увеличению числа кликов.
Со временем такая дополнительная активность может принести пользу вашему сайту.
[...]
Добавление структурированных данных не означает, что Google будет показывать расширенные результаты. Алгоритмы сами решают, когда и где целесообразно их показывать."
Собственно, пруфы и так уже известных фактов.
Search Engine Journal
Google Search Central APAC 2025: Everything From Day 3
The final day of Google Search Central APAC 2025 focused on query understanding, content quality, and what happens before results hit the page.
Гуглоид Джон Мюллер дает советы, что делать с "просроченными" страницами на сайте, например, анонсом шоу, которое уже прошло:
Вопрос – как понять к какой именно из трех категорий относить конкретный "просроченный" продукт.
"Я считаю, что для некоторых «продуктов» (или «шоу») сайт может стать отличным долгосрочным источником информации, если продукт достаточно уникален и будет интересен пользователям ещё долгое время. Если вы последний/единственный, кто проводит шоу, это хорошая возможность сохранить ссылку надолго — люди будут её искать.
Для других «продуктов» интерес может быть ограничен по времени, например, на несколько месяцев. «В прошлом месяце я был на X-шоу, и мне понравилось. Кто там участвовал?» Для таких продуктов, возможно, стоит дать немного времени, чтобы интерес к ним ослаб, а затем выполнить 404-ю ошибку.
А для третьих, если сайт достаточно прост и на нём много всего появляется и исчезает, можно просто сразу выдать ошибку 404, чтобы всё очистить и продолжить. Сомневаюсь, что вам понадобится "unavailable_after", это кажется излишним, но тоже вариант."
Вопрос – как понять к какой именно из трех категорий относить конкретный "просроченный" продукт.
Bluesky Social
John Mueller (@johnmu.com)
My thinking is that for some "products" (or "shows"), a site might be a fantastic long-term reference if the product is sufficiently unique, and interesting for users long afterwards. If you're the last / only one to run a show, that's a nice reference to…
Гуглоид Ник Фокс поделился статистикой:
Планомерный отжим топа поисковой выдачи у органики продолжается.
"AI Overviews теперь охватывают более 10% запросов *по всему миру* [новинка!] по тем типам запросов, по которым они показываются!"
Планомерный отжим топа поисковой выдачи у органики продолжается.
X (formerly Twitter)
Nick Fox (@thefox) on X
New stat dropped in yesterday’s Alphabet earnings: AI Overviews are now driving over 10% more queries *globally* [new!] for the types of queries that show them! This growth continues to increase over time as people see that Search can help with even more…
😢2
SЕalytics (SEO-аналитика от Сергея Людкевича)
Google объявил о прекращении поддержки сервиса перенаправлений goo.gl: "Начиная с 23 августа 2024 года ссылки goo.gl начнут отображать промежуточную страницу для определенного процента существующих ссылок, уведомляя ваших пользователей о том, что ссылка больше…
TheVerge напоминает, что
"В следующем месяце Google официально прекратит поддержку ссылок, созданных с помощью своего инструмента сокращения URL. 25 августа 2025 года все ссылки в формате «https://goo.gl/*» перестанут работать и будут возвращать ошибку 404."
The Verge
Google’s shortened goo.gl links will stop working next month
It’s time to change to a new URL shortener.