Буржуйские сеошники несколько возбудились, увидев в файле robots.txt сайта reddit.com запрет на сканирование всего контента всем роботам. Неужели вездесущий reddit исчезнет из поисковой выдачи Google? Однако, не тут-то было. Оказывается, что роботам поисковиков reddit показывает специальную версию файла robots.txt, где от краулеров Google основной контент не закрыт. Так сказать, занимается клоакингом. Зачем нужна такая конспирация – остается только гадать.
😁7👍3🤔2
Еще один интересный факт о файле robots.txt напоминает гуглоид Гэри Ийеш:
В своё время, когда я узнал о том, что если файл robots.txt из корня домена редиректить в другую локацию, то robots.txt в этой локации будет работать для исходного домена, то это было своеобразным разрывом шаблона.
"Вы, вероятно, уже слышали, что ваш файл robots.txt ДОЛЖЕН быть по адресу example․com/robots.txt. В этом году протоколу исключения роботов исполняется 30 лет, и я здесь, чтобы сказать вам, что то, что вы слышали в Интернете, не совсем соответствует действительности.
У вас есть CDN и у вас есть основной сайт. У вас есть два файла robots.txt, один по адресу https∶//cdn.example.com/robots.txt и один по адресу https∶//www.example.com/robots.txt. У вас может быть только один центральный robots.txt со всеми правилами, скажем, на вашем CDN, что может помочь вам отслеживать все правила, которыми вам нужно управлять. Все, что вам нужно сделать, это перенаправить https∶//www.example.com/robots.txt на https∶//cdn.example.com/robots.txt и поисковые роботы, которые соответствуют RFC9309, просто будут использовать цель перенаправления в качестве файла robots.txt для хоста https∶//www.example.com/."
В своё время, когда я узнал о том, что если файл robots.txt из корня домена редиректить в другую локацию, то robots.txt в этой локации будет работать для исходного домена, то это было своеобразным разрывом шаблона.
Linkedin
Gary Illyes on LinkedIn: You probably heard before that your robots.txt file MUST be at… | 34 comments
You probably heard before that your robots.txt file MUST be at example․com/robots.txt. The Robots Exclusion Protocol is 30-years-old this year and I'm here to… | 34 comments on LinkedIn
👍5
SЕalytics (SEO-аналитика от Сергея Людкевича)
Гуглоиды чутка подновили замороженные данные в Google Search Console. Лучше бы не подновляли...
Все таки неполные данные в восстанавливаемых отчётах Google Search Console гуглоиды обещают потом дополнить. Спрашивается - а зачем, собственно, выкладывали неполные? Какой в них прок? Если только чисто не дать времени ожидания отчётов перевалить через психологическую отметку 100 часов?
Буржуйский сеошник Гаган Готра делится наблюдением эксперимента Google, в котором тот тестирует отображение контента Reddit в Discover. Полагаю, все новостные сайты должны напрячься. Ведь если Reddit их выдавит из ленты Discover, им всего-то и останется, что пойти по миру с протянутой рукой.
SЕalytics (SEO-аналитика от Сергея Людкевича)
Гуглоиды чутка подновили замороженные данные в Google Search Console. Лучше бы не подновляли...
Наконец-то отчеты в Google Search Console починили, урезанные данные восстановили.
👍7
Гуглоиду Джону Мюллеру задали вопрос, может ли запрос на ускоренную переиндексацию для URL с откликом 301 ускорить его удаление из индекса. Ответ Джона:
Честно говоря, я знаю только один вариант, когда при 301-м редиректе в индексе гарантированно содержится редиректящий URL – если это главная страница сайта.
"Сомневаюсь. Запрос на индексирование не меняет канонизации (и, во всяком случае, это почти похоже на признак того, что вы хотите, чтобы первоначальный URL-адрес был проиндексирован).
Если вы хотите удалить его, я бы использовал инструменты для удаления. Если вы хотите подтолкнуть каноникализацию в ту или иную сторону, я бы поработал над тем, чтобы были настроены другие элементы каноникализации. Переадресация не гарантирует каноникализацию — например, когда сайт перенаправляет корневой URL на страницу более низкого уровня, часто все же имеет смысл индексировать корневой URL."
Честно говоря, я знаю только один вариант, когда при 301-м редиректе в индексе гарантированно содержится редиректящий URL – если это главная страница сайта.
Linkedin
Hey John Mueller, been wondering for years. Clicking "Request indexing" on… | Jan Caerels
Hey John Mueller, been wondering for years. Clicking "Request indexing" on an old URL that was 301 redirected. Would that potentially speed up the process of removal?
SЕalytics (SEO-аналитика от Сергея Людкевича)
Оказывается, "Рафик неуиноватый". «Perplexity не игнорирует протокол исключения роботов, а затем лжет об этом», — сказал соучредитель и генеральный директор Perplexity Аравинд Сринивас в телефонном интервью в пятницу. «Я думаю, что существует фундаментальное…
На каждую хитрую гайку найдется свой болт с резьбой. Cloudflare запускает инструмент для борьбы с краулерами систем искусственного интеллекта, которых он научился распознавать. Инструмент доступен для всех клиентов, включая тех, кто находится на бесплатном уровне.
The Cloudflare Blog
Declare your AIndependence: block AI bots, scrapers and crawlers with a single click
To help preserve a safe Internet for content creators, we’ve just launched a brand new “easy button” to block all AI bots. It’s available for all customers, including those on our free tier.
👍12🔥4😢2
Наш пострел везде поспел.
Буржуйская сеошница Алейда Солис проанализировала сайты, которые получают наибольшую видимость в результатах органического поиска Google и трафик из него по самым популярным запросам тематики «Лучшие места для путешествий»:
Буржуйская сеошница Алейда Солис проанализировала сайты, которые получают наибольшую видимость в результатах органического поиска Google и трафик из него по самым популярным запросам тематики «Лучшие места для путешествий»:
"1. US News
2. Travel and Leisure
3. и, сюрприз-сюрприз: Reddit"
🤨3
Буржуйский сеошник Гаган Готра наткнулся на новый эксперимент в выдаче Google:
Что ж, Google целенаправленно продолжает искать пути зацикливания поискового трафика внутри своей экосистемы.
"Google тестирует НОВЫЙ пользовательский интерфейс для "из источников по всему Интернету" – в тесте он отображается как изображение и заголовок под ним, а нажатие на любой ведет на новую страницу результатов поиска с этим заголовком в качестве запроса. В то время как в текущем пользовательском интерфейсе нажатие на любой открывает список сайтов, и пользователи могут нажать на любой по своему выбору."
Что ж, Google целенаправленно продолжает искать пути зацикливания поискового трафика внутри своей экосистемы.
❤1
Google обновил англоязычную версию страницы документации по по структуре URL-адресов. Добавлен абзац:
"Не используйте фрагменты для изменения содержимого страницы, так как Google обычно не поддерживает URL фрагментов. Если вы используете JavaScript для изменения содержимого, используйте вместо этого History API"
Google for Developers
URL Structure Best Practices for Google Search | Google Search Central | Documentation | Google for Developers
It's a good idea to keep your site's URL structure as simple as possible. Learn more about the URL format recommended by Google, such as the use of hyphens, underscores, and domain structure.
👍4🤔1
SЕalytics (SEO-аналитика от Сергея Людкевича)
Гуглоид Гэри Ийеш опубликовал пост по случаю 30-летнего юбилея файла robots.txt, в котором подчеркивает его замечательную особенность – никакие ошибки в этом файле не смогут помешать краулерам выполнить директивы, написанные без ошибок. Что развенчивает очередной…
Гуглоид Гэри Ийеш решил подкрепить свой пост о том, что некорректные строки в файле robots.txt не могут помешать краулеру выполнить корректные, практическим примером:
Наслаждайтесь разрывом шаблонов. 😄
"Факт, опубликованный несколько дней назад: в файле robots.txt могут быть недопустимые строки, и анализаторам будет все равно, они просто проигнориуют их.
Факт сегодняшний: вы можете сделать файл robots.txt с любым типом MIME, который вам нравится. Попробуйте эти два абсурдных варианта:
https://johnmu․com/robots.txt
https://garyillyes․com/robots.txt
Пока правила robots.txt доступны для синтаксического анализа (например, не находятся где-то в середине строки), они будут работать просто отлично. Конечно, Search Console, как и следовало ожидать, сильно удивится, поскольку эти файлы изобилуют недопустимыми строками, но все будет работать нормально."
Наслаждайтесь разрывом шаблонов. 😄
Linkedin
Gary Illyes on LinkedIn: Last post this week about robots.txt for its 30th birthday, let's have… | 15 comments
Last post this week about robots.txt for its 30th birthday, let's have some fun.
Fact from a few days ago: you can have invalid lines in the robots.txt file… | 15 comments on LinkedIn
Fact from a few days ago: you can have invalid lines in the robots.txt file… | 15 comments on LinkedIn
👍3
Достаточно подробное исследование поискового движка "системы ответов" Perplexity от буржуйского сеошника Итана Лазука. Один из ключевых моментов:
Только вот не совсем понятно, как определяется эта самая полезность.
"В отличие от традиционных поисковых систем, которые фокусируются на вероятности клика, Perplexity ранжирует контент на основе его полезности для ответа на запрос пользователя."
Только вот не совсем понятно, как определяется эта самая полезность.
Ethan Lazuk
How Does Perplexity Work? A Summary from an SEO's Perspective - Ethan Lazuk
Perplexity is an "answer engine," not a search engine. Curious how it works? I looked at several interviews from Perplexity team members for this summary.
Интересное видео выступления гуглоида Гэри Ийеша на SERP Conf. в Софии с ответами на вопросы аудитории, в котором он, в частности, коснулся темы возможного негативного влияния от простановки конкурентами токсичных ссылок на ваш сайт:
Честно говоря, не совсем уверен, что описанный Гэри идеальный мир существует на практике.
"Примерно в то время, когда мы выпустили Penguin, было множество жалоб на негативное SEO, особенно на негативное SEO на основе ссылок, и затем я поступил очень неумно, запросив примеры, например, покажите мне, как это работает, и покажите, что это работает.
И затем я получил сотни, буквально сотни примеров предполагаемого негативного SEO, и все они не были негативным SEO. Это всегда было что-то настолько далекое от негативного SEO, что я даже не стал искать дальше, за исключением одного, который я отправил в команду по борьбе со спамом для двойной проверки, и мы еще не решили, но это могло быть негативным SEO.
Этим я хочу сказать, что страх перед негативным SEO гораздо сильнее, чем нужно, так как мы отключаем безумное количество ссылок…"
"Если вы видите ссылки с совершенно нерелевантных сайтов, будь то порносайты, чисто спаммерские сайты или что-то еще в этом роде, вы можете с уверенностью предположить, что мы отключили ссылки с этих сайтов, потому что, во-первых, мы пытаемся сопоставить тему целевой страницы и того, кто ссылается, а если они не совпадают, то зачем, черт возьми, мы используем эти ссылки?
Например, если кто-то ссылается на вашу страницу цветов из канадского казино, где продают Виагру без рецепта, то почему мы должны доверять этой ссылке?"
Честно говоря, не совсем уверен, что описанный Гэри идеальный мир существует на практике.
YouTube
Gary Illyes Answers Questions About Google and SEO @ SERP Conf 2024
During the Spring Edition of SERP Conf. 2024 in Sofia, Bulgaria, Gary Illyes - an Analyst on the Google Search team - joins the international SEO community in a panel discussion about the Future of SEO.
During this Q&A session, Gary Illyes discusses hot…
During this Q&A session, Gary Illyes discusses hot…
👍7🤔3
Гуглоид Гэри Ийеш не видит ничего страшного в том, что в поисковой выдаче Google доминирует Reddit,
Отвечая на один из вопросов на софийской конференции, он сказал:
Типа такова селява...
Ну, и затем следует банальный совет:
Отвечая на один из вопросов на софийской конференции, он сказал:
"Итак, до того, как я присоединился к Google, я занимался SEO-штучками для крупных издателей. … SEO типа. Я также был менеджером сервера.
Поэтому у меня возникали те же вопросы, и на самом деле в то время мы постоянно сталкивались с подобными вещами.
Теперь это Reddit. Тогда это был Amazon. За несколько лет до этого, кажется, это был ...About.com.
Почти каждые два года название, которое вы там указываете, меняется."
Типа такова селява...
Ну, и затем следует банальный совет:
"И еще одна вещь заключается в том, что, как говорится, у вас остались ключевые слова с длинным хвостом. Мы видим около 15 или даже больше процентов новых ключевых слов с длинным хвостом каждый день.
В ключевых словах с длинным хвостом много трафика. Вы можете запрыгнуть в этот вагон и захватить тонну трафика."
YouTube
Gary Illyes Answers Questions About Google and SEO @ SERP Conf 2024
During the Spring Edition of SERP Conf. 2024 in Sofia, Bulgaria, Gary Illyes - an Analyst on the Google Search team - joins the international SEO community in a panel discussion about the Future of SEO.
During this Q&A session, Gary Illyes discusses hot…
During this Q&A session, Gary Illyes discusses hot…
😁7
SЕalytics (SEO-аналитика от Сергея Людкевича)
Гуглоид Гэри Ийеш не видит ничего страшного в том, что в поисковой выдаче Google доминирует Reddit, Отвечая на один из вопросов на софийской конференции, он сказал: "Итак, до того, как я присоединился к Google, я занимался SEO-штучками для крупных издателей.…
Тут, не к ночи будет сказано, подумалось: а Гэри Ийеш, когда был сеошником, он таки сумел запрыгнуть в этот "последний вагон" и захватил "тонну трафика"? Просто на памяти есть примеров, когда сеошники становились сотрудниками поисковиков, есть и много меньше примеров, но они есть, когда потом случался камбэк - так вот, во всех из них - по разные стороны баррикад у одного и того же человека совершенно разные оценки окружающей действительности. И, конечно же, не совсем адекватные. 😊
👍5
Буржуйская сеошница Аманда Джей обнаружила в Dev Tools инструмент для проверки видимости вашего сайта для тех, кто страдает дальтонизмом.
Не лишняя проверка в наше время, когда поведение пользователей на сайте достаточно сильно влияет на ранжирование. Всё-таки на 1000 человек приходится в среднем по 43 дальтоника.
Не лишняя проверка в наше время, когда поведение пользователей на сайте достаточно сильно влияет на ранжирование. Всё-таки на 1000 человек приходится в среднем по 43 дальтоника.
Linkedin
Amanda J. on LinkedIn: I was checking a client's site for accessibility issues yesterday and…
I was checking a client's site for accessibility issues yesterday and found something cool in Chrome Dev Tools. Did you know you can use Dev Tools to check the…
🤔4
Forwarded from noindex, nofollow
Алейда Солис поделилась полезным расширением для Хрома - SEO Render Insight Tool, которое подсвечивает SSR- и CSR-элементы страницы (серверная верстка и клиентская соответственно). Удобно, что не нужно туда-сюда включать-выключать JS для анализа сайта на предмет того, чтобы критичные для оптимизации блоки имели SSR.
Но если все же нужно часто включать-выключать Javascript и не только, порекомендую расширение Web Developer.
Но если все же нужно часто включать-выключать Javascript и не только, порекомендую расширение Web Developer.
👍7🔥3
Буржуйский сеошник Альваро Пичо Торрес очень переживает, что его сайт, предлагающий SEO услуги, показывается по запросам других тематик – это страницы портфолио, где упоминаются клиентские сайты и описывается их бизнес. Альваро хочет иметь "чистый тематический кластер". Гуглоид Джон Мюллер не понимает, что он имеет в виду:
Тоже не понимаю причин для беспокойства буржуйского товарища. Даже если его страницы портфолио настолько нерелевантны запросам, по которым показываются, и получат плохие поведенческие, то они, в конце концов, сами упадут по этим запросам (что ему, собственно, и надо). Вряд ли ранжирование по тематеским запросам (если там будут нормальные поведенческие) что-то почувствуют от этого.
"Я не знаю, что вы считаете "чистым тематическим кластером" (я не знаю, связано ли это с чем-либо, что сказал Google) - вы, очевидно, можете выбрать, какие URL-адреса вы хотите проиндексировать. "
Тоже не понимаю причин для беспокойства буржуйского товарища. Даже если его страницы портфолио настолько нерелевантны запросам, по которым показываются, и получат плохие поведенческие, то они, в конце концов, сами упадут по этим запросам (что ему, собственно, и надо). Вряд ли ранжирование по тематеским запросам (если там будут нормальные поведенческие) что-то почувствуют от этого.
Linkedin
Álvaro Pichó Torres on LinkedIn: Serious question for Gary Illyes or John Mueller:
To prevent my website… | 18 comments
To prevent my website… | 18 comments
Serious question for Gary Illyes or John Mueller:
To prevent my website and/or specific URLs from not showing up in impressions for certain queries/searches… | 18 comments on LinkedIn
To prevent my website and/or specific URLs from not showing up in impressions for certain queries/searches… | 18 comments on LinkedIn
Барри Шварц из SERoundTable утверждает, что Google рассылает ошибочные уведомления по электронной почте о том, что в ваши профили Search Console добавлены новые владельцы:
То понос, то золотуха...
"Некоторые получают «бесконечные» многочисленные уведомления о том, что одни и те же пользователи добавляются в качестве «новых пользователей», хотя в некоторых случаях эти пользователи были добавлены много лет назад."
То понос, то золотуха...
Search Engine Roundtable
Google Search Console New Owner Notifications Bug
There are numerous reports of Google sending out email notifications about there being new owners added to your Search Console profiles. The new owner notification emails have been going out since Friday of last week or so and seem to be part of some bug.
🤔3😱2