Сайт британского таблоида The Sun растерял половину трафика за 2024 год. Похоже, пострадал за злоупотребление репутацией в Google.

Владельцы сайтов рецептов недоумевают по поводу требований обновленного руководства для асессоров Google, обозначающего длинный скроллинг как признак низкокачественного контента.
Рецепт должен быть коротким и ёмким, как выстрел? 😄
Вообще, если уж на то пошло, бесконечный скроллинг прочно вошел в жизнь пользователей соцсетей. И поэтому немного странно видеть его дискредитацию в поисковиках.

Что бывает, когда научишь людей отключать обзоры ИИ с помощью матюков 😄

Буржуйский сеошник Гленн Гейб демонстрирует, что бывает в Google с сайтами, массово генерирующими AI контент.
А вообще забавно развивается история – яндексоиды уже занимаются натуральным поисковым спамом. Как говорится, и эти люди запрещают нам ковырять в носу. 😄

Еще одна душещипательная история от буржуйского сеошника Гленна Гейба: сайт, получивший пенальти за злоупротребление репутацией, закрыл нарушающий контент от сканирования в robots.txt, и после снятия санкций продолжает ранжироваться по тем же запросам. Даже еще лучше.
Полезный контент, говорили они.... 😀

Вторая часть видео SEO-квиза:

Вот интересно, а слово "реклама", написанное бледно-бледно-серым на белом фоне является "слабовидимым текстом", являющимся признаком некачественного сайта с точки зрения Яндекса?

Буржуйский сеошник Броди Кларк не согласен с рекомендацией Google, в которой говорится, что не следует использовать первую страницу последовательности страниц в качестве канонической страницы для последующих.
Целиком и полностью его поддерживаю. Еще как следует. Иначе будем иметь в индексе кучу страниц, которые поисковик будет считать низкокачественными.

Илон Маск подтверждает, что OpenAI тырит контент в Твиттере для обучения своего ИИ. И эти люди ещё наезжают на китайцев. 😄

Хинт от буржуйского сеошника Криса Лонга:

"Совет по SEO для электронной коммерции: всегда анализируйте страницы продуктов и категорий с отключенным JavaScript. Вы легко обнаружите контент, зависящий от JS"

И алаверды от гуглоида Джона Мюллера:

"Еще один простой и эффективный прием — щелкнуть правой кнопкой мыши по одному из этих продуктов и проверить, есть ли в контекстном меню пункт «открыть ссылку». Если нет, то, скорее всего, он не использует реальные ссылки и не может быть просканирован. (Использование 'onclick' и навигация в JS — это не то же самое, что ссылки в HTML или добавленные с помощью JS)."

Поддерживаю обоих ораторов.

Виктория Кролл из Google признала наличие проблемы с отображением отзывов в бизнес профилях компаний:

"Мы знаем о проблеме, затрагивающей некоторые бизнес-профили Google, из-за которой некоторые профили показывают меньшее, чем фактическое, количество отзывов из-за проблемы с отображением. Сами отзывы на самом деле не были удалены. Мы прилагаем все усилия, чтобы решить эту проблему и восстановить точное количество отзывов как можно скорее. Мы ценим ваше терпение и будем делиться обновлениями в этой теме по мере их появления."

Буржуйский сеошник Кеви Индиг проанализировал более чем 7 миллионов реферальных сеансов из ChatGPT, Copilot, Gemini и Perplexity, а также из Google Search за сентябрь, октябрь и ноябрь в США, предоставленные ему сервисом Similarweb.
Его выводы:

"1. Около 80% транзакционного трафика приходится на сайты электронной коммерции, и одни и те же игроки (Amazon, eBay, Walmart) доминируют как в поиске, так и в чат-ботах на основе искусственного интеллекта.
2. Чат-боты с рефералами на основе искусственного интеллекта демонстрируют более высокую вовлеченность: в среднем они остаются на 2,3 минуты дольше (10,4 против 8,1 минуты) и просматривают больше страниц (в среднем 12,4 против 11,8 страниц).
3. Чат-боты на основе искусственного интеллекта направляют значительно больше трафика на главные страницы сайта (в среднем 22%) по сравнению с Google (10%), но при этом демонстрируют более высокую вовлеченность.
4. Copilot и Perplexity продемонстрировали более быстрый рост просмотров страниц (15% и 22%) по сравнению с Google (5%)."

BBC обнаружила, что чат-боты на основе искусственного интеллекта неспособны точно резюмировать новости:

"В ходе исследования BBC попросила ChatGPT, Copilot, Gemini и Perplexity резюмировать 100 новостных сюжетов и оценила каждый ответ.

Журналисты, являющиеся экспертами в теме статьи, должны были оценить качество ответов помощников с искусственным интеллектом.

Было установлено, что 51% всех ответов ИИ на вопросы о новостях были оценены как имеющие существенные проблемы той или иной формы.

Кроме того, в 19% ответов ИИ, в которых цитировался контент BBC, были допущены фактические ошибки, такие как неверные фактические утверждения, цифры и даты."

Буржуйская сеошница Алейда Солис сигнализирует, что сервис SimilarWeb добавил в отчеты по ключевым словам фильтр по AI Overviews.
Полезная фича.

Видео круглого стола со членами жюри SEO-квиза от KW Group

Свеженьких факапов от AI Overviews подвезли.
И хороший вывод:

"Похоже, что ИИ Google не просто ошибается. Он уверенно ошибается. И в мире, где дезинформация распространяется быстро, эта уверенность может стать его самым большим недостатком."

Меж тем Яндекс заменяет асессоров на искусственный интеллект. Делаем ставки – насколько повысится качество поиска? 😉

Как в Яндексе заменили сложную разметку на LLM

В конце прошлой осени Команда качества поиска одной из первых в Яндексе смогла существенно удешевить сложную асессорскую разметку за счёт генеративной модели. Татьяна Климук, руководитель Службы исследований и качества ранжирования, рассказала, как работали над технологией.

Яндекс использует услуги тысяч асессоров, которые каждый день выполняют десятки тысяч заданий по оценке выдачи с точки зрения качества и релевантности. Это дорогой, долгий и сложный процесс.

Идея проекта в том, чтобы отдать рутинную работу по разметке сильной нейронке. При этом мы не отказываемся от асессоров, а переключаем их на разметку более важных и сложных кейсов, а также поручаем контролировать корректность работы модели.

Архитектура

Мы начали с экспериментов с базовым претрейном от YandexGPT. На вход подавали сжатую инструкцию, запрос и контент документа, на выходе получали решение о принадлежности к одной из категорий релевантности.

Однако промптинг даже SoTA-моделей пока не даёт нужного качества на нестандартных кейсах. Инструкция оказывается для них настолько сложной, что без дообучения ни одна модель не справляется с ней. Поэтому на старте получилось выжать только 55% качества асессоров.

Тогда мы сделали ряд улучшений:

— Взяли претрейн от Нейро, который лучше понимает поисковый домен и легче обучается решать поисковые задачи.
— Обучались не просто на метку класса, но и на подготовленные Chain-of-Thoughts, чтобы научить модель больше думать перед тем, как она даёт ответ.
— Добавили внешние данные — знания, необходимые для понимания контекста, которые нельзя извлечь из текста. Пример таких знаний — то, какие страницы в сети официальные, а какие — нет.
— Подавали данные для обучения в нужном порядке — от более мусорных к более качественным.

Так мы добились качества 102% относительно разметки асессоров, что уже было неплохо. Но оставался риск «сломать» Поиск — поэтому нужно было проверить модель на разных классах запросов, исключить риск деградации со временем и учесть другие нюансы.

Решение

В итоге мы придумали решение, которое использует оценку как от людей, так и от нейросети. Мы стали извлекать из неё не только ответ по инструкции, но ещё и уверенность в этом предсказании. В зависимости от степени уверенности мы принимали решение, использовать ли в задаче человеческий ресурс.

— Если модель уверена в ответе, скорее всего, задача простая и не требует помощи асессоров. С этими кейсами она нередко справляется даже лучше людей. Таких задач оказалось около половины от общей массы.
— Если модель не до конца уверена в ответе, привлекаем её вместо одного из трёх асессоров. Размер этой зоны — около 30%.
— Когда модель говорит, что совсем не уверена в решении, отдаём задачу трём сильным асессорам — как это происходит в стандартном процессе. Таких задач порядка 20%.

Результаты и планы

С помощью этого решения мы получили 105% качества и 60% экономии денег.

Мы уже используем его экспериментально в разметке обучающих и валидационных пулов для моделей ранжирования, но конечный мониторинг интегрального качества поиска пока остаётся на людях.

Планируем продолжать наращивать качество и запускаться на новых разметках. Также в долгосрочных планах — свести процесс к промптингу, когда ты не обучаешь модель, а описываешь задачу текстом. Так мы сможем более гибко менять инструкции разметок без переобучения модели.

Мы рассчитываем, что решение поможет нам перекинуть рутину на нейронки, а людям давать более интересные и сложные задачи.

ML Underhood