Нашел своё Alter ego в буржнете 🤓

Знакомьтесь, Ваган Петросян – директор по технологиям Search Engines Journal

В блоге 2 свежие статьи, которые довольно тесно перекликаются с тем, о чем я пишу на своём канале.

Introduction To LLMs Text Embeddings For SEO With Examples. Вводная информация по векторным представлениям текстов для SEO с примерами

Find Keyword Cannibalization Using OpenAI’s Text Embeddings With Examples. Как найти каннибализацию ключей используя эмбединги OpenAI

Чуть позже выложу перевод и свою интерпретацию 2-й статьи

Ещё один клёвый способ использования ChatGpt для программинга

В последнее время, приходится довольно много кодить на python и для этих целей я частенько юзаю ChatGpt. Пока только под микрозадачи, потому-что с чем-то серьезным он справляется не столь эффективно.

Но! Вчера меня осенило!

Признайтесь честно, вы когда кодите пишете комментарии? Я нет 🤪 и это плохо, поскольку потом бывает сложно разобрать и объяснить другому программисту, что я тут сделал.

Короче, кидаю скрипт в ChatGpt и говорю, напиши мне подробные комментарии к коду, и он их пишет в лучшем виде!

Теперь мой код выглядит красивым и правильным, а волосы стали более густыми и шелковистыми 🤓

Крутить или не крутить? Вот в чем вопрос! ПФ и YATI – или почему Яндекс так чувствителен к накрутке?

Разработчики Яндекса в своей эпохальной статье и не менее интересном видео раскрывают суть нейросети YATI, вклад которой в ранжирование, согласно их же доклада уже на момент внедрения составлял более 50%.

Что такое YATI? Очень грубо, это BERT (модель трансформер) плюс простая (feed-forward) нейросеть, задача которой предугадывать был ли клик по фразе.

Приведу цитату:

Как и BERT, модель сначала учится свойствам языка, решая задачу MLM (Masked Language Model), но делает это сразу на текстах, характерных для задачи ранжирования. Уже на этом этапе вход модели состоит из запроса и документа, и мы с самого начала обучаем модель предсказывать ещё и вероятность клика на документ по запросу. Удивительно, но тот же самый таргет «переформулировок», который был разработан ещё для feed-forward-сетей, отлично показывает себя и здесь. Обучение на клик существенно увеличивает качество при последующем решении семантических задач ранжирования.

Вот эту вторую нейросеть, Яндекс изначально обучил на исторических данных, которых у него масса, но модель нужно периодически переобучать, то есть добавлять новые пары «запрос» => «вероятность клика»

А, что будет, если начать искусственно крутить ПФ по некоторым фразам? Правильно модель может сломаться. И в этом, как мне кажется, и лежало то изначально агрессивное неприятие накрутки ПФ. Но времена меняются, за накрутку не банят, но тогда возникает вопрос, а, что же такого смог придумать Яндекс, что отфильтровать влияние накрутки?

Как бы я поступил, будучи разработчиком?

Во-первых я бы ввел как минимум 3-х ступенчатый алгоритм. На первом этапе всем подозрительным ботам я бы скармливал капчу, отсеивая таким образом львиную долю «тупого» трафика.
Во-вторых я бы ввел некий показатель «подходящести» посетителя (прошу не докапываться до фразы) конкретному запросу.
В третьих я бы ввел показатель «трастовости» и завязал бы его тупо на кол-во денег потраченных на Яндекс такси, музыке и прочих сервисах.

У Яндекса это всё давно уже есть, предлагаю посмотреть вот это занимательно видео. Каждого посетителя Яндекс видит как эмбеддинг, состоящий из исторических данных. При выборе сайтов, которые он показывает вам в персонифицированной выдаче, он берет одну часть из Yati, а другую из Трансформера отвечающего за персонализацию и сгружает это все в Catboost (финальная нейросеть сборка).

Делаем выводы?

Всё то, о чем говорят ПФщики, а именно, нагул профилей по долгосрочным интересам, разный «вес» кликов от живого человека и от бота – в некоторой степени подтверждается информацией публикуемой Яндексом.

ОК, тогда в чем проблема, спросите вы? Если Яндекс так здорово научился вычислять фейковых посетителей, почему он тогда не прикроет лавочку окончательно?

Проблема в ресурсах и их стоимости, вернее, даже не столько в ресурсах, сколько в возможности быстрой обработки всей необходимой информации. Посетитель не будет ждать, пока Яндекс проверит вашу историю покупок и историю всех ваших посещений. Пруф в той же статье и в этом видео где как раз объясняется с какими проблемами они столкнулись при использовании больших моделей в рантайме (боевом режиме). Спойлер - они их максимально упростили и измерили качество, качество их устроило.

Таким образом у нас классический «меч против щита». И Яндекс и ПФщики ограниченны ресурсами. Рубануть сходу не получается видимо теряется качество, жестко фильтровать – экономически невыгодно, вот и приходится балансировать терпеть между фильтрами и финансами.

А у тебя уже было это… конверсия? 😂

В кои-то веки напишу не про нейросети). Пришел в понедельник один проект на контекстную рекламу. Ниша дурная перегретая, лиды по 8000 - вообще трындец!

Колдуем с Директологом который день, запустили сегодня кампанию на поиске. Звоню, говорю, Вероника, ну что была конверсия? Нет!

Я говорю, знаешь на кого мы с тобой похожи? Нет. На 2-х 15 летних подростков блин! А у тебя уже была конверсия? Нет, пока не было, а у тебя?

Ааааа!!!!! 🙈😂🤪

Режь длинный хвост!

Один интересный нюанс из видео про трансформеры YATI.

Коротко суть: Яндексоиды собрали большую модель (нейросеть), обучили её методом маскирования, а так же на вероятность клика, получили шикарный результат, попытались применить в рантайме (в боевом режиме) и офигели!

Модель получилась клёвая, но очень медленная, в том числе, потому, что таскает за собой слишком слишком большой хвост из содержимого каждой страницы.

Как ускорить время получения результата? Ну, как минимум, уменьшить объем анализируемых данных, допустим, учитывать первые 40 слов, а остальные выкинуть на фиг!?)

Нет, все не так просто. Что сделали разрабы? Они взяли модель с отрезанным хвостом, натренировали её на результатах большой модели. Получили следующие цифры, большая модель – 95,6% точности и 1 сек отклика, YATI продакшн – 95,4% точности и 0,1 сек отклика.

Так, что, получается, чтобы оценить релевантность вашей страницы YATI достаточно прочитать первые, ну допустим, 40 слов? Ну так погнали запихивать все в первый абзац, иначе Яндекс не поймёт всей той чудо оптимизации по облакам, которую вы так старательно выравнивали по ширине и глубине? 😉

Мнение скромного владельца этого уютного канала: да, имеет смысл поработать над первым абзацем, но упарываться запихивая туда всё и вся я бы не стал, тем более, что Яндекс учитывает и другие зоны документа, например, <а> </а>, так называемые зоны релевантности (слова слева и справа от ключа) и так далее. Кроме того, не забывайте про контекст, который YATI добывает с помощью механизма attention по близким фразам, а вы с помощью моих бесплатных ботов.

Ок, это понятно, а, что делать, если на сайте громадное многоуровневое меню? Оно как-то учитывается или нет?

Вопрос интересный и не однозначный, общаясь с SEO гуру разных мастей, я получал разные варианты ответов. Скажу свое скромное мнение: для Яндекса, отрезать шапку, футер и прочие сквозные элементы - простая задача, даже ваш скромный слуга как-то написал подобную скриптину на python за час.

Поэтому логично предположить, что сквозное меню в начале страницы - отдельная зона документа. Но это всего лишь мои догадки, основанные впрочем на логике и на анализе.

Первые результаты голосования за лучшую LLM модель!

Не так давно я запустил голосование среди SEOшников на тему: Какая языковая модель лучше находит LSI семантически близкие слова.

Кратко суть эксперимента
Подаём на вход ключевое слово и с помощью механизма описанного у меня в телеграм канале, ищем наиболее близкие по ключу фразы в базе слов всех 4-х нейросетей. На выходе Excel таблички в которых отобраны лучшие 100 слов для каждой из моделей.

И вот подъехали первые результаты и есть первая сенсация, итак по порядку!
1. Предварительная оценка показала, что, если взять выборку из 100 наиболее важных слов (вряд ли SEOшник внедрит больше), пересечение фраз со всеми 4-мя моделями колеблется в районе 15%. Максимальная схожесть по близким фразам которую я увидел между 2-мя моделями в районе 60%. Таким образом, можно сделать вывод, что важно выбрать именно правильную модель.
2. Модель от Google показала, крайне слабые результаты, просто удивительно!
3. Chat GPT на удивление не плох!

Ну и самая главная интрига, кто же на 1-м и 2-м месте? Ну, как вы догадались не Google ) Может ChatGPT?

Выводы делать рано, давайте ещё потестим!

SEOшник? Мне нужна твоя помощь, тапни тут и проголосуй за лучшую модель!

ТО пройдено!

Сегодня ночью были проведены техобслуживание моих ботов. Вычищен мусор, обновлена база эмбеддингов.

Анонс! В ближайшее время планируются следующие обновления

@vector_keywords_bot (поиск n-грамм по ключу) – переход на парсинг с эмуляцией браузера

@vector_text_bot (на вход ключ и текст, на выходе размеченный по сходству текст) – анализ не только по тексту но и по url, добавление рекомендаций по использованию слов

Сегодня в гостях у Михаила Шакина, выступаю с докладом про текстовый анализ и текстовые анализаторы. Не пропусти! Будет мясо 🥩! 😉