Где лучше расположить ключ в предложении?

Пишу этот пост по мотивам выступления у Михаила Шакина https://www.youtube.com/watch?v=I79BgjkFWFI.

Как я уже неоднократно писал и приводил примеры, нейросети трансформеры учитывают порядок слов. А, что если провести ряд экспериментов и выяснить как влияет, к примеру, расположение ключа в предложении?

Прежде чем начать, давайте оговорим условия и допущения, без которых ни один эксперимент не проводится.

1) Будем считать, что нейросети читают текст по предложениям, на самом деле это может быть не так, но следует отметить, что при обучении трансформеров, подаются тексты ограниченные специальными токенами ([CLS] в начале и, как правило [SEP] в конце) https://huggingface.co/learn/nlp-course/ru/chapter7/2 .
2) Для чистоты эксперимента, возьмем предложения состоящие из максимально нерелевантного слова, например английского слова “and”
3) Прицепим слева и справа ещё по предложению: prev_sent = 'Это самое обычное предложение состоящее из десяти слов русского языка.'
4) На вход буде подавать пары: ключ/текст
5) Длина предложения – 10 слов (средняя длина в русском языке 10.38 слов)
6) Результаты будем оценивать по механизму косинусной близости векторов пар, ключ/текст.
7) Векторы для пар ключ/текст будем брать из модели textEmbedding от Яндекса

Пример пар:
[ПВХ] / [ПВХ and and .. and]
[ПВХ] / [and ПВХ and .. and]
[ПВХ] / [and and ПВХ.. and]
………. / …………………………………
[ПВХ] / [and and and .. ПВХ]


Однословники. Подаем на вход, например пару: Ипотека / Это самое обычное предложение состоящее из десяти слов русского языка. Ипотека and and and and and and and and and. Это самое обычное предложение состоящее из десяти слов русского языка.
Результат: наблюдаем U-образные кривые с локальным максимумами если ключ стоит в начале либо в конце предложения

Двусловники. Подаем на вход биграммы с разными интентами (инфо и коммерческий)
Результат – те же локальные экстремумы релевантости при нахождении ключа в начале либо в конце предложения

Триграммы с разным интентом – результат схожий

Делаем выводы?
Результаты эксперимента как с одним предложением, так и с предложением окруженным с двух сторон другими текстами дают схожие результаты. Почти всегда наблюдаются локальные экстремумы релевантости если ключ находится либо в начале, либо в конце предложения.

PS Ждите пост про то, как расставлять LSI слова, будет интересно! Пошел пилить статью на habr.com. 😉

На каком расстояний должно быть SRW (LSI) слово от ключа? Или как я облажался у Шакина 🙈

Готовясь к эфиру с Михаилом Шакиным я провел массу тестов, и в один момент мне показалось, что чем ближе SRW слово к ключу, тем выше значение косинусной близости, поэтому мне захотелось провести более масштабный эксперимент и поделиться результатами.

ЗЫ: В этом посте и далее я буду употреблять термин SRW (семантически релевантное слово), LSI или то, как его понимают SEOшники, это устоявшееся выражение, примерно как «ксерокопия», но в LSI другая мат. модель, не имеющая ничего общего с моими экспериментами.

Условия и допущения:
1) Методология и подкапотная часть идентична исследованию порядка слов.
2) Ключ поместим в начале предложения и будем к нему цеплять SRW слово на определённом расстоянии.
3) SRW слова берем тут @vector_keywords_bot
4) В качестве нейтрального слова заполнителя используем ‘‘and’’

Пример пар:
[окна] / [окна стекло and and .. and]
[окна] / [окна and стекло and .. and]
[окна] / [окна and and стекло .. and]
………. / ………………………………’…..…
[окна] / [окна and and and .. стекло]

Как думаете, оправдались мои ожидания?
Результаты получились интересными и довольно неожиданными.
Итак, первое, SRW слова влияют на косинусную релевантность пар слово/текст. Как раз об этом я говорил у Михаила. Добавление SRW слов в предложение с ключом, как правило, увеличивает косинусную релевантность.

Второе, как бы не хотелось притянуть за уши теорию, о некоем «окне релевантности» в котором необходимо использовать SRW слова но это не так. Близость SRW слова к ключу не влияет на косинусную релевантность текста, ну или мне не удалось это заметить. Каюсь, поторопился с выводами на эфире у Шакина.

Третье, SRW слова влияют по разному, какие-то больше, какие-то меньше, причем степень влияния не всегда коррелирует если сравнивать в лоб cs(ключ, srw слово). Так например, стеклопакет – самое релевантное слово, оказало меньшее влияние чем уплотнитель, но, скорее всего это погрешность эксперимента.

Ну и совсем неожиданный результат!
Случайным образом выяснилось, что слова явно определяющие интент, например (купить, цена, стоимость, как, что, если, почему) в начале предложения, увеличивают косинусную релевантность пары слово/текст!

В данном эксперименте была использована модель textEmbedding от Яндекса. Хмм, а, что если взять и сделать то же самое для Google? Интересно 🤔 ?

Рейтинг текстовых анализаторов (ТА)

Не так давно провел небольшое исследование ТА присутствующих на рынке и хочу поделиться результатами с любимой аудиторией моего канала.

Эксперимент: возьмем ключ «окна пвх» и сравним, 50 первых SRW(LSI) слов, которых они нам порекомендовали к использованию. Если ТА не предоставляет информацию по ключу, подадим на вход урлы по которым делался анализ ТОПов.

В качестве языковой модели возьмем textEmbedding от Yandex.

Критерии оценки:

1. Косинусная близость (CS) для корпуса из 50 SRW слов и ключа
2. Среднее значение CS для первых 50 SRW слов и ключа
3. Полнота результата (количество найденных слов)
4. Платный / бесплатный
5. Возможность посчитать SRW вхождения в документе
6. Юзабилити
7. Вера в инструмент 😇
8. Справочно: принцип действия

Цифры в табличке: чтобы не усложнять восприятие, переведены в проценты. За нулевую точку взят текст про Большой Театр, а за 100% наиболее релевантный корпус текста.

Результаты:
1. Оценка по CS, и здесь нас ждет сюрприз! ChatGPT 4o по довольно простому промпту выдал один из лучших результатов! Не факт что чат GPT будет показывать стабильно высокий результат в дальнейшем, но само по себе это довольно любопытно. Ещё один лидер @vector_keywords_bot и здесь в стабильности результата сомневаться не стоит, она заложена в алгоритме.
2. Бесплатных анализаторов у нас всего три это @vector_keywords_bot, miratext.ru и ChatGPT 4o1-mini. Второй значительно проигрывает по юзабилити, а получение доступ для чата GPT связано с определёнными трудностями. Кстати Megaindex можно тоже считать условно бесплатным.
3. GAR (Relevantus) разработчик Артур Корсаков, если не ошибаюсь, абсолютный лидер по юзабилити. Графики, таблицы, облака тегов, ТЗ на копирайтинг, подсчет вхождений по зонам документов, ни один из ТА не представляет настолько полный функционал
4. Полнота результатов, здесь проще выделить аутсайдеров, это Pixel Tools, Arsenkin и Megaindex
5. Подсчет вхождения по зонам документа, здесь 50х50
6. Ну и за веру в инструмент добавим баллы GAR (Relevantus) и just magic, поскольку в SEO два культа: один Антона Маркина, второй Алексея Чекушина, адептом которого является ваш покорный слуга))

Результаты исследования сведены в табличку.

Итоги и выводы: По сути нет особой разницы каким текстом анализатором вы пользуетесь, поскольку главный инструмент сеошника это не ТА, а мозг. Какой инструмент выбрать, зависит от ваших предпочтений, от удобства пользования и от привычки.

PS: как разработчик @vector_keywords_bot, я мог бы хвалить себя и бить пяткой в грудь, но я прекрасно понимаю, что мне ещё нужно докрутить. Но мой бот выигрывает по 5 критериям из 7 (я пока еще не обзавелся адептами 😂). А это согласитесь неплохо!