Кластеризация запросов по LLM моделям, Илон Маск опять всех удивил?)

Мое исследование подходит к финалу и есть ряд интересных наблюдений.

Итак, первый сенсационный результат!
На довольно простом ядре (порядка 2000 запросов) типа
- запчасти Хавал
- автозапчасти Haval
- запчасти хавейл по VIN номеру
Лучший результат – почти 100% совпадение с экспертной оценкой показал… Grok3! Причем результат лучший среди всех нейросеток и среди других методов кластеризации! Да, есть нюансы, поскольку это дешевая модель с небольшим контекстным окном он вам не даст откластеризовать, к примеру, ядро из 5000 запросов (остальные он просто выкинет). Второе – да, на сложных нишах типа, займов и кредитов там все не очень, но нужно отметить, что и кластеризация по ТОПу в лоб, тоже дает результаты так себе. Но, советую присмотреться, по крайней мере это любопытно!

Второе крайне забавное наблюдение, про которое мне рассказал Андрей Буйлов. Если в Perplexity в режиме labs загрузить список запросов, которые были изначально кластеризованы (взяли эксель файл и убрали колонку с кластерами, оставили только фразы) – результат очень достойный. Если загрузить фразы в случайном порядке – результат намного хуже. То есть Perplexity запоминает порядок слов – positional encoding в действии!

Третий момент. Многие нейросетки когда их просишь кластернуть запросы пишут код на Python. Прямо пишут код и запускают в интерпретаторе! А мой любимый Sonet вообще кинул в меня скриптом на Питоне и сказал – чувак, вот тебе код, давай сам развлекайся, мне тут не до тебя, я занят более важными делами мыслями как мне поработить мир этих тупых двуногих кожаных. Причем Claude Sonet использует tf/idf и метрику k-means. Результат, мягко говоря, не очень!

Вот такие новости из увлекательного мира нейросетей 😉

Коротко про Optimization 2025

Сейчас буду хвастаться))
Второй год подряд выступил с докладом на легендарной Ашмановке и ….Передам слова модератора секции: Влад у тебя стабильно хороший результат, ждём на следующий год!

Как я писал выше, при подготовке к конфе я прошел все стадии эмоциональных качелей, от веры и надежды, до гнева, торга и смирения)) но оно того стоило! Для чего мне это? Где вы еще сможете пообщаться в неформальной обстановке с хэдами ОЗОНа, ЦИАНА, Сравни.ру, Рутуба, а так же с лучшими SEOшинками страны?

Тезисы своего доклада «Кластеризация в эпоху нейросетей» выложу позже на канале!

Arigato mata-ne 🇯🇵

Сравнение алгоритмов кластеризации – Займы на карту

Эталонное ядро: 6521 ключа,141 кластер

Сравниваемые алгоритмы и модификации (всего 51 шт.)
1) Кластеризации по ТОПу Яндекса и Google
2) По ТОП-10 и ТОП-20
3) По типам Hard, Soft, Middle
4) Кластеризация по Сайтам Чемпионам
5) Кластеризация по Эмбеддингам по алгоритмам KMeans, Agglomerative Clustering, Spectral Clustering, DBSCAN, Gaussian Mixture , Bayesian Gaussian Mixture, HDBSCAN

Метрика для оценки ARI
Индекс Adjusted Rand (ARI) – это метрика, используемая в анализе кластеризации для оценки сходства между двумя разбиениями данных (кластеризациями), скорректированная с учетом случайного совпадения, что делает его наиболее надежным показателем.

Лучшие результаты
- кластеризация по sravni.ru и banki.ru
- по middle по Яндексу по ТОП-20
- агломеративная кластеризация по эмбеддингам

Худшие результаты
- кластеризация по ТОПу с жесткими ограничениями (например по ТОПу по Hard c порогом 4) и
- почти все LLM
- плюс кластеризация по ряду алгоритмов по эмбеддингам.

Вывод - с первой итерации хотя бы 90% результат не дал ни кто!

Кластеризация – эксперименты и выводы, продолжение

Пример сложной тематики №2 - кредиты, эталонная выборка – 1490 ключей, 143 кластера, 24 алгоритма для исследования

Лучшие результаты кластеризации:
По ТОП-20 XML Яндексу по сайту banki.ru (middle)
По ТОП-20 Google по сайту banki.ru (middle)
По ТОП-20 XML Яндексу (middle)
По ТОП-20 Google по (\ middle)

Худшие результаты кластеризации:
Perplexity в режиме research
По ТОП-20 Google (soft)
По ТОП-20 Yandex (soft)

Дальше приводить результаты экспериментов не вижу смысла, поскольку спустя почти 2 месяца проб, ошибок и выгорания я смог сделать определенные выводы и давайте я вас с ними познакомлю.

Выводы из экспериментов
1) Софт не имеет значения, все они делают одно и то же, снимают ТОПы по запросам и находят пересечения. Я в исследовании использовал keyassort и собственный кластеризатор на Python, результаты идентичны.
2) XML и Live выдача в Яндексе – не увидел принципиальной разницы. XML работает стабильней и быстрее, поэтому нет смысла заморачиваться.
3) Лучший агрегатор XML для массовых проверок - https://xmlstock.com/, работает стабильнее чем River плюс поддерживает больше потоков
4) Как это не удивительно, но я не увидел большой разницы в оценках между Яндекс и Google. Честно говоря, ожидал большего разброса, но результаты схожи.
5) На схожесть результатов сильно влияет разброс ядра. Чем оно разнообразнее, тем лучше результаты.
6) Нейросети (LLM) пока рано использовать, слишком большой разброс и нестабильный результат.
7) Хорошо, когда в нише есть безоговорочный лидер, например exist.ru в автозапчастях. Зачастую кластеризация по сайту лидеру дает лучший процент схожести с эталонной выборкой. Ну и кто возразит, что banki.ru – у нас явный и многолетний лидер?
8) Кластеризация по жестким условиям – плохой результат, например по Хард алгоритму по ТОП-10 с порогом схожести 4 и выше
9) Кластеризация по Яндекс Вебмастеру – сложно, долго. ЯВМ больше под сбор семантики чем под кластеризацию
10) Кластеризация по эмбеддингам - хорошо отрабатывает на больших разнородных ядрах. Причем сами эмбеддинги стоят копейки. Я в общей сложности просмотрел порядка 500 к запросов и потратил на это не более 70 р. Да для сложных тематик эмбеддинги не подходят, но для тех же самых автозапчастей разобрать пару миллионов запросов - легко! Вы на таких объемах запаритесь ТОПы снимать.

Ну и возможно самый главный вывод: Кластеризация в Яндексе – напрямую коррелирует с ПФ вашей страницы. Чем лучше ПФ, тем больше он вам докидывает запросов. И то, что вы кластеризуете сейчас – это некая средняя температура по больнице. Если вдруг, ваш сайт окажется лучшим в ТОПе по ПФ, то с высокой степенью вероятности первоначальная кластеризация, которую вы делали по ТОПам или по Лидерам – сломается.

Я двигаю пару проектов в нише агрегаторов GPT и прочих нейросетей и могу сказать, что есть пара сайтов находящихся в ТОПе почти без вхождений, но поскольку там сумасшедшие ПФ за счет бесплатно представляемой услуги – они показываются по очень широкому ядру запросов!

Роадмап
1) Снимаете ТОПы
2) Кластеризуете по несильно жестким условиям, выявляете лидеров
3) Крутите коэффициенты
4) Сравниваете с лидерами
5) Смотрите корреляцию по сайтам из ТОПов по Яндекс Вебмастеру.

Что делать после кластеризации? Внедрять в различные зоны документов, не забывайте при этом про n-граммы и LSI термины. Боты в помощь!