Про ядра на 10 млн запросов + анонсы

С мая с командой начали работать над большими ядрами под заказ для очень крупных порталов -- от 1 до 10-30 млн запросов. Как оказалось услуга востребована, а быстро, качественно и по приемлемой цене собирать такие ядра в рунете не умеет примерно никто.

Основная сложность/особенность -- ты просто не можешь рассчитывать на те инструменты которые есть на рынке потому что они или не умеют работать с такими объемами или ты просто не уложишься в адекватный бюджет.

Давайте загибать пальцы. Что нужно чтобы собрать/обработать ядро на 5-10 млн запросов (считаем что маркеры и сами запросы мы уже спарсили/собрали, хотя это тоже отдельная песня):
-- Собрать топ-10 для кластеризации. Цена за 1000 запросов 10-20 рублей на рынке. Даже взяв все лимиты из xml сервисов вы быстро упретесь в потолок в 100 потоков (будет собираться долго). Цена за сбор 10 млн запросов -- 100 000 - 200 000 рублей.
-- Пройти по топ-100 для сбора позиций. Ок, Яндекс мы собрали в предыдущем пункте. Ещё 100 000 - 200 000 рублей на Гугл. Скорость сбора Гугла в паблик инструментах медленнее, предложений на рынке сильно меньше.
-- Кластеризация. На рынке просто нет инструмента который может это сделать для 10 млн запросов (а иногда запросов больше).
-- Тематическая классификация. Маст-хэв для чистки/отсеивания говна на таком объеме. Только just magic, цена за 1 млн запросов -- 50 000 рублей на самом большом тарифе. Скорость меньше миллиона в сутки.
-- WordStat. 3000 рублей за миллион частотностей на рынке, самое адекватное что нашёл. Приемлемо, но также "влетит в копеечку" на объеме.
И тд

Конечно же это всё было очевидно в самом начале, поэтому я сразу подключил нашу команду разработки и мы сделали все инструменты сами:
-- Развернули инфраструктуру под сбор данных из ПС. Уже писал выше, сейчас объем 5 млн серпов в сутки.
-- Сделали свой парсер частотностей.
-- Сделали свой тематический классификатор. Теперь на рынке он есть только у just magic и у меня :) Это отдельная гордость, тк с июня сам собирал и допиливал этот инструмент на python.
-- Сделали свои серверный класстеризатор, который может класстернуть ядро на 20 млн запросов буквально за 2 часа.
.. И ещё много других сопутствующих инструментов такие как удаление неявных дублей, хранилище под эти запросы для быстрой обработки и тд.

А теперь про то как это может быть полезно вам:
1) Сбор таких шоколадных ядер пока что делаем только знакомым. Конвеер загружен и следующие сможем взять в середине октября/ноябре, если текущие клиенты ещё что то не закажут. Возможно будем выкатывать в паблик услугу, а возможно нет :) Можете писать в ЛС @sashaborm пока что - за спрос денег не берут.
2) Тематический классификатор уже готов для выкатки в паблик. Ещё отдельно напишу в канале анонс + расскажу про кейсы его использования для тех кто ещё не знаком.
3) Готовы делиться мощностями/инструментами/решениями с другими сервисами/командами при регулярных оптовых закупках.

Выкатили тематический классификатор

Довели до отличного состояния свой инструмент для определения тематики запросов.
Под отличным состоянием я предполагаю точность больше 95%.

Доступен по ссылке — https://digimetr.com/ru/topic-classify (регистрация нужна)
Стоимость на сегодняшний день — 40 рублей за 1000 запросов.
~1070 категорий.

Наконец то Игорь Бакалов завёл канал — @bakalov_info
Низкий поклон за то что снизошел до нас :)
однозначная подписка

Выкатываю свой сервис по нагулу профилей

Встречайте геймченджер. ПФтема - https://pftema.com

Пройдемся по фишкам и преимуществам:
— Сделан на собственном тематическом классификаторе! ML-решение, которое может определить тематику любого текста автоматически. Те кто относительное время следит за моим ТГ-каналом уже читали про это. Для остальных - можете убедиться что это работает на https://digimetr.com (после авторизации в верхнем меню выбрать инструмент) или авторизоваться на https://pftema.com и бесплатно попробовать. Точность определения тематики - 99%.
Думаю все кто в теме понимают насколько это большой отрыв от другие предложений на рынке, которые прямо заявляют что проходятся по базе руками для перепроверки или вообще определяют тематику от главной страницы, или в лучшем случае по title страницы. По моим тестам и оценкам точность определения тематики на рынке сейчас от 40% до 60%.
— Определяется тематика каждой страницы. Анализируем весь контент на странице, не только title.
— База постоянно растёт. Сейчас уже 1+ млн доменов и 6+ млн страниц. Каждый день добавляются от 200к новых страниц. Планируем в ближайшие месяцы довести до 50+ млн страниц. Это позволит сильно размыть ваши профили в глазах ПС, и увеличит точность и скорость нагула.
— Постоянная проверка URL-ов на доступность.
— Скорость отклика в пределах 1 секунды.
— Фильтры по ipv4/ipv6 и трафику.
— Все URL с метрикой.
— 1000+ категорий.

Тарифы:
— Каждому зарегистрированному пользователю 2 рубля на тест. Можно создать 1 ссылку и сделать ~500 запросов.
— Подписка от 5900 рублей. За эту цену доступно 5 млн запросов в месяц. Остальные цены можно посмотреть на главной страницы.
— Базовый тариф - 0,4 копейки за запрос.

Статистику, уведомления в ТГ, личный кабинет под мобилку и другие фичи будем прикручивать чуть позже.

Как итог. Я предлагаю вам просто зарегистрироваться и поставить рядом с любым другим предложением на рынке через тестирование.

Просьба распространить этот пост по тематическим чатам, а также своим знакомым, которые в теме :)

Ускоренная индексация в Google - Рабочий инструмент.

ТГ-бот SpeedyIndex. Для проверки инструмента тестово загонял в него 50 000 не проиндексированных урлов на сайте с DR 60+. Обычно из этого раздела заходило максимум по 3000-5000 в сутки через Google Indexing API.
Практически всё уже зашло в индекс. Процесс занял 4-5 дней. Для 50 000 урлов это стоило 9900 рублей.
Влияние данного инструмента на результат для меня очевидно - рекомендую.

Реф ссылка при переходе по которой доступно 200 тестовых урлов.

Использую для двух случаев:
— Отправляю страницы на индексацию.
— Отправляю купленные ссылки на индексацию.

Подписался на Игоря Станиславовича на Sponsr.ru
Чтиво — чистый кайф :)

MyDrop - Обновления

Отличные новости для тех кто в том или ином виде занимается перехватом/восстановлением доменов - обновили сервис MyDrop.io:

— Добавили больше информации по ссылочному профилю для рунетных доменов: DR, UR, Кол-во ссылающихся доменов, кол-во ссылок. Планируем раскатать и на бурж домены в недалёком будущем (gTLD).
— Добавили информацию по ссылкам из Wikipedia.org. Ссылки разбита по языкам, есть возможность перейти и посмотреть конкретные ссылки + фильтры в таблице по кол-ву.
— Теперь информация по истории домена по данным из вебархива бесплатна - её можно посмотреть на странице каждого домена: title головной страницы по годам, языки главной страницы по годам. Также есть информация по кол-ву редиректов, внешних/внутренних ссылок и слов для каждой страницы. Есть у каждого домена.
— Подсветка спец иконками судебных доменов и доменов под блокировкой РКН.
— Возможность скопировать список доменов с текущей страницы в таблице в буфер обмена одним кликом мыши (иконка сразу над таблицей находится).
— Убрали не актуальные данные из сервиса: Alexa, Linkpad и др.

Пробуйте и пользуйтесь.
Новые обновления и фичи будут в феврале/марте.

Интересное мини-исследование на 40 сайтах о доходности разных рекламных сетей в разрезе тематик.
Ну те как только ваш бурж-сайт проходит порог по посещаемости и качеству имеет смысл попробовать уйти от AdSense.

https://www.motioninvest.com/finding-the-best-ad-network-changing-platforms-can-increase-website-revenue-by-300/

Как обратиться в техподдержку Google Поиска?
#Google #Ликбез

В техподдержку Google Поиска действительно можно обратиться. Однако это стоит делать только в том случае, если вы уверены, что столкнулись с существенной ошибкой на стороне Google. В любом случае знайте, что дело это не благодарное, но если других вариантов уже нет, то можете попробовать:

1. Написать через Google Search Console (GSC), кликнув по Submit feedback и описав встреченную проблему. Можно также приложить скриншот, если проблема воспроизводится в GSC.

2. Обратиться на форум Google Поиска https://support.google.com/webmasters/community?hl=ru. Выберите подходящий вашей проблеме раздел и изучите последние треды и ответы на них. Возможно ваш вопрос или похожий уже был задан совсем недавно. Если же не нашли ничего похожего, то создайте пост, максимально описав проблему.

Достучаться до службы поддержки через этот форум сложно, разве что вы действительно столкнулись со значимой ошибкой в Google поиске, которая до этого никем не фиксировалась. Тогда эксперты Google передадут ваше сообщение «наверх», но личный ответ от службы поддержки вы вряд ли получите.
Более вероятно, что вам ответит кто-то из экспертов (не путайте, эти люди хоть и обладают бейджем эксперта, но не работают в Google и не связаны с ним) и посоветует что-то дельное.

Важно! Не «светите» url сайта и бренд без необходимости.

3. Обратиться в службу поддержки любого платного сервиса Google, который у вас активен. Например, вы можете написать в поддержку Google Workspace или в Google ADS с подробным описанием проблемы и просьбой передать информацию их коллегам из другого продукта.

Ремарка: А зачем вообще обращаться в Google?
• Во-первых, вы можете показать клиенту свою "классность". Даже в безвыходной ситуации у вас есть идеи и методы что еще можно сделать.
• Во-вторых, в экзотических случаях это может помочь решить проблему с индексацией и ранжированием.
• В-третьих, если вы новичок, то на форуме Google вам действительно могут подсказать полезные решения и нюансы.

#Google #Ликбез

Ускоренная индексация в Google / Ч. 2

В предыдущей серии: я рекомендовал вам сервис в виде телеграм-бота, который на ура загоняет URL-ы в индекс Google-а. Однако стоимость индексации 1 млн урлов - $1800.

Платить $1800 за каждый миллион урлов нам конечно не очень выгодно. Учитывая, что есть потребность загонять 10+ млн урлов в месяц получается очень круглая и неприятная сумма.
Выход из положения - сделать своё решение.

На скринах некоторые этапы процесса - отбивки нашим ТГ-ботом статистики по определённому заданию, а также схема скрипта в ZennoPoster. По технической части. Кроме части с ZennoPoster (фарминг аккаунтов) есть ещё сервер + PHP скрипты.

Текущая мощность - 400 000 урлов в сутки гарантированно в индекс. Можно легко масштабировать.
Используем для себя и на продажу от миллиона урлов.

Куда вводится запрос пользователя — это архиважная история для новых медиа и GPT-чаты оказались подрывной технологией для всех проектов, чьи доходы базировались на том, что:

а) пользователь в принципе заходит на эти проекты чтобы задать вопрос
б) пользователь сам рассказывает о том, что именно ему нужно

Конечно, в первую очередь речь о Google и Яндексе. Не сказать, что для них проблема потери запросов является новинкой — схема их существования заключается в том, что поисковики готовы удовлетворять любопытство пользователя в какие-то моменты, а заработают они тогда, когда пользователь введёт "пластиковые окна, замена срочно"

И если по большому количеству запросов мало кто мешает поисковикам зарабатывать, то вот там, где запросы только коммерческие, злые люди, которые хотят отобрать у Яндекса и Гугла деньги, делают свои собственные проекты.

Например:

— запрос связанный с поиском недвижимости уйдёт в ЦИАН или Авито.Недвижимость

— запрос связанный с покупкой автомобиля уйдёт на Auto.ru (и тут Яндекс не сильно против), на Drom.ru или опять же, Авито

Доля этих запросов в общем потоке к Яндексу невелика, но доход от них настолько значим, что Яндекс согласен вручную обзванивать продавцов по тем лотам, которые у него не представлены, лишь бы они залили объявление и на Авто.ру.

И здесь роль чатов становится крайне многозначной

1. Google со своим Search Generative Experience решил, что существенная часть ответа на запрос пользователя будет сообщаться ему в результатах поиска. То есть, переходов из результатов поиска будет явно меньше (правда, можно рассчитывать, что доля коммерческих из них — будет выше, а удовлетворяться ответом Google будут те, кто и не собирался совершать никаких покупок). Но это снижает возможности ретаргетинга. Вряд ли "Яндекс" откажется от того, чтобы пойти по тому же пути — SERP станет более информативным, а трафик из поиска — упадёт, это то что мы увидим в ближайшее время. Подозреваю, именно для объяснения этого факта и успокоения веб-мастеров в Яндексе и появляется такая сущность как "Амбассадор поиска". Когда крупная корпорация пытается построить с кем-то доверительный диалог — надо покрепче держать карманы, как обычно.

2. Можно отобрать долю коммерческих запросов у Авито, ЦИАНов, Дромов и вернуть пользователей в поиск "Яндекса". Если будут решены интерфейсные проблемы и то, каким образом будут представлены результаты. Мелким площадкам сложнее построить свои GPT-проекты, хотя и не невозможно.

3. Очень резко возрастает роль дистрибуции и всех тех мест, где пользователь куда-то что-то вводит

Любая поисковая строка и место куда пользователь что-то вводит становится местом перераспределения коммерческого трафика (поиск в операционной системе десктопа, поиск в операционной системе смартфона, поиск на сайтах-каталогах, поиск или ввод в мессенджерах)

Если в Microsoft, Apple и Google Android россиян ни разу не ждут, то вот в китайских телефонах и в Telegram — возможны варианты.

4. Становится понятна любовь к голосовым помощникам и вообще своим устройствам со стороны Сбера — это способ зайти на поисковую поляну, в том числе и коммерческих запросов, через новый неподеленный канал.

5. Снижение раздачи органического трафика - уронит доходы от медийной рекламы на тех площадках, где доля трафика из поисковика высока, и, в очередной раз, снизит роль медиа на рекламном рынке. Никто не берётся даже оценить насколько упадёт органический трафик — эксперты Adweek называют цифры от 20 до 60%

Результат всего этого движа очевиден и для многих неприятен — возможно снижение доходов проектов, которые вполне себя уютно чувствовали в коммерческих нишах (очевидные примеры перечислял выше), возможно появление новых игроков на рынке поиска (Сбер) где никто революций вообще не ждал, ну и, как обычно происходит при усложнении рынка — бедные немного обеднеют, богатые — разбогатеют.

17 октября был на конференции Optimization, с 15-00 до 21-00. Не успел посмотреть ни один доклад — всё время общался с старыми знакомыми. Optimization всё ещё то самое мероприятие, куда каждый год приходят лидеры SEO (спасибо организаторам!).

Помню несколько лет назад прочитал у кого то, что конференции это в первую очередь про общение и знакомство с интересными людьми.
Узнал много интересного, надеюсь и с каждым из вас поделился чем то полезным.

Всех очень рад был видеть!

(на фото Серёжа Вирясов :) )

Валера Бабушкин один из крутейших специалистов по ML, с кем довелось общаться и работать :)
Для тех кто не слышал про Валеру, настоятельно рекомендую интервью ниже. Интересно и полезно про собеседования ML-инженеров, построение и работу ML-команд, менеджмент и др.

https://www.youtube.com/watch?v=xunKFLh1TpU

15-го иду на нарижник