Гугл обновил документацию по своим ботам - теперь они разбиты на три категории.

(1) Стандартные боты. Краулят сайты, новости, картинки, видео, фавиконы и тд. Эти боты придерживаются правил описанных в robots.txt.
DNS маски: "crawl-*-*-*-*.googlebot.com" или "geo-crawl-*-*-*-*.geo.googlebot.com".
Файл с списком IP диапазонов - googlebot.json

(2) Специальные боты. Реклама, AdSense и API Google. Не придерживаются ограничений в robots.txt.
DNS маска: "rate-limited-proxy-*-*-*-*.google.com"
Файл с списком IP диапазонов - special-crawlers.json

(3) Триггер боты. Начинают краулинг только после "запроса" от пользователя. Например, бот Google Site Verifier пойдёт на ваш сайт только после того как вы заносите верификацию прав на сайт через Google Search Console.
DNS маска: "*-*-*-*.gae.googleusercontent.com"
Файл с списком IP диапазонов - user-triggered-fetchers.json

-------

Вижу только два практических применения:
1. Блокировка парсеров "представляющихся" Google'ом.
2. Валидация записей при анализе логов.

Ох, давно я такого качественного контента не видел — @analytics_yandex

Кто там SEO-шник

Снова в поисках SEO-оптимизатора на постоянку

-- Техническая оптимизация сайта под ПС;
-- Составление ядра (чувстовать класстеризацию кончиками пальцев);
-- SEO-обвязка на страницах "от ядра": мета-теги, заголовки, тексты, перелинковка и другие блоки;
-- Анализ конкурентов, поисковой выдачи и результатов;
-- Работа с генережкой текстов/страниц;
-- ТЗ для копирайтеров/разработчиков.
-- Другие скиллы: усидчивость, голова на плечах, Excel, и тп.

Удалёнка, 8 часов в день, пн-пт.
ЗП обсуждаем на собесе.

Писать сюда: @sashaborm ^_^

Если сами не в поиске, не забудьте скинуть знакомым и/или в тематические чатики.

Пьяные пользователи

По данным Всемирной организации здравоохранения, около 50% взрослого населения мира употребляют алкоголь регулярно. То есть, каждый второй пользователь может в любой момент общаться с твоим продуктом под шофе. При этом ни разу за всю мою карьеру я не слышал «кстати, а как этим пользователь разберется с нашим интерфейсом после 3 фунфыриков?».

Но реальность такова, что пользователи могут быть не всегда в трезвом уме и твердой памяти. Ты-то свой продукт наверняка разрабатываешь и тестируешь на трезвую голову, а значит не улавливаешь все нюансы взаимодействия с пьяными пользователями.

Что можно сделать?

1. Тесты с друзьями в баре. Я пару раз это пробовал, незабываемый опыт. Все сложные взаимодействия, типа свайпов, сразу блокируют интерфейс для подвыпившего человека. Тексты, которые и в обычном состоянии никто не читает, вообще становятся еще одним бессмысленным элементом украшения. Вряд ли имеет смысл кого-то из продактов или тестировщиков держать всегда под градусом, это как минимум не гуманно. Но иногда просить в выпивающей компании протестировать твой продукт точно стоит.

2. Упрощаем интерфейсы. Тут есть еще один плюс: если твой продукт могут использовать даже пьяные люди, то он будет достаточно прост и понятен для всех пользователей. Наша задача, как продактов, это создать продукт, который сможет использовать любой пользователь из целевой аудитории, вне зависимости от текущего состояния.

3.Адаптивный дизайн. Можно пойти дальше и использовать механизмы обнаружения нетрезвого состояния (например, путем анализа опечаток, скорости набора текста и т.д.), который будет адаптировать интерфейс и функционал под текущее состояние пользователя. Или блокировать его и предложить посмотреть пока тикток, чтобы не написать бывшему или не купить акции по пьяни.

В общем, не забываем, что у пользователей может быть контекст использования продукта, радикально отличающийся от твоего.

Как получить жирную трафиковую ссылку с твиттер

Суть того что творится на скриншоте. Какой то анонимный акк опубликовал видео с якобы некачественно уложенным асфальтом и приписал "ай ай ай вот как воруют".

На что пользователи через инструмент публичной борьбы с фейками прикладывают описание того, что существует такой формат укладки асфальта и прикладывают ссылку на сайт какой то компании.

Уже сейчас твит посмотрели 6 млн человек (и увидели эту ссылку). Ну а ссылки с трафиком имеют тысячекратный эффект по сравнению с любой ссылкой с дропа или миралинкса :)

Как это использовать - хз. Маловероятно что вы сможете мониторить такие фейковые твиты и проталкивать свои ссылки.
Но кейс интересный...

Интересная точка зрения из статьи выше (которую я разделяю) это то что Яндекс использует ботовый трафик себе в плюс в финансовых отчётах для акционеров.

В начале прошлого года мы пересмотрели подход к созданию новых приложений. Решили тестить более агрессивные и значимые для рынка гипотезы. Первое что я взял это Play to earn – что будет если маркетинговый бюджет выплатить пользователям? Будут они приглашать друзей или нет? Какая будет органика? Тема очень любимая многими продактами, которые в любой непонятной ситуации тащат какие-то монетки и инвайты друзей.

Так родился Yepp. Это мем-приложение которое платит за то что ты смотришь и делаешь мемы.

В первой версии мы оттолкнулись от крипты: придумали ревенью шеринг модель, и за действия пользователя начисляли крипто-койны. Их можно было поменять на USDT. Планировали вывести койн на биржу. Через два месяца после запуска Yepp стрельнул на Tier 3 рынках, мы довольно быстро вышли на 100к инсталлов в день. Основная проблема такого конфига – низкая цена на рекламу в Tier 3 и низкий ретеншен.

Yepp станет регулярно появляться в моих постах, а пока несколько интересных моментов которые накопал:

– Крипто-стартапы это какое-то полное дно. Никто не делает реальный продукт для реальных людей, все пишут КРИПТО ровно как и AI не понимая что это ничего не дает
– В Индии и Пакистане огромное количество народу которое ищет любые возможности подработки и выполнения заданий. В Tier 1 и 2 народ меньше чем за 1000 баксов впрягаться не будет
– Главные фродеры мира находятся в Индонезии и Филлипинах
– По результатам года мы получили несколько миллионов органики из разных стран и теперь есть рекламные бенчмарки почти по любой большой стране. Россия входит в TOP 5 рекламных рынков, и точно самый богатый рекламный рынок Европы

💔 Протестировал ПФ в Google через сервис SerpClix

Трафик в виде кликов от реальных людей через краудсорсинговые площадки (или их собственную одну).
Всего было 4 последовательные кампании по 100 кликов каждая.
Клики видны в GSC, но никакой корреляции с позициями так и не случилось.

SerpClix был единственным сервисом на рынке и этот эксперимент стоило провести. Слил деньги за вас, сервис не рекомендую.

Что думаете про ПФ в Гугле? Какие ещё есть варианты? пишите в комментах или в ЛС @sashaborm

Сергей для меня #1 эксперт в вопросе накрутки ПФ, который:
1. Имеет большой практический опыт (видел много его успешных кейсов лично);
2. Постоянно тестирует новые гипотезы и улучшает свой процесс работы;
3. Оперативно подстраивается под задачу и потребности клиента.

Очень рад, что он наконец то "вышел в эфир" и начал делиться своими знаниями.
Надеюсь его вебинары у Миши будут иметь продолжение :)

https://www.youtube.com/live/EJqosOyZPac

Будущее уже наступило, просто оно ещë неравномерно распределено

Одно-страничник -- 300к визитов в месяц, DR - 2

Продолжаем рассматривать кейсы сайтов, которые хорошо набирают трафик или его монетизируют. В ближайшее время буду чаще постить такие кейсы + данная рубрика будет расширена обзором SaaS-сервисов и крупных сайтов.

Сегодняшний пациент - одностраничный сайт с простым функционалом, слабым ссылочном и большим трафиком.

— Сайт представляет из себя одно-страничник, который позволяет сделать весь экран одного цвета.
— Зачем? :) "Используйте его, чтобы проверить битые пиксели или засветку подсветки или очистить экран, не выключая устройство." (перевод текста с сайта).
— Основной запрос который даёт трафик - "black screen" (USA)
— Интересно, чтобы большая часть трафика у данного сайта приходит из "Закладок". Т.е. пользователи находят данный сайт через поиск, кладут в закладки и затем возвращаются к нему снова и снова.
— Как вы уже скорее всего поняли по DR = 2 (domain rating по сервису Ahrefs), у данного сайта слабая ссылочная масса.

По денежной стороне вопроса:
— Такой сайт можно монетизировать только рекламными объявлениями или пушами;
— Рекламные объявления будут давать низкий RPM (Revenue Per Mile/Доход на 1000 показов) т.к. пользователь сразу использует функцию которая ему нужна, а на чёрном экране ты объявления не покажешь.
— Что касается пушей с подпиской (серый метод), то они в свою очередь уменьшат конверсию в закладки и соответственно в закладочный трафик.
— Однако, тот же закладочный трафик даёт более стабильный поток трафика, нежели органический трафик. Соответственно идеальный вариант это всё таки поставить рекламные объявления (AdSense/Ezoic/Mediavine). При таком подходе с сайта будет хоть и не большая (для такого трафика), но стабильная денюжка. Думаю потолок $1000-$2500 в месяц.
— Из плюсов данного сайта то, что при продаже мультипликатор может быть увеличен за счёт всё того же закладочного трафика.

Что вы думаете про такой сайт? Стоит повторять этот кейс? :)

Делитель с друзьями и коллегами и подписывайтесь @bortalks

База

Решение по XML, который скоро перестанет быть бесплатным.

Думаю уже примерно все в курсе, что Яндекс XML закроют, и всем будет предложено покупать 1000 API-запросов к SERP за ~300 руб.
У меня есть мощности под объём ~5 млн серпов в сутки (расширяемо). Для тех кто ищет решения, и кому интересны "оптовые" закупки (от 150к/руб мес.) - велком в ЛС @sashaborm.

Про ядра на 10 млн запросов + анонсы

С мая с командой начали работать над большими ядрами под заказ для очень крупных порталов -- от 1 до 10-30 млн запросов. Как оказалось услуга востребована, а быстро, качественно и по приемлемой цене собирать такие ядра в рунете не умеет примерно никто.

Основная сложность/особенность -- ты просто не можешь рассчитывать на те инструменты которые есть на рынке потому что они или не умеют работать с такими объемами или ты просто не уложишься в адекватный бюджет.

Давайте загибать пальцы. Что нужно чтобы собрать/обработать ядро на 5-10 млн запросов (считаем что маркеры и сами запросы мы уже спарсили/собрали, хотя это тоже отдельная песня):
-- Собрать топ-10 для кластеризации. Цена за 1000 запросов 10-20 рублей на рынке. Даже взяв все лимиты из xml сервисов вы быстро упретесь в потолок в 100 потоков (будет собираться долго). Цена за сбор 10 млн запросов -- 100 000 - 200 000 рублей.
-- Пройти по топ-100 для сбора позиций. Ок, Яндекс мы собрали в предыдущем пункте. Ещё 100 000 - 200 000 рублей на Гугл. Скорость сбора Гугла в паблик инструментах медленнее, предложений на рынке сильно меньше.
-- Кластеризация. На рынке просто нет инструмента который может это сделать для 10 млн запросов (а иногда запросов больше).
-- Тематическая классификация. Маст-хэв для чистки/отсеивания говна на таком объеме. Только just magic, цена за 1 млн запросов -- 50 000 рублей на самом большом тарифе. Скорость меньше миллиона в сутки.
-- WordStat. 3000 рублей за миллион частотностей на рынке, самое адекватное что нашёл. Приемлемо, но также "влетит в копеечку" на объеме.
И тд

Конечно же это всё было очевидно в самом начале, поэтому я сразу подключил нашу команду разработки и мы сделали все инструменты сами:
-- Развернули инфраструктуру под сбор данных из ПС. Уже писал выше, сейчас объем 5 млн серпов в сутки.
-- Сделали свой парсер частотностей.
-- Сделали свой тематический классификатор. Теперь на рынке он есть только у just magic и у меня :) Это отдельная гордость, тк с июня сам собирал и допиливал этот инструмент на python.
-- Сделали свои серверный класстеризатор, который может класстернуть ядро на 20 млн запросов буквально за 2 часа.
.. И ещё много других сопутствующих инструментов такие как удаление неявных дублей, хранилище под эти запросы для быстрой обработки и тд.

А теперь про то как это может быть полезно вам:
1) Сбор таких шоколадных ядер пока что делаем только знакомым. Конвеер загружен и следующие сможем взять в середине октября/ноябре, если текущие клиенты ещё что то не закажут. Возможно будем выкатывать в паблик услугу, а возможно нет :) Можете писать в ЛС @sashaborm пока что - за спрос денег не берут.
2) Тематический классификатор уже готов для выкатки в паблик. Ещё отдельно напишу в канале анонс + расскажу про кейсы его использования для тех кто ещё не знаком.
3) Готовы делиться мощностями/инструментами/решениями с другими сервисами/командами при регулярных оптовых закупках.

Выкатили тематический классификатор

Довели до отличного состояния свой инструмент для определения тематики запросов.
Под отличным состоянием я предполагаю точность больше 95%.

Доступен по ссылке — https://digimetr.com/ru/topic-classify (регистрация нужна)
Стоимость на сегодняшний день — 40 рублей за 1000 запросов.
~1070 категорий.

Наконец то Игорь Бакалов завёл канал — @bakalov_info
Низкий поклон за то что снизошел до нас :)
однозначная подписка

Выкатываю свой сервис по нагулу профилей

Встречайте геймченджер. ПФтема - https://pftema.com

Пройдемся по фишкам и преимуществам:
— Сделан на собственном тематическом классификаторе! ML-решение, которое может определить тематику любого текста автоматически. Те кто относительное время следит за моим ТГ-каналом уже читали про это. Для остальных - можете убедиться что это работает на https://digimetr.com (после авторизации в верхнем меню выбрать инструмент) или авторизоваться на https://pftema.com и бесплатно попробовать. Точность определения тематики - 99%.
Думаю все кто в теме понимают насколько это большой отрыв от другие предложений на рынке, которые прямо заявляют что проходятся по базе руками для перепроверки или вообще определяют тематику от главной страницы, или в лучшем случае по title страницы. По моим тестам и оценкам точность определения тематики на рынке сейчас от 40% до 60%.
— Определяется тематика каждой страницы. Анализируем весь контент на странице, не только title.
— База постоянно растёт. Сейчас уже 1+ млн доменов и 6+ млн страниц. Каждый день добавляются от 200к новых страниц. Планируем в ближайшие месяцы довести до 50+ млн страниц. Это позволит сильно размыть ваши профили в глазах ПС, и увеличит точность и скорость нагула.
— Постоянная проверка URL-ов на доступность.
— Скорость отклика в пределах 1 секунды.
— Фильтры по ipv4/ipv6 и трафику.
— Все URL с метрикой.
— 1000+ категорий.

Тарифы:
— Каждому зарегистрированному пользователю 2 рубля на тест. Можно создать 1 ссылку и сделать ~500 запросов.
— Подписка от 5900 рублей. За эту цену доступно 5 млн запросов в месяц. Остальные цены можно посмотреть на главной страницы.
— Базовый тариф - 0,4 копейки за запрос.

Статистику, уведомления в ТГ, личный кабинет под мобилку и другие фичи будем прикручивать чуть позже.

Как итог. Я предлагаю вам просто зарегистрироваться и поставить рядом с любым другим предложением на рынке через тестирование.

Просьба распространить этот пост по тематическим чатам, а также своим знакомым, которые в теме :)

Ускоренная индексация в Google - Рабочий инструмент.

ТГ-бот SpeedyIndex. Для проверки инструмента тестово загонял в него 50 000 не проиндексированных урлов на сайте с DR 60+. Обычно из этого раздела заходило максимум по 3000-5000 в сутки через Google Indexing API.
Практически всё уже зашло в индекс. Процесс занял 4-5 дней. Для 50 000 урлов это стоило 9900 рублей.
Влияние данного инструмента на результат для меня очевидно - рекомендую.

Реф ссылка при переходе по которой доступно 200 тестовых урлов.

Использую для двух случаев:
— Отправляю страницы на индексацию.
— Отправляю купленные ссылки на индексацию.

Подписался на Игоря Станиславовича на Sponsr.ru
Чтиво — чистый кайф :)