красивые пруфы

# Посмотрел доклады с SeoClubSpb

Билет покупал по большей части ради двух докладчиков - Михаила Шакина и Александа Молодого. 

Судя по количеству выписанных идей – как раз так и получилось, эти два доклада зашли больше всего. 

У Шакина миллион «методик». Не знаю когда он все успевает тестировать, но идеи правда годные, респект. 

Записал себе штуку про cookie policy. На многих моих сайтах в бурже нет плашки с принятием кук. Интересно, вырастет ли трафик, если добавить это дело. Поделюсь результатами.

Больше всего зашло то, о чем рассказывал Молодой. Я работаю в похожем направлении, но в сильно меньших масштабах + только белые ниши. 

Что вынес интересного? Особо спойлерить не хочется. 
Могу сказать, что вдохновился тем, чтобы нырнуть в анализ логов своих сайтов. 
Возможно, разверну ELK стек в своей инфраструктуре, чтобы все логи текли в одно место. Либо начну с чего попроще, для начала. 

Отдельный лайк за его рвение автоматизировать все что можно. Этот подход со мной очень перекликается. У самого куча вещей завязано в телеграм ботах и пр. А уж сколько скриптов было написано... Короче респект, мысли и подход очень нравятся.

Позиции улетели, но Aviasales тут ни при чем
 
1 августа прилетел подарок от гугла. Сайт статейник, белой тематики, не YMYL , ГЕО USA.
 
Да, сайт на копипасте, но он прекрасно себя чувствовал все эти годы и трафик планомерно рос.
Что могло привести к просадке в 70%? В том то и прикол, что я ничего не предпринимал. Возможно это и есть причина.
 
Забавно, но за пару дней до этого скормил весь сайт через Google Indexing API (все страницы и так были в индексе, решил просто поэксперементировать). Врятли в этом есть какая-то связь.
 
Странный не сам факт просадки, а какая она. Запросы из ТОП 10 просто вылетели за 100+.
В консоли все чисто.
 
Такое в моей практики случается впервые.
 
Тем интереснее. Будем спасать пациента.
Попробую: удалить страницы, что не приносили трафик; немного уникализировать контент; и еще пара приемов в рукаве.

# Визуализация логов
 
Получилась вот такая красота.
 
Построено на базе loki + Prometheus + Grafana. Основа для логов – nginx логирование.
 
Что умеет? Много чего интересного.
Например, собрал дашборд, который показывает количество гугл и яндекс ботов на сайте - на всех сайтах вместе и по отдельности, а также всех остальных ботов. Теперь я могу выявить особо навязчивых и заблокировать их.
 
Результаты красивые, но что с ними делать, спросите вы. Тут уже у кого на что фантазии хватит.
Я хотел поэксперементировать с переливкой гуглбота между сайтами, с целью быстрой индексации. Теперь этот процесс можно легко отслеживать. Плюс в Grafana встроен мощный инструмент оповещений, можно вешать телеграм/слак и т.д. алерты на количество ботов за период или другие метрики.
 
А еще это просто забавно, наблюдать как в реалтайме к тебе наваливают боты, особенно когда врубаешь тулзу по индексации.
 
Что еще нашел?
 
В прошлом посте писал про сайт, который растерял почти все свои позиции. Решил проверить как это выглядит на графике посещений гугл бота. Странный пик первого числа. Интересная связь. Или ее тут все же нет? Ну и что точно видно, так это что бот не стал посещать сайт меньше, после пессимизации.
 
Построить себе такую штуку совсем не сложно. Нужен только vps (обычный хостинг не прокатит) и час времени. Могу поделиться и оформить в виде инструкции, если будут желающие.

# Как бесплатно анализировать сайты с Majestic Backlink Checker? 

Есть небольшая хитрость, которая позволяет обойти ограничение на бесплатные проверки в сервисе https://majestic.com/

Хитрость в том, чтобы менять IP каждый раз, когда заканчиваются лимиты на бесплатные проверки. Делать это можно так же бесплатно и бесконечно с помощью Tor. 

1) Устанавливаем Tor у кого еще не установлен. 
2) Переходим https://majestic.com/reports/site-explorer?q=your-site.com
3) Как только видим экран что "дальше за деньги" - жмем File -> New Tor Circuit For this Site (или Shift+Cmd+L на маке)
4) Повторяем по кругу 

Такой лайхфак будет работать практически с любым сервисом, где есть "лимиты" на IP на функционал. Так, например, с легкостью накручиваются онлайн голосования и пр. Сидишь как обезьянка, повторяешь действия. 

Большой минус - версия сильно обрезана. Но для анализа дропов, в связке с тем же бесплатным https://ahrefs.com/ru/backlink-checker самое то.

Можно пойти еще дальше и использовать Tor как бесплатный прокси для разных seo штук.

Дело в том, что с Tor можно работать по API. Для Python есть связка stem + aiohttp_socks, которая позволяет делать http запросы через Tor, по сути заменяя вам платные прокси.

Несколько примеров, что можно с этим сделать:

1) Банально, парсинг. Есть сложные доноры, которые всячески пытаются блокировать частые запросы к сайту. В большинстве случаев решается покупкой прокси, но для обьемных сайтов может выйти в копеечку. С Tor нам это стоит примерно ничего.Как только получаем отказ - делаем IP renewal.

2) Перевод сайтов. Это уже немного сложнее, но интереснее. Я однажды нашел неплохой по качеству переводчик (в целом найти его не очень сложно), у которого есть API и который «условно бесплатный». С ограничением на перевод на какое-то небольшое количество слов в день. Используя такой метод ротации я создал себе целую пачку переводных сайтов, не заплатив ни копейки.

Выложить исходники в open source?

Недавно писал про то, как жестко просел трафик на одном из копипастных сайтов. Событие неприятное и неожиданное.

На прошлой неделе прилетел ровно такой же сюрприз, но в обратную сторону. Позиции стали возвращаться.

Что было сделано? Была проделана тяжелая и планомерная работа - по ничегонеделанию. Если серьезно, то в планах было купить новый домен и сделать постраничный редирект, но руки не доходили сделать.

Восстановление не V-образное, но похоже на разворот. Скрин с трафиком выглядит пока так себе, но судя по позициям все приходит в норму, плюс-минус.

Будем наблюдать.

Интересно, были ли у вас похожие случаи и как вы их прорабатывали?

# Нормальный переводчик с доступным API

Вижу, что есть интерес к теме переводных сайтов.
Контент на свои проекты перевожу в https://mymemory.translated.net/

- Переводит хорошо
- Бесплатный
- Можно без проблем обходить лимиты
- Элементарное API с понятной документацией

API реально простое, но если нужны примеры, напишите в комменты, накидаю парочку на python

# Эксперимент с динамическим заголовком в выдаче

Месяц назад запустил эксперимент на одном из проектов.

Решил оформить title в виде "[10.10.22] прогноз погоды в москве".

Сам запрос тут чисто для примера, ниша другая.

Дата в запросе берется сегодняшняя и, соответственно, меняется каждый день. Обернута в квадратные скобки для большего акцента.

Стоит отметить, что запрос событийный/ситуативный, то есть фактор даты пользователю может быть интересен.

------

Что получил.

Получил небольшой рост кликов в яндексе и нулевой эффект в гугле.

Гугл полностью игнорирует тайтл. Взял h1.

В Яндексе позиции заметно не выросли, скорее поднялась кликабельность.

В целом результат скорее положительный, чем отрицательный, но делать так с остальными страницами я не буду. И на этой правки откачу как было.

В качестве резюме:
- Динамические тайтлы в выдаче далеко не всегда отображают актуальное состояние (проблемы медленной переиндексации?) и это скорее отталкивает. В случае с датой, юзер знает, что на дворе 10е число, а в заголовке выдачи 3е сентября.
- Заполненный <title> - не гарантия того что будет показано в выдаче
- кликабельность рулит и над ней нужно работать. Хотя зачастую этот момент упускают. Предприняв попытки повысить ctr в выдаче, можно не только подняться в позициях за счет ПФ, но и собирать больше трафика на текущих позициях. Без денежных вложений.

А как вы поднимаете CTR?

Зацепился за то что Яндекс не обходит весь отправленный объем урлов в запросе на индексацию.
В IndexNow API есть ограничение на 10 тысяч урлов за один запрос.

Чтоб будет если эти 10 тысяч отправить?

Чуть меньше чем 250 переходов на сайт (отметил столбец на скришоте, где была отправка). Для чистоты - в эксперименте участвовал уже другой сайт, не из предыдущего поста.

Что будет если отправить еще 2 запроса по 10к? Вообще ничего.

Либо Яндекс прям ленивый, либо стоят ограничения на API ключ, но дополнительно об этом в доке не написано. Проверим?