Зацепился за то что Яндекс не обходит весь отправленный объем урлов в запросе на индексацию.
В IndexNow API есть ограничение на 10 тысяч урлов за один запрос.

Чтоб будет если эти 10 тысяч отправить?

Чуть меньше чем 250 переходов на сайт (отметил столбец на скришоте, где была отправка). Для чистоты - в эксперименте участвовал уже другой сайт, не из предыдущего поста.

Что будет если отправить еще 2 запроса по 10к? Вообще ничего.

Либо Яндекс прям ленивый, либо стоят ограничения на API ключ, но дополнительно об этом в доке не написано. Проверим?

1) Обновил ключ
2) Закинул еще 10к урлов (в каждом запросе урлы разные)
3) 80 переходов

Как и обещал, публикую пример кода использования переводчика MyMemory.

Также в комментариях просили показать, как я обхожу суточные лимиты на перевод. Пример кода как раз об этом.

Сам код максимально некрасивый, но рефакторить его мне лень, поэтому публикую как есть.

Посмотреть можно тут

Вопросы задать здесь.

# Черная пятница с Google Spam Update

В пятницу почти все сайты упали в трафике. Где-то -70%, где-то -95%, где-то пока всего -20%.

Проценты процентами, но когда было 8к/сутки, а стало 2, это уже неприятно.

Что примечательно:
- затронуло сразу все ГЕО: РФ, США, Испания, Мексика, Германия. Апдейт и правда глобальный, Гугл не соврал.
- Какие сайты зафильтровались? Было бы не так обидно, если бы это были сайты по одной "технологии" или одной ниши. Но ниши разные, а подходы максимально не похожие.

- Абсолютно все сайты были с хорошими ПФ, контент хоть и не везде уникальный, но на вопросы пользователя отвечает на 100%.
- Уникальный, но сгенерированный по шаблону контент - туда же.
- Переводной - поразительно, но тоже.
-Индекс остался на месте, ничего не выпало.

Какие планы?

Подождать.

Через пару-тройку недель будет видно, кто выжил, а кто безвозвратно погиб.

Есть небольшая надежда, что редирект на свежий домен может восстановить былую слава. Но это было бы слишком просто.

---

Рассматриваю эту ситуацию как повод копать дальше и делать другие проекты.

Диверсификация сайтов по источникам трафика - это тема. Сайты под Яндекс остались и продолжают приносить доход.

Учитывая что с выплатами Адсенс сейчас проблемы, мой следующий проект будет под Яндекс и РСЯ.

По поводу следующего проекта.

Есть идея сделать процесс его создания полностью публичным.
Это будет большой, технологичный сайт под ру. Полный самопис, с парсингом, графиками и телеграм ботами.

Естественно не обойдемся без генеренного и копипастного контента. Все как я люблю.

До конца пока не решил насколько открыто все показывать и нужно ли это вообще.

Накидайте реакций каких-нибудь, в качестве активности, если это вообще кому-то интересно

Решил, что новый проект будет полностью прозрачным. Ниша, разработка, мысли и шаги продвижения. Все открыто и бесплатно.

С одной стороны открытость немного напрягает, т.к. выращиваешь себе потенциальных конкурентов.

С другой стороны, я знаю, что:
- никто не будет брать и делать
- маржинальность будет минимальной или окупаемость будет слишком долгой, если вы будете заказывать разработку. Я экономлю, т.к. делаю все сам.
- возьмите и сделайте 🙂

При всех минусах и рисках, есть большие плюсы, ради которых я это и делаю.

Ничего не обещаю, возможно, мне надоест и в какой-то момент я стопну или перестану публиковать прям все детали.

Может это смотивирует других ребят делиться больше. А может это смотивирует именно тебя сделать что-то новое.

Долго не думая, сразу стартуем. 

Запускаю реалити по созданию нового публичного проекта. Имя ему #пьяный_снегирь

Что делаем и какой план? 

Я давно присматриваюсь к нише отзывов на спам звонки и номера телефонов. Те самые звонки из полиции и банков, которые терроризирует лично меня.

Это как раз тот тип сайтов, которые я люблю и умею делать: где нет как такового понятия уникальности. А количество трафика напрямую зависит от количества проиндексированных страниц. 

Порог входа здесь выше, чем в классических статейниках. Но сколько я не пробовал делать статейники - я их делать не умею, они у меня не получаются и мне в целом это не нравится. 

Первым шагом собираю список конкурентов для последующего анализа. 

Собираю все в эксель табличке.

Что мне нужно понять на текущем этапе? 

- кто конкуренты (основа для анализа)
- сколько их (много/мало/средне, числа особо не важны)
- какой у них трафик (чтобы понимать к чему стремиться и где потолок)
- какое ссылочное 
- и в случае с парсингом, уже сразу ищем площадки, где будем брать контент 

Зачем это нужно? Ну, очевидно, чтобы понять сложность и целесообразность будущего мероприятия. 

Если конкуренты слишком жесткие или трафика мало, или мне просто не нравится ниша и я не вижу дальнейшего будущего, то дальше я не иду. 

Здесь нужен некоторый опыт и чуечка, чтобы понять, надо в это влезать или нет.

Таблица с конкурентами выглядит вот так. Их там порядка 25, по факту сильно больше, но смотреть всех смысла никакого нет.

Что дальше? 

1) Подобрать и купить домен. Уже просмотрел бегло дропы, ничего подходящего не нашел. Придется делать на новореге без истории. Так даже будет интереснее и показательнее для подписчиков. Сайты которые я делаю - либо сразу ползут наверх, либо уже не растут никогда. За редкими исключениями.
2) Продумать верхнеуровнево структуру будущего сайта:
- какие разделы будут на сайте
- из каких блоков будут состоять контентные страницы (те которые будут собирать трафик, очевидно в этой тематике не будет трафа на разделы и т.д. Разделы тут чисто для перелинковки и помощи в индексации. Весь траф будет идти непосредственно на страницы номера телефона). Зачем это делать сейчас? Чтобы сразу понимать что именно парсить на сайтах, а не потом ходить и до собирать инфу. 
3) Продумать техническую часть: 
- откуда парсим, как, где храним сырые данные. Я планирую взять несколько сайтов, спарсить их, т.е. получить "сырые" данные и уже потом генерировать и "собирать" то что мне нужно и в том формате какой мне нужен. Раньше делал это налету, но не супер удобно, особенно на больших обьемах. 
- какой стек всего этого дела. Уже сейчас могу сказать что это: MongoDB для сырых данных, парсим с Scrapy, сам сайт на Fastapi+Postgresql
- это не первая моя разработка подобного сайта, поэтому у меня уже выстроен некоторый фреймворк, наработки и т.д. Это дает мне огромный буст в скорости разработки и сильно приближает дату первого релиза. 
- На этом же этапе я обычно четко стараюсь понять где границы MVP, т.е. какой функционал нужно сделать чтобы выпустить первую версию сайта, а что я буду доделывать потом. Спойлер: супер часто я не дорабатываю сайт после релиза, даже когда он начинает расти. Иногда некогда, иногда лень. 

По сути шаги выше - одни из самых тяжелых.

Преодолев их, дальше все пойдет как по маслу. А дальше идут часы/дни/недели разработки, куча кофе и спазмалгона. Но до этого мы еще дойдем. 

В конце повыпрашиваю у вас репостов. 

Если вы ведете блог или канал, буду благодарен, если пошарите информацию на свою аудиторию, если думаете что это им будет интересно.

Я делюсь всем абсолютно бесплатно, в надежде, что люди захотят научиться чему-то новому или начнут делать то, что они давно откладывали. Так пусть больше людей увидят это.  

#пьяный_снегирь

Давно оттягивал момент переноса домена из Namecheap к другому регистратору. Сегодня собрался и решил наконец сделать это.

Но почему-то дернуло меня проверить не принимает ли Namecheap оплату криптовалютой и к моему удивлению - принимает.

В итоге, 5 минут, баланс пополнен за Эфиры и домен продлен. Комиссия за транзакцию вышла в районе доллара.

Пожалуй, это моя первая полезная покупка за крипту.

Как я провожу анализ конкурентов 

Расскажу подробнее, как я провожу анализ конкурентов. Анализ поверхностный, с целью понять - залезать в нишу или нет и насколько тяжело там будет.  

В процессе использую только бесплатные инструменты и в целом этого хватает для поверхностного анализа. Конечно, если у вас куплена подписка в Ahrefs или ему подобный - жизнь становится легче. 

Еще момент, что я работаю только с информационными сайтами в белых нишах. Никакой гемблы, беттинга и т.д. 

Не все подходы работают одинаково во всех ниши + везде разная сложность. Учитывайте это, когда смотрите кейсы по seo. 

Ближе к делу. На примере все той же таблички, что была выше. 

1) Для начала собираю список топ сайтов по трафику. Плюс минус штук 10-15, сильно больше нет смысла. 

2) Трафик смотрю через бота https://t.me/MetricaRobot или similarweb. 

Там же можно найти сайты конкуренты. 

Сайты с трафиком из Я, можно загнать в МегаИнструмент от Мутагена, глянуть конкурентов и трафик там. Раньше использовал Keyso. 

3) Далее смотрю ссылки через https://ahrefs.com/ru/backlink-checker. Бесплатно, но детализация не вау. Если захотите прям копаться и высматривать все ссылки, то конечно же этого не хватит. Но повторю, что я делаю поверхностный анализ, мне на этом этапе не так важна точность. 

В ссылках обращаю внимание на их природу: прогоны с кворка видны издалека. Есть ли помимо них что-то еще? Статейное продвижение, форумы, ссылки с главных и т.д. 

Тут главное прикинуть сможете ли вы со своими знаниями и бюджетом тягаться с ссылочным конкурентов или нет. Для каждого этот уровень индивидуален. 

Еще захожу в https://ru.majestic.com/reports/site-explorer?q=yourdomain.com

Смотрю там на TF/CF, график с историей ссылок, есть ли редиректные и топ анкоры. Все тоже бесплатно. Там есть лимит на 2 или 3 бесплатных просмотра в день на один IP, ранее уже писал как это можно обходить. 

Больше всего интересен TF. 

4) Проверка возраста домена и его ИКС - делается в массовом режиме. Погуглите, полно сервисов.

На ИКС большое внимание не акцентирую, скорее для полноты картины. 

Возраст, думаю, понятно зачем. Но еще более важно и интересно смотреть не текущий возраст, а время с момента регистрации домена, до того как начал идти заметный трафик. Это, пожалуй, самая важная метрика определения сложности ниши. 

Посчитать это можно найдя дату регистрации и сравнив ее с графиком из того же MetricaRobot. В масштабах таблицы я так не делаю, потому что долго и муторно. И в этот раз ниша мне более-менее знакома. 

А вот когда я именно выиискиваю новые ниши (этот процесс разделен во времени: ищу (часто ниши сами тебя находят, главное вовремя себя на этом поймать), оцениваю, сохраняю, а когда есть ресурс на создание нового проекта - залезаю в свой список уже отобранных ниш), то обращаю на это большое внимание. 

5) Индексация в Я и G. Сервисы или вручную с помощью site: (яндекс зачастую врет, когда страниц много, поэтому смотрю через pr-cy). 

Т.к.я делаю мильён страниц мне важно понять как Яндекс и Гугл будут относится к ним. Для этого смотрю есть ли у конкурентов перекосы по индексации и в какую сторону. Так мы понимаем, где сайту больше рады.

У меня почти все сайты на неуник (в каком-то смысле) контенте и в каких-то нишах Гугл не принимает подобное, в каких-то Яндекс. 

6) Все метрики собрали. Начинаем на них смотреть. Для удобства сортирую все по трафику. Ну и начинаем строить выводы. Как выглядят эти сайты? Сколько ссылок, какие они, куда перекосы. Конечно не забываем заходить и смотреть как они выглядят, допотопный ли там дизайн, есть ли https в конце концов (в этой нише, например, в таблице, есть один такой сайт). 

В процессе оставляю комментарии в отельной колонке. 

Как такового алгоритма принятия решения нет. Основываясь на полученной информации вы сами для себя решаете интересно ли вам в такое прыгать и потянете ли вы.

Но несколько правил выделить можно:
- много качественного ссылочного, ссылки с главных и статейные с трафиковых ресурсов. явно не изи ниша
- если наоборот - все ссылочное это прогоны, то ставим плюсик
- много сайтов со старым дизайном или без ssl - это интересно
- много молодых доменов с трафиком - очень хороший показатель

1) Купил домен. Показывать пока смысла нет, он просто припаркован.
2) Создал проект, накинул будущую структуру, закинул в Gitlab, настроил базовый CI, пока без CD. На самом деле просто перенес все из других готовых проектов. Все готово для разработки.
3) Прикинул дизайн.
4) Продумал структуру сайта:
- главная
- служебные страницы
- страница с номером телефона и комментариями по нему
- примерный набор блоков на этой странице
- у конкурентов есть еще отдельная страница под каждого пользователя, какие комментарии он оставил (пример), но как по мне пользы она никакой не несет. У себя такое делать не буду.
- Отдельно страницы по кодам и регионам. На самом деле это отдельная часть сайта, ее придется продумывать и разрабатывать отдельно. И тут некоторые трудности.

#пьяный_снегирь

По хорошему нужно писать свой определитель номера и региона.
Для этого нужно собрать базу всех кодов операторов, всех регионов в РФ и подружить все это вместе. Задача в целом реализуемая, но потребует более детального погружения. А еще есть нюанс с тем что номера можно переносить... с этим пока не знаю как быть.

Конечно, можно спарсить и эту инфу на сайтах донорах, но хотелось бы уметь определять это самому. Больше гибкости что ли. В будущем можно навернуть сверху API, создать мобильное приложение, tg бота и т.д. Без этой гибкости подобное будет сделать сложнее.

Пока что эта проблема не блокирует меня в написании парсеров, чем я собственно и занимаюсь.

#пьяный_снегирь

Серваки крутятся, сайты парсятся

Показать особо нечего, процесс не сильно визуальный.

Уже спаршено 250к страниц с одного донора.

Сегодня/завтра запущу парсинг второго. Для начала будет достаточно.

#пьяный_снегирь