Сайт на GPT статьях спустя неделю

Прошло немного времени, трафик пока выглядит вот так.

Сгенерировано и опубликовано 7300 статей.
Потрачено 23$. Не знаю дорого это или нет.

Пока остановил генерацию. Съезжу в отпуск на 2 недельки без ноута, посмотрим что будет дальше. Выглядит так, что нужно масштабировать.

—
P.S. В отложенных лежит еще минимум 3 поста, будут равномерно публиковаться, пока меня нет. Вам понравится)

Ловец ботов

Пару месяцев назад был на консультации у Ивана (Hey, Moneymaker), который поделился идеей Ловца ботов.

Идея не новая, корни начинаются здесь:
https://alexeytrudov.com/web-marketing/seo/set-dlya-botov.html.

Кому лень читать, идея заключается в том, чтобы улучшить индексацию сайта путем подсовывания боту страниц, которые он редко (или никогда) посещает.

В простейшей реализации - работаем с блоком перелинковки. Список страниц/ссылок в этом блоке формируются на основе статистики посещения ботом.

Иными словами, в блок попадают страницы, которые либо еще не были посещены ботом, либо бот посещал их слишком давно, например, неделю назад.

Как реализовать?

Задача достаточно простая и вариантов реализации много.

Для себя я это решил так, что в БД в таблицу с записями/статьями заводим два новых поля: google_bot_detected_last_time и yandex_bot_detected_last_time.

При каждом посещении смотрим на UserAgent запроса.

Если это бот Яндекса или Гугла - обновляем дату посещения в соответствующем поле. В целом все)

Далее уже можно придумать асинхронную запись, кэши и т.д., чтобы не тормозить загрузку страницы.

Итого, у нас есть последняя дата посещения ботом каждой страницы.

Такая информация сама по себе уже интересна для анализа, но мы можем использовать эти данные, чтобы формировать список для блока перелинковки.

Страницы, на которые бот еще не заходил или заходил больше чем X дней назад, попадают в блок.

—

Надеюсь, удалось понятным языком объяснить суть принципа. Если что, задавайте вопросы в комментарии.

В качестве итогов - что это дало после внедрения?

Сайт на 55к страниц. На позиции это никак не повлияло (очевидно), т.к. и без этого проблем с индексацией не было (все страницы были в индексе).

Что изменилось - скорость переобхода. На сайте нет страницы, которую бы не посещал бот Яндекса за последние 10 дней. Новые страницы залетают в индекс менее чем за час.

С Гуглом результаты оценить сложно, пока выглядит так, что практически ничего не изменилось. Но донор не очень любим в Гугле, поэтому нужны еще эксперименты с другими сайтами.

Теоретически можно было бы оформить это в виде WP плагина, но я не сильно с ним дружу.

Существует более "грубая" реализация индексации, где ботов редиректят на страницы, которые нужно проиндексировать. Такие штуки активно используют некоторые дорвейщики. Рассказать подробнее или итак все об этом знают?

Как еще можно улучшить индексацию страниц в Яндексе?

Закидывать их в IndexNow по API. Работает отлично.


—
🔥 Наконец дошли руки завести github, где буду делиться с вами подобными инструментами.

Через пару дней выйдет пост с анонсом и ссылкой на код, которым я загоняю страницы.

Делюсь скриптами бесплатно и без регистрации

В общем, я завел гитхаб, где буду стараться делиться разными инструментами, которые я писал, использовал или использую. Как никак это же SEO Код ))

Пока что это один репозиторий, где лежит тулза, которая отправляет ваши урлы на индексацию в yandex по indexnow api.

🛠 indexing_tools

Там же, описана инструкция по использованию, но если вдруг возникнут вопросы, пишите в комменты тут.

Как вернусь из отпуска, добавлю туда же код с Google Indexing API, с ротацией аккаунтов, чтобы обходить лимит в 200 запросов в сутки.

—
В планах конечно много всего есть, чем поделиться с общественностью (например, урезаным скриптом, который генерирует статьи в chatgpt). Но не всегда есть время или желание этим заниматься.

Денег ни с кого не беру (и рекламы на канале никакой нет и не планируется пока), поэтому повыпрашиваю у вас активности…

В качестве хоть какого-то мотиватора - порекомендуйте, пожалуйста, этот канал своим знакомым. Репосты в чаты и свои каналы приветствуются)

Скрипт по индексации страниц в Google Indexing API с ротацией аккаунтов

Как и обещал, выкладываю скрипт по отправке страниц на индексацию в гугл с помощью Indexing API.

Скрипт уже лежит на гитхабе

1) Нужно заранее создать и подготовить аккаунты (https://console.cloud.google.com/) и креды к ним (json файл). Креды складываем в папку credits.

2) Также, все эти аккаунты должны быть добавлены к каждому домену в search console с правами Владелец. (Да, рутина)

Если что, туториалы по этим двум пунктам можно найти на youtube.

3) Урлы, которые хотим проиндексировать, пишем в urls.txt.

Кстати, урлы можно взять из сайтмапа, для этого в репозитории есть скрипт parse_sitemap.py. Для него указываете хост где лежит карта сайта, на выходе получаете файл с урлами из карты.

Ротация работает так: как только по конкретному аккаунт достигнут дневной лимит - аккаунт меняется и скрипт продолжает работу. Работает до тех пор, пока не закончатся лимиты во всех аккаунтах.

Скромная документация лежит тут

—

Бонус: пинговалка сайтмапов в гугле. Скрипт - google_ping_sitemaps. Даем на вход неограниченный список sitemap.xml файлов - пингуются по очереди.

Проверял логи - подход все еще работает. После пинга - боты заходят. Работает даже лучше, чем повторно отправлять сайтмап через интерфейс search console.

UPD: гугл скоро отключит этот функционал, но пока работает

—
И как всегда, буду благодарен за шер/репост в ваши любимые чаты и паблики. Рост аудитории дает мне мотивацию делиться наработками дальше.

В комментарии пишите вопросы и предложения, какие скрипты вам хотелось бы еще реализовать.

Давно не писал, новости такие.

Стрельнуло направление с сайтами на гпт контенте. Напарсил нужных ключей, написал скрипты по генерации, подобрал промты. Один сайт на скрине, второй примерно такой же.

Перенес один из самопис сайтов на Wordpress. Было порядка 9к постов, пришлось генерить xml файл чтобы импортировать эти посты в wp.

Этим же скриптом делаю xml для гпт статей с последующим импортом на сайт.

Конечно, благодаря этим двум сайтам в метрику заходить стало поприятнее, но на доходах не сказать что кратно отразилось... 8-12 копеек на уника в РСЯ как-то печально.

На самом доходном/трафиковом сайте в РСЯ доход с июня тоже грохнулся вниз, раза в полтора. Короче, лето. Как у вас?

Думаю как масштабировать эту тему с гпт статейниками дальше. Пока затык - домены, т.к. эти два уже были в моем распоряжении (и тематичные). Возможно попробую сделать один на новореге, ради эксперимента.

P.S. судя по метрике траф падает, тема сдохла, не пробуйте 🙂

Ниша под бурж и не только

letslearnslang.com

В начале года видел лот на motioninvest. Доход в месяц был в районе 1.5к$. На тот момент было 2к страниц.

В общем, сайт, похоже, купили и занялись его развитием. Навалили 200к+ новых страниц.

Все это привело к тому, что трафик за этот год вырос на 200+ процентов, и сейчас это 1.1 миллиона визитов за июль.

Что с этим делать?

- Перевести этот же контент на другие языки (для начала испанский).
- Спарсить все тайтлы и попросить ChatGPT написать статьи (тут нужно тестировать).
- Копипаста - полная или микс

Эта же ниша есть под РФ, примеры сайтов показывать не буду, найдете сами, если интересно. У лидеров 10к+ трафика дейли, в общем достаточно.

2 года назад я делал сайт в этой нише под рф, но сделал много ошибок и сайт не полетел (там 1в1 копипаст был и много чего еще не правильно сделано). Если бы мне сейчас нечем было заняться, то я бы прям присмотрелся..

===
P.S.
Если кому интересна тема про ДДЛ (дорвеи для людей), то рекомендую чатик doorway_fb

P.S.2
Вообще посты о нишах это тот еще challenge. Мало ее найти.. нужно найти такую, которой можно поделиться 🙂 При этом она должна быть не совсем уж позорной. Но для вас я постараюсь не жадничать) Уже отобрал еще 3, о которых скоро напишу

Ниша - Публичная кадастровая карта

Не мой формат ниши, но тем не менее.

Примеры:
egrn-reestro.ru (70к посещений в месяц).
pkkonline.ru (120к посещений в месяц).
kadastrmapp.online (тут по кейсо показывает копейки, но домен очень молодой).

+ Страниц не много.
+ Контента на страницах толком нет.
+ Кейсо показывает сильно меньше трафика, чем сайты получают на самом деле.
+ Монетизация — РСЯ + партнерка (видел суммы 25% от заказа). Партнерку (кажется, даже не одну) можно найти прямо в выдаче.

Короче, можно пробовать, кажется затрат на реализацию не много.

Как улучшить качество гпт статей

Есть темы где гпт прям плох, где-то не хватает свежих данных, где-то начинает выдумывать или врать.

В общем, есть относительно простой способ полечить эту проблему и улучшить результат.

Единственное, это работает не для всех тематик (например, в темах где нет быстрого ответа и нужны портянки текста), но кому надо тот поймет суть.

Суть в том, чтобы к промту приложить пример данных для «обучения». Обучением/дообучением это назвать сложно, но это хотя бы что-то.

Взять данные можно прямо из выдачи. Парсим выдачу (я использую xmlriver), берем из результатов сниппеты сайтов и быстрые ответы и засовываем в промт, как пример данных на которые можно опираться.

Типа такого:

```
…..
I will give you examples in json like format of information below, you can use it to learn/finetune the model. but write it in YOUR OWN words.
{json_data_here}
```

—
а вообще если вам когда-то нечем будет заняться, то попробуйте заставить гпт писать статьи про ударения. И довести результат до правдивого хотя бы в 80 процентах случаев)

Как я не купил Porsche

МПК пришел в гости к гпт сайтам, и не только. На скрине график, который повторяет графики других сайтов поменьше, но тренд ясен.

Немного обидно, что задело даже белые проекты.

Хочется что-то с этим делать, но кажется, что лучше сейчас наоборот отдохнуть и посмотреть со стороны. Глядишь, будет V образное восстановление, как любят говорить экономисты. А там и классическое предновогоднее ралли))

Вы там как?

Просто наблюдения по МПК апдейту

Яндекс фильтранул один из белых сайтов по МПК. Ну ладно, задело. Малополезный контент… ввожу один из топ запросов из метрики в поиск - что вижу?

Вижу быстрый ответ от YandexGPT, ответ на основе информации с моего же бляха сайта)) контент настолько малополезный что им можно обучить свою модельку.

Сомнительно, но окэй.

После быстрого ответа идут пара гпт дорвеев статейников 🤷️️️️️️

Дайте совет

Дано: сайту 8 лет, всю жизнь был так или иначе копипаст, но всегда с трафиком (до 10к в сутки), по разному, то гугл, то яндекс давал траф. Сейчас Икс 220 и трафик 1к с яндекса.

Год назад забыл продлить сервер где лежала статика и год сайт был вообще без картинок (битые ссылки) и даже в этом всем стабильно до 2к был траф.

4 месяца назад перевел сайт на wp, сделал прям по красоте и налил гпт статей.

Сразу же получил мпк на весь сайт (но кстати за месяц до массовой раздачи)

Сейчас трафик 1к, и сколько бы новых статей и добавлялось - он не растет.

Вопрос: какие методы решения этой проблемы вам известны?

Цель: снять фильтр в Яндексе

1) Удалить все страницы и повесить на главной лендинг? Аля это теперь новый сайт другого человека. Через время снова развернуть сайт.

2) Редирект на сайт kremlin.ru на время (по чатам гуляет версия что это может помочь, сам не тестил) и через время поднять полностью новый сайт.

3) постраничный редирект на новый домен (вероятно все болячки и мпк просто перейдут на новый домен)

В первых двух вариантах придется плютнуть на текущий трафик, в угоду того, чтобы потенциально вылечить сайт и получить больше.

4) Можно не рисковать и оставить все как есть, тоже вариант. Сайт как лежал без внимания, так и продолжит

Вопрос к знатокам - что бы сделали вы? Может быть все варианты неправильные и нужно делать все по другому

Пятничная рекомендация 🦌

Я думал, что запариваюсь над созданием сложных промтов для chatgpt, а потом увидел вот это

Загляните в репозиторий https://github.com/JushBJJ/Mr.-Ranedeer-AI-Tutor

Штука интересная, можно как подчерпнуть некоторые моменты для генерации статейников, так и просто пользоваться по назначению (обучение)

- Ищешь и находишь тематичный дроп
- Покупаешь с аукциона
- Делаешь кастомный дизайн, все по красоте. добавляешь 100 статей
- Ждешь..
- Результат через 2 недели - 0 трафика
… (тут часть отваливается) …
- Наваливаешь еще 5к страниц
- Запускаешь пару раз indexing api (репа со скриптом)
- На следующее утро в Метрике приятно (день только начался)

Трафик копеечный, я не цифрами хотел поделиться.

Мысль в том, что, когда я, и возможно вы, делаете очередной статейник, то мы останавливаемся на каком-то определенном объеме статей и ждем, когда же пойдет трафик. Понятный процесс, чтобы решить, куда дальше вливать время и деньги, а куда — нет.
Так вот, зачастую этого «небольшого» объема оказывается мало.

Интересный канал вебмастера @alexadiru

😁Немного об Алексее:
- экспериментирует с ChatGPT;
- тестировал мультиязычный сайт
- покупает дропы, восстанавливает и продает их на телдери;
- пробует автонаполняемые сайты;
- изучает программирование на C#;
- делится финстрипами;
- пишет о жизни.

📌 Роадмап по каналу.

‼️И будьте аккуратней, всё же он КМС по армрестлингу и лежанию на диване.

Прилипла идея сделать сервис по генерации gpt статей (аналог X GPT Writer).

Облачный сервис, никакого софта скачивать не нужно. В веб интерфейсе загрузил ключи, выключил комп и пошел курить.

Пришел - статьи написаны и готовы к импорту в нужном формате. А в идеале прямиком на ваш сайт по rest api.

Дайте, пожалуйста, фидбек в опросе или в комментах, надо оно вам или нет. Опустив пока вопрос цены

Судя по опросу интерес к сервису имеется. Но мне очень важно понять ваш запрос, чтобы точно сформулировать проблему.

Хочу пообщаться с Вами, выяснить ваши боли и желания.

Если вы пользуетесь X-GPTWriter (или любым другим похожим решением) или только планируете, то, пожалуйста, напишите мне в личку - @kdvoryashin.


Я задам вам 10-15 простых вопросов. Займет буквально 15 минут вашего времени.

Спасибо!

В личку пришло как-то совсем мало людей, в голосованиях вы явно бодрее участвуете, но это совсем не то.

Давайте, last call, еще пару дней собираю от вас информацию и буду решать, влезать ли в это дело вообще (пока совсем не факт) и в каком виде.

Всем, кто зайдет пообщаться, организую приятный бонус в случае, если сервис в каком-то виде выйдет в паблик.

Если стесняетесь или не знаете, что написать, вот вам подсказка (писать сюда @kdvoryashin):


Привет! Я из канала SEO Код, готов поотвечать на твои вопросы

WTF Яндекс?!

Я как-то давно уже писал что у меня есть древний домен с 1к трафика (80/20 гугл/яндекс), где был копипаст, а потом гпт генеренка. На нем уже месяца 2.5 висит мпк.

Так вот, 3 недели назад я решил его освежить:
- перенес на другой сервак
- новый владелец я.вебмастер
- письмо в подержку, аля я купил домен, а он с фильтром, простите-извините
- запретил все страницы в robots.txt
- удалил все страницы через Я.Вебмастер
- повесил лендос, все страницы кроме главной отдают 404

Короче, эмитирую смену владельца и вектора развития сайта. Как вы думаете что с сайтом спустя время?

А вообще ничего. Даже трафик не просел (он вырос на 40%, wtf)

Более того, Я.Вебмастер показывает то 1 страницу, то через время снова 17к. Дважды уже удалял страницы, один фиг они залетают. Трафик продолжает идти из быстрых ответов (возможно поэтому страницы обратно залетают в поиск). Напомню, юзеров встречает 404 страница.

Эксперты, что с этим делать? Ждать? Редиректить на новый домен?