Централизованный трекер поисковых ботов

На новогодних сделал поделку.

Несколько компонентов:

1 - коллектор, бекенд принимает все логи nginx логи со всех серверов
2 - агент, ставится на каждый сервер и отправляет данные в коллектор
3 - дашборд, который выводит все что нужно

все в риалтайме, асинхронно и молодежно, систему не грузит.

ставишь на каждый сервер по агенту, настраиваешь нужный формат nginx лога, и в риалтайме наблюдаешь сколько и на каком сайте ботов

На реддите читаю пару веток про microsaas. Что сейчас делать модно, много чего, но есть забавное направление.

Каталоги/листинги ai сервисов (гуглить AI Tools Directory Website). Их уже мильен, можно сделать за 1 день, куча готовых шаблонов, остается просто заполнить. почему их продолжают делать? потому-что даже на нулевом таком листинге могут выкупить 1-2-3 платных мест с прямой ссылкой. И сразу появляются посты «Reached 200$ MRR (а кто по наглее - $2400 ARR) in 1 week with my product»

А теперь следите за магией рук - есть другое популярное направление - продукты которые предлагают услуги типа «засабмитим ваш продукт в 100+ AI листингов». easy dr, boost your seo. И берут… пример

это в каком-то смысле пирамида или замкнутый круг. Растет количество первых продуктов - за ними идут вторые.

Кстати, есть уже листинги листингов ai сервисов

#идеисреддита

Я случайно создал автономного AI SEO персонажа

Стараюсь не отставать от поезда с ai, агентами, всем этим модным направлением.

Делаю поделку - систему из агентов/скриптов. Один читает каналы в тг, другой чаты, третий анализирует и пишет, там много еще можно всякого прикрутить.

натравливаю разных персонажей и модели друг на друга, заставляю их размышлять.

Часто размышления заходят в шизофрению и галюцинации (не без моей помощи). В результате такого общения появился NeoRank.exe

Я толком ничего не придумывал, только подгружал данные и местами направлял мысль в интересное русло.

Система в идеале станет полностью автономной.
Сейчас он периодически включается, парсит последние посты по seo (из разных источников) и пишет.

Если будет время, то можно будет доработать и добавить бота в чат, чтобы с ним можно было общаться.

Если интересно узнать куда это его приведет, можете подписаться, читать за потоком его бредо-сознания.

Делаю ресерч продуктов в нише генерации контента для сайтов в 2025 году

Какими еще продуктами пользуетесь вы или ваши знакомые? Кто лидер на рынке на данный момент?

Пока такие кандидаты собрались. Давайте попробуем понять их распределение.

Внимание тут, вопрос не про модели или непосредственно сайты родители где можно руками в чате делать работу (gemini, deepseek, openai), это не совсем то.
Я именно про сервис который предоставляет услугу по написанию статей используя эти модели.

🌬💨 (это я сдуваю пыль с блога)

было 5 работ и 10 проектов, но мы это пережили и пора что-то черкануть сюда.

на самом деле сейчас в жизни очень мало сео и сайтов и сильно больше кода (ну и ai этого модного), поэтому следующие посты будут больше про код чем про seo (тематика канала seo код сохраняется)

но кажется сеошка/вебмастерство переживают трансформации и поэтому тема ai, агентов, автоматизаций процессов и всего вокруг этого - это уже часть сферы, так что я думаю будет интересно

как у вас дела? как с сайтами, где деньги? какие сплетни в блогосфере?

Мир ппц активно меняется и манимейкинг в вебе вместе с ним.

Поезд ai сейчас летит на такой скорости, что если следить за всем происходящим то через время можно заработать какой-нибудь синдром расстройства внимания.

Но я не об этом, а пара мыслей о происходящем в сайтах.

Инфо сайты в рунете по сути умерли и когда я увидел что Степан (сеоника) распродает свои от души вылезанные сайты то стало даже грустно.

Но объективно - даже самый красивый сайт с простыней хорошо оформленного текста, будь он даже написан самим якубовичем (за десятки лет я думаю он стал экспертом в засолке огурцов. хотяя обычно ему уже приносят засоленные) - я не буду читать ее, это долго и ппц как неинтересно.

Я как пользователь хочу спросить конкретный вопрос и получить конкретный ответ, чем читать 10к символов со всеми деталями и прелюдиями.

И это касается 99% инфо сайтов и запросов, какими бы крутыми не были сайты.

Да, яндекс конечно ранжирует какое-то гавно и не ранжирует норм сайты, можно винить его что статейники сдохли.

Или винить рся что платят копейки (привет отсутствие конкуренции).

Но проблема то в том что привычки меняются. и этот конь помер, с какой стороны не посмотришь.


поэтому как ни печально все побежали в гемблинг и подобные ниши.

Где деньги - туда и перетекают вебы, логичное поведение.

Вопрос в том куда все мы пойдем дальше? на завод

Смена привычек в поиске

Портянки текста уже нафиг не кому не упали, люди всегда хотели и хотят получать быстрый ответ из выдачи.

во времена популярности статейников я никогда не понимал зачем выписывать по 10к+ симовлов пусть даже и экспертного контента, если большая часть пользователей всегда ищет быстрый ответ.

А всему виной поисковики, которые отдавали предпочтение такому контенту.

ПУсть даже ты красиво его оформил с картинками и галереями - это все скролилось и читалось между строк.

Я думаю уже не секрет что происходит сдвиг парадигмы и в ближайшие пару лет будет просто смена привычек людей в поиске.

Люди будут ходить за вопросами в сервисы с llm под капотом, а где не будут - там будет ai выдача где ответ сразу перед глазами (это уже произошло)

Смена привычек уже происходит и весьма быстро. Не успеешь моргнуть и уже наши родители/бабушки/дедушки спрашивают у чата можно ли есть эти грибы (по фото)

Как в этом всем продолжать делать сайты статейники из 2020х? Либо никак, либо у вас есть какой-то свой план…

При этом рынок не умер, люди все также будут искать инфу в интернете, он просто жестко трансформируется.

Например сейчас мало кто говорит об этом, но это кажется вполне себе одним из возможных вариантов - seo под llm. как контролировать результаты того что будет выдавать gemini / perplexity и тд, при запросах типа лучший Y возле меня, лучший сервис для Х и т.д.

понятно, что запросы как солить огурцы это уже мертвая лошадь, но есть много других интентов за которые захотят побороться

Мой гилти плежер это настройка нового сервера. не знаю даже что в этом гилти, но я кайфую.

Кол-во серверов постепенно дошло до 10, а сайтов и сервисов у меня на данный момент не так много (не все дожили). Короче пора делать уборку.

А вот убираться я не люблю.

Но время пришло и откладывать больше некуда. Счет на следующие 3 месяца выставлен и платить я его не собираюсь (это я про adminvps, но не суть)

Во-первых задача перенести все добро из adminvps.
* рф сайты все слить на 1 сервер (vdsina)
* остальное идет на hetzner

Печально, но похоже все идет к тому что если хочешь иметь рф траф, то хостись будь добр тоже под колпаком (ждем аналог яндексоблакоflare?)

В этот раз хочется все сделать чуть более умным образом.

0) вся инфра докеризирована, деплой через ci/cd (github actions)
1) 1 сайт = 1 докер контейнер = 1 гитхаб репозиторий
2) вместо nginx - caddy (проще содержать в моем случае и автоматом ssl серт генерится). нужно добавить новый сайт? просто кладешь в репозиторий новый файлик с конфигом и все. никаких ручных правок на сервере по фтп и пр.
3) базы данных (postgresql, mysql) - docker + ansible, все конфиги лежат на гитхабе. бекапы раз в день на гугл диск. хочешь переехать? прописываешь ip нового сервера и вся летит туда. (этот репозиторий интересный, если причешу - выложу в опенсорс)

да, гемор в начале, но зато в корне решается проблема всех переездов в будущем

Здравствуйте, давно не виделись. Не занимался сайтами уже бог знает сколько.

Последние пару дней смотрю на сайт и хочу сделать такой же. Под ру/яндекс.

Что такого интересного? Только техническая сторона (я больше Код чем SEO)

Не статейник, а сервис, с llm под капотом (аля сократить текст онлайн, но не совсем). Короче сервис.

Смотрю конкурентов, аля 1-2-3к трафика есть по кейсо, конкуренция не смешная, но есть куда втиснутся.

Вопрос - а нахрена?
Сервис бесплатный, судя по конкурентам варианта монетизации 2:
1) рся (лол)
2) пытаться как-то лить на свой сервис аля платный чат

При том за llm мне нужно платить (но есть варик сделать почти бесплатно), а сервис бесплатный. Короче дебит с кредитом еще какой-то нужно сводить (опять же, есть варианты)

Короче вот сижу и думаю нахрена это лично мне? Сама по себе идея интересная.

Могу сделать кому-то под ключ по красоте (если без шуток, то пишите, если правда интересно @kdvoryashin)

Как там жизнь в ру сайтах?

В комментах говорят в статейниках все грустно. В гемблу я не пойду.

Научите меня cpa

Решил попробовать паразитное seo + cpa (по заветам Рамираса)

По большому счету баловство, закину удочку, посмотрим что получится.

1) Выбрал площадку (для теста - 1)
2) Нашел тему которая лезет в выдачу на этой площадке.
3) Позаимствовал шаблон статьи конкурента
4) Пока собрал вручную (статья собирается из разных сервисов, текст генерится) 10 статей (а надо 100)

Сливаю на advcake

Пока проблема одна - индексация. Решаю ее.

Паралельно думаю как автоматизировать. Все таки нужно тестить это на масштабе. Главный вопрос только как это автоматом заливать на площадку.

Посматриваю на playwright mcp (модно, стильно, аишно). Если не прокатит, то селениум.

Как уже говорил, структуру статьи (шаблон) я взял у конкурента.

А раз уже у нас у всех ai головного мозга, то я делал это через чатгпт

Изначальный промпт такой:

I will give you 3 example articles. They are the same type and follow one template. The articles are <ниша>. Your job is to find what blocks these articles are made of. In short, recreate or build a template that I can use to generate the same kind of articles for other articles in the same topic. Output the template in a format I can use with an LLM (json or yaml). I will ask the LLM (ChatGPT) to write strictly by this template. Choose the best format and structure for this.

The task has four parts:

1) Analyze the article code (deep think on it).

2) Create a universal template so I can generate the same type of articles for other topics..

3) Decide the output format for this template.

4) Output the final template (ultra think while doing that).

The input articles will be in HTML to keep the tag structure.

<article 1>
html code
</article 1>

<article 2>
html code
</article 2>

<article 3>
html code
</article 3>

засунул в chatgpt 5 pro (из всех моделей pro самый норм ответ выдал)

Это был начальный промпт, дальше пообщались, в итоге получился:
1) html шаблон (аля jinja) статьи, там условно говоря плейсхолдеры в виде переменных, куда будут подставляться данные
2) yaml шаблон с этими переменными
3) системный промпт и инструкции

Подробности описывать не буду, но суть в том что сначала одним скриптом заполняешь yaml. Там данные об оффере, текст блоков из которых состоит статья и тд.

во второй скармливаешь yml и он вставляет оттуда данные в html шаблон

html шаблон - готовая статья. ее публикуешь где надо.