AI-first подход для сложного парсинга

На прошлой неделе повозился полдня с Клодом и сделал умный парсер ЖК для сайта о недвижимости.
Предыстория: нужно добавить на проект порядка 200 объектов – жилых комплексов. Как бы я поступил раньше? Я бы выгрузил топы, спарсил картинки, заголовки, нанял бы четверых фрилансеров, чтобы они руками заполнили информацию об объектах.

Каюсь, первая мысль была именно такой – сделать все по старинке. Но как только моя рука потянулась, чтобы написать сообщение моему ассистенту, я почувствовал дискомфорт. Это было моё уязвлённое самолюбие! Эй, чел, ты же автоматизатор, блин, нейронщик, пропагандируешь принцип AI-first, а сам втихаря ручками?))

Неее, так не пойдёт, подумал я и за пару тройку часов написал умный парсер.

Идея предельно проста: вытаскивать парсером все тексты со страниц ЖК и отправлять их по API в OpenAI, снабдив мастер-промптом, который найдёт в текстах нужную мне информацию, структурирует её и выдаст в Markdown по шаблону. Написал скрипт, покрутил мастер промпт и температуру, протестировал разные модели, лучшей оказалась GPT-5.

Схема работы
1. На вход - список жилых комплексов
2. Парсим топы, в том числе используя вайт-лист и стоп-лист сайтов
3. Готовим табличку: объект, урлы доноры (от 5 до 7 в среднем ), и тайтлы для проверки адекватности найденных углов
4. Следующий шаг пришлось сделать вручную – это проверить URL-адреса и теги title, чтобы выкинуть нерелевантные странички. На данном этапе лучше кожаных пока не справляется никто
5. Дальше всё улетает в GPT и возвращается в виде Markdown списка и json файла
6. Маркдаун нам пригодится для итоговой проверки. В нем собрана и структурирована информация по объекту, например, срок сдачи, ближайшие локации, тип недвижки (апарты, таунхаусы и прочее), статус объекта, класс объекта и прочее и прочее
7. Json файл пойдет у нас для импорта в админку после проверки и фактчекинга риэлторами

Знаете, что самое интересное? Я думал, у меня израсходуется куча денег, тем более что я использовал дорогую модель GPT-5. 100 объектов мне встали в 12 центов или примерно в 10 рублей!

Короче, AI-first подход работает! Теперь не нужно выискивать CSS-селекторы, XPath-выражения – экономия времени в разы. Если для интернет-магазинов, как будто бы, до сих пор лучше парсить по старинке с помощью XPath-выражений, то для разнородных страниц – например, для сайтов услуг или объектов недвижимости – выделение сущностей без нейронок выглядело просто неосуществимой задачей!

ИИ уничтожит вас и оставит без работы

Кликбейт, каюсь. Но то, что сейчас происходит в SEO индустрии уже можно смело назвать революцией. Изменения колоссальны, скорость неимоверная.

То чем мы занимались еще год назад (умные боты помощники в телеграме) кажутся теперь детскими играми в песочнице. Выход Claude Code, внедрение ИИ агентов, Скиллы - всё это переворачивает шахматную доску, я уж молчу про OpenClaw.

Вангую - скоро появятся коробочные решения, это когда ты клонируешь папочку со скилами на серваке, заводишь в неё вводные по очередному проекту даешь команду ИИ агенту и.... И всё процесс пошел!

Вчера был очередной созвон нашего SEO Python чата, это выпускники моих курсов и такие же как я больные на всю голову амбассадоры ИИ. Чем только народ не развлекается! Пилит целые новостные агрегаты, ИИ агентов которые меж собой общаются и взаимодействуют, дашборды, автоматизации, я по ходу встречи, скажем так, был пару раз несколько удивлен)) и задавал себе вопрос, ОГО! А так можно было? )

И вот на этом контрасте я последние 3 недели активно собеседовал кандидатов. Мы искали себе в команду SEOшника. Обычного, кожаного) Блин! Как всё печально! Вот общаешься с человеком, 5-10 лет в SEO. Ничего нового, работа по чек листам, DR>10, ИКС, длина title <70 ... Спрашиваю - у кого учились? Нас ХЭД учил. На кого подписан в телеге - да особо ни на кого. Эксперименты ставишь? Вайбкодишь? Ну да chat gpt юзаю. Опыт накрутки ПФ есть? Да через сервис 🙈

Что я вижу? 👀

1. Настало время умных SEOшников способных в соло с помощью ИИ агентов разгребать за час задачи целого агентства.
2. SEO Джуны, работники по чек листам и люди с закостеневшим мозгом и мышлением - пора надевать желтый рюкзачок, садится на электровелосипед (на завод вас тоже не возьмут)

Наблюдаю отход от стандартных грейдов: Хард, Мидл, Джун. Скорее всего будет так:

1. SEO супервайзер + ML инженер + ИИ агенты
2. Руки - по факту админы сайтов и контент менеджеры (сайты на Тильде никто не отменял)

Йорошику онегай шимас! - Или прошу любить и жаловать новый дивный мир! (вольный перевод с 🇯🇵 )

Структура SEO-AI агентства!

Пока не без кожаных, но уже с нейро агентами!

Я надеюсь всем понятно куда мы идем? 😉

PS На картинках не видно OnPage и блока по линкбилдингу. Короче это как с суликом 🐿 его не видно, но оно там есть) просто на картинку не поместилось

🎯 SEO-конференция

Гостиница Беларусь
ул. Сторожовская, 15, Минск (большой конференц зал)

Дата: 28.05.2026 (Четверг)
с 10:00 до 18:00 часов (регистрация с 9:30)

❤️ 12 топовых SEO-спикеров раскроют:

Как быстро попасть в топы Яндекса
Автоматизацию контента
Оптимизацию сайтов под SEO/AEO/AIO/GEO/E-E-A-T
Продвижению с учётом сезонности
Анализ свежих патентов Google, связанных со ссылками.
Эксперименты по линкбилдингу в Google.
Как продвигаться в AI-ответах и измерять результаты
Автоматизация SEO: от скриптов к скиллам
Спицифика SEO в SaaS, SDaaS в продвижении на Бурж и Mena
И многое другое!

👉 Подробная информация и продажа билетов на сайте, в шапке профиля
https://seo-conference.by/

😀Это мероприятие для вас, если вы:
SEO-специалист, маркетолог или digital-эксперт, ищущий передовые подходы
Владелец бизнеса или топ-менеджер, заинтересованный в росте трафика и продаж
Фрилансер, развивающий персональный бренд и поиск клиентов
Аналитик и стратег, работающий с SEO-данными и трендами поисковиков

Не пропустите главный SEO-ивент осени!
https://www.instagram.com/p/DWV_hj2CA_H/?igsh=MWdvNjh2dDhzbDBj

Клодменам посвящается!

Видео - CLAUDE CODE: ПОЛНЫЙ КУРС 2026 (4+ ЧАСА)

Презентация (если лень смотреть) - Скачать с Google Docs. Если, что презу сам сделал! Вытащил субтитры из ютуба, прогнал через Клод и сделал презу, какой я молодец))

Хроники Риддика ИИ перехода – Сага о некожаном аккаунтинге

На апрель-май я поставил себе крайне амбициозную цель: Совершить ИИ переход нашего SEO агентства.

На самом деле это уже 4-я попытка автоматизации SEO процессов. Первые две благополучно провалились. Третья итерация – это умные боты скрипты и сервисы – то, чем мы пользуемся сейчас и то, что я частично выкладываю в паблик.

Но! Проблема в том, что все эти сервисы и автоматизации на ИИ – это все равно прошлый век! Сейчас объясню почему.

Мы кожаные очень инертные в ментальном плане существа. Пользоваться ИИ как инструментом – это все равно, что получать получать зарплату на карту, а потом идти в банкомат и снимать до нуля всю наличку. Да удобно, не нужно ехать в офис на другой конец города за зарплатой, можно хвастаться сколько времени ты сэкономил, но это все равно 20% возможностей!

Следующий, абсолютно логичный и правильный шаг – ИИ агенты, которые работают независимо от тебя, которые срабатывают по крону (расписанию) либо по хуку (событию).

Тема хайповая, весь …грам и ютуб заполонили нейроцыгане которые на минимак накатывают clawbot и запускают сотни агентов, которые отжирают кучу токенов и денег. На картинках красиво, но не верю, так как у нейроцыган другая задача.

Кейс №1 – Как мы автоматизировали аккаунтинг

Боль – нужно отслеживать выполнение задач в срок в CRM системе, промежуточные отчеты, клиентские чаты. При этом нужно быть в курсе, что было в прошлом месяце, какие задачи ставились.

Идеальная картина – аккаунт, который мониторит чаты и задачи и не отвечает как попугай на каждое сообщение клиента: “Спасибо за обращение вернусь с ответом позже”

Что внедрено!
Сделали один дашборд на всех. Он автоматически агрегирует данные из Telegram-чатов, спринтов и CRM, считает риск по каждому клиенту и красит в Красный / Желтый / Зеленый.

Где AI: GPT читает переписку и определяет тональность (спокоен / позитивен / недоволен), делает сводку за неделю, генерирует готовые сообщения для тихих клиентов. Всё остальное - обычные правила: штрафные баллы за дни тишины, пустой спринт, просроченные задачи.

Лёгкий прогон каждые пару часов, полный с GPT-анализом - раз в неделю. Каждые 4 часа краткий пост в telegram чат нашей компании: просрочено задач по проектам, чатов без ответа больше 2-х суток, обратить внимание на. Бот молчит в выходные и в нерабочее время

Продолжение следует...

Дофаминовая игла Вайбкодинга

Весь ютуб и ..грам пестрят радостными сообщениями адептов секты вайбкодеров, которые за ночь делают себе 100-500 агентов, покупают с их помощью билеты, отвечают на сообщения и чуть ли не раф на лавандовом готовят.

Да, прикольно! Но у меня вопрос, вы это реально юзаете? А может вся эта восторженная возня только ради возбуждения дофаминовых рецепторов?

Похоже человечество нашло для себя новый, как говорят зуммеры, краш. Любая игрушка нацелена на определенную целевую аудиторию. Кто-то в Доту катает, кто-то под Нетфликс расслабляется, кто-то к Гребенюку ходит. А кто-то вайбкодит... Прочитал тут на днях пост Маргулана Сейсенбаева, он 2 месяца чуть ли ни со спичками в глазах вайбкодил 24/7 и в итоге отложил это всё до лучших времен.

Антропики, Опенай и прочие компании похоже нашли золотую жилу. Смотрите идеальное колесо Сансары.

Боль (тупые сотрудники) => Надежда (щас запилю автоматизацию) => Действие (ура у меня получается) => Разочарование (тут косяк, тут глюк) и так по бесконечному кругу.

Знаете в чем секрет сериальчиков на Нетфликсе? Они все построены по одному и тому же сценарию. Есть главный герой, ему хреново, но есть цель к которой он идет, постоянно то влипая в неприятности то одерживая локальные победы. В итоге мы втягиваемся в бесконечные эмоциональные качели сопереживания главному герою. Да, в наш век 3-х секундных вертикалок основные ценности - эмоции и быстрый дофамин. Идеально! Просто идеально! Нас подсадили на очередную иглу. У Пелевина в S.N.U.F.F эта механика очень хорошо описана.

К чему это я? Одна из моих учениц спросила на днях. Ребят, всё круто мы реально повысили свою эффективность в разы, но стали ли мы от этого богаче, свободнее или снова загоняем себя в очередную кабалу, только теперь под присмотром Антропиков?

Честно скажу, у меня нет на это ответа. Ситуация такова, что по старому уже нельзя (тебя просто выкинут на улицу), а новый мир уже не кажется таким дивным и безоблачным. Вот и получилось, что мы опять загнали себя в тесное пространство между двумя морковками.

Зато как мы теперь эффективно перебираем лапками за очередной морковкой и как с удвоенной скоростью убегаем от морковки сзади! И дофаминчик по мозгам, бдыщь, бдыщь, бдыщь!

Хороших вам выходных! ))

Pontificating Discombobulating Booping Frolicking 给我饭，给我猫，给我老婆

У вас бывало такое? Влюбляешься в девушку мечты, добиваешься, а она ноль внимания, держит во френдзоне и хоть ты тресни. И вот в один момент ты случайно знакомишься с её подружкой соседкой иии, ну вы поняли)

У меня с Claude примерно та же история. Полный спектр эмоций от любви с первого взгляда до ненависти и желания послать куда подальше. Типичные абьюзивные отношения, никогда не знаешь когда он в очередной раз блокнет твой акк, который ты юзаешь даже не через КВН, а напрямую с бурж сервера!

И вот тут, почти случайно ты знакомишься с её однокурсницей и понимаешь, что она ничем не хуже. Симпатичная такая, кавайная и совсем тебя не абьюзит. Правда глазки раскосые и ест она палочками 🍜, но это даже мило 🥰

А теперь серьезно)
Claude – крутая штука но! Вечная головная боль с баном аккаунтов, плюс, если брать на команду получается недешево. Одно время мы брали через индусов 👳‍♂️ и, если тебе прилетало Organization has been disabled, они оперативно предоставляли замену. Но! Индусы не вывезли, перестали предоставлять услуги.

Легальный способ использовать Claude - подписка на Cursor, например, за 200$. В эти 200 баксов включены 20x usage limits которые ты можешь потратить на тот же Sonnet

Но основная фича даже не в этом! Cursor кэширует контекст проекта, системные промпты, файлы и шлёт в модель только изменения; остальное идёт как Cache Read по сильно сниженной цене.

Я проанализировал лог работы на команду за день и это видно чётко:
- всего 43.4M токенов, из них 39.2M = Cache Read,
- без кэша мы бы потратили ~$135, с кэшем — ~$32 (экономия ~76%).

Но это все равно недешево! Я знаю команды, которые тратят тысячи и десятки тысяч долларов в месяц на Сursor. Процессы оптимизировали, команду и ФОТ сократили, но зарабатываем почему-то те же деньги. Фактически переложили деньги из кармана SEO джуна в карман Anthtropic, а те в свою очередь передали их Nvidia – конечному бенефициару всей этой ИИ гонки.

Как реально уменьшить расходы на AI в команде?

1. Оркестрация процессов
Автоматизируем рутину через Python: парсинг с Playwright, API-скрипты, работа с данными через Pandas. ИИ подключаем точечно — только на стадии разработки/отладки или глубокого исследования.

2. Кэширование токенов через Cursor
Cursor агрессивно кэширует контекст проекта — повторные обращения к одним и тем же файлам идут как Cache Read по цене в 10–15 раз ниже обычного Input. На практике экономия 70–80% от потенциального счёта за токены.

3. Стек из разных моделей под разные задачи
Не используем одну дорогую модель на всё — это главная ошибка большинства команд.

Как устроено у нас в агентстве:

Tencent Hunyuan 3 (Hy3 Preview) — простой кодинг, скрипты, лёгкие задачи
~$0.14 / 1M input токенов. По соотношению цена/качество один из лучших вариантов на рынке прямо сейчас.

Kimi K2 Thinking (Moonshot AI) — сложная аналитика, агентные задачи
~$0.60 / 1M input, $2.50 / 1M output. Open source модель на архитектуре MoE (1 трлн параметров, активируются 32 млрд). Встроенный reasoning — модель «думает» перед ответом, хорошо справляется с многошаговыми задачами.

Claude Sonnet 4.6 (Anthropic) — тексты, SEO-копирайтинг
$3 / 1M input, $15 / 1M output. Для создания качественного SEO-контента пока нет равных по стабильности результата.

Итог по деньгам:

- Hy3 Preview — $0.07 input / $0.26 output за 1M токенов
- Kimi K2 Thinking — $0.60 input / $2.50 output за 1M токенов
- Claude Sonnet 4.6 — $3.00 input / $15.00 output за 1M токенов
- Claude Opus 4.6 — $5.00 input / $25.00 output за 1M токенов

Claude Opus дороже Hy3 в 71 раз по input и в 96 раз по output. Если грамотно распределить задачи по стеку — реальная экономия 60–80% бюджета на AI без потери качества.

Таким образом вместо одной очень дорогой девушки мечты, мы дружим с шустрой и работящей китаянкой Hunyuan Hy3, умные беседы про вклад Компартии Китая 🇨🇳 в мировую экономику ведем с Kimi K2 Thinking, а пиндосовскую эскортинцу Claude Sonnet юзаем по часовому тарифу )))

Ну и это еще не всё! Мы сейчас тестируем ещё один подход, и вот там похоже пушка бомба!


给我一个聪明能干的猫老婆

Китайцы победили Claude?

Мы перешли всей командой на Kimi Code. Две недели работы - полет нормальный!

Что такое Kimi Code?
Это, по сути, полный аналог Claude Code от китайцев. Есть интерфейс командной строки CLI, есть плагин для IDE Vs Code. Ставится точно так же, запускается точно так же. Если у вас настроен сервак под Клод. Переезд будет максимально бесшовным. Читает и понимает файлы Claude.md

Из плюсов:
- Работает в РФ не нужны все эти танцы с бубном и КВН.
- Недорого. Купил тариф за 40$, максимум что у меня получалось это выбрать 30% недельных лимитов
- Неожиданно неплохо рисует! На уровне Grock
- Перестали чувствовать себя людьми 3-го сорта

А, что с качеством?
На Kimi я обратил внимание, когда тестировал китайские модели. Hy3 слабовата, Qwen показался тормозным, DeepSeek… хз до сих пор не понял. Единственная моделька которая показывала приемлемый результат была как раз Kimi K2.

Как бы я ее оценил? Если брать за абсолют opus 4.5, я бы смело поставил 8 из 10 (пока не тестил на совсем серьезных задачах). По ощущениям это Клодовские модельки 6 месячной давности. Для нашей рутинной SEOшной работы выше крыши. По бенчам, она тоже довольно высоко стоит, но бенчи это одно, а реальная работа – это как говорят китайцы 完全不同的一碗米饭

Хроники Риддика ИИ перехода – Сага о том как у нас получилось!

Ура! У нас получилось! Теперь я могу сказать это с полной степениью уверенности. То что я задекларировал в марте месяце успешно внедрено работает и развивается.

Как у нас выстроена система?
1. Есть выделенный сервер к которому есть несколько уровней доступа.
2. На серваке развёрнут python, скилы и агентные среды. Сначала это был Claude code, но после очередного бана мы перешли на Cursor и на Kimi code.
3. Под каждую SEO задачу у нас развёрнут Скилл
4. На сервере хранятся данные, кэши, база знаний. А также настроен RAG для поиска необходимой информации, например в базе патентов Яндекса и Google

Что такое Скилл? Это папка в которой находятся инструкции для ИИ агента, а также скрипты на питоне, файлы .env со всеми паролями доступами, служеьные и вспомогательные файлы.

Что такое агент? Это скрипт, который запускается по крону (таймеру) либо по событию.

Например, у нас есть агент по технической оптимизации. Он запускает два скилла. Первый скилл краулит ваш сайт, второй Скилл выгружает информацию из Яндекс вебмастера и Google Search Console. На основании полученной информации агент генерирует отчёт и план действий.

То есть, то что раньше делал SEO джун по чек листу у нас теперь делает ИИ агент.

На одном из созвон нашего закрытого клуба 😎 питонистов SEOшников один из участников спросил, Влад когда ты уволишь всех сеошников?

Могу ответить следующее – не буду! SEOшники нужны. Но у нас в агентстве ключевым образом поменялось их роль. Есть ли раньше мы тратили 80% времени на добычу и агрегацию данных, а 20% на внедрение. То сейчас, эти 80% за нас делает агент, а мои сотрудники работают уже с готовыми данными и внедряют!

Пока вы собираете и агрегируете данные - наше агентство их уже вовсю внедряет!

Как это восприняла команда?
Вы не поверите, я не ожидал такого энтузиазма, спасибо ребята я вас люблю!)

А теперь представьте какой дивный мир открылся перед нами!

Имея набор скилов мы можем развернуть любого агента под любую задачу. Допустим вам нужно провести анализ вашего медицинского сайта и конкурентов на предмет соответствия страниц YMYL и EEAT факторам, ну и параллельно проверить разметку. Раньше у нас на это уходили дни. Теперь мы шаримся в базе патентов и сливов от Google, запускаем краулер, заряжаем в Kimi k2.6 ну или в Claude если хотите микроразметку schema org medical organisation, отдаем туда же данные краулинга, подгружаем выгрузки из Google Search Console и получаем довольно увесистый документ с анализом гипотезами и пошаговым планом. И вот таких вот кросс скиллов и задач можно навертеть сколько угодно! Главное не переусердствовать.

Перефразируя известную фразу скажу - жить станет веселее, но не факт что лучше)

Все делают это...

На прошлой неделе выступал на конференции SEO Минск. Первая половина докладов была про GEO AEO продвижения, вторая половина про то, как кто-то лихо внедрил автоматизацию на ИИ.

Автоматизации – это круто, но! Большая часть SEOшников по-прежнему относится к ИИ как к инструменту. Если вы используете ИИ, например, как screaming frog, то вы продолжаете действовать в рамках старой парадигмы. Приведу метафору, пусть ваше агентство – это лифт, обычный в многоэтажке. Лифт работает автономно, но вы зачем-то по старой привычке сажаете в него лифтера, который нажимает на кнопки и платите ему з/п. Увольте лифтера, внедрите автоматику! Да, люди будут нужны, но это будут диспетчеры и аварийная бригада.

Главный тезис моего доклада – хватит использовать ИИ как инструмент, используйте ИИ 24/7 как агента, как сотрудника! Еще раз хочу подчеркнуть, прорыв в AI-first происходит только когда вы во главу угла ставите ИИ и отдаете агентам всю рутину. В этом случае как раз и получается знаменитое – Вкалывают роботы!

Ссылка на презентацию

А теперь самое главное! Вайбкодинг – тоже инструмент, как бы это не звучало парадоксально из моих уст. Вы можете навайбкодить себе сколько угодно автоматизаций, но как вы теперь это всё внедрите в команду? Что, опять упираемся в компетенции конкретного SEO оптимизатора, который, что-то там навайбкодил и мы боимся что он уволится? Хотели избавиться от кожаных, а в итоге еще больше к ним привязались?

Как внедрить и масштабировать? Как поставить на автомат? Как обучить команду? Какую среду и каких агентов использовать? Как избежать блокировок и банов аккаунтов? Где выстроить системную работу? Как внедрить скиллы и агенты?

Появилось слово Система, это уже интересно!) Оставайся на канале - расскажу!

Вайбкодинг - Панацея или нас в очередной раз бреют как хомячков?

Разберем на эфире у Михаила Шакина сегодня.

Приходи, не будь хомячком 😉

Трансляция на YouTube:
https://www.youtube.com/watch?v=ujTHsKJkGG4