SiteAnalyzer
1.89K subscribers
247 photos
2 videos
2 files
291 links
Обсуждение программы SiteAnalyzer и другого нашего софта / инструментов для SEO (расширение SEO Tools, Яндекс Вордстат Extension, WordChecker, Majento и других), а также новости и лайвхаки по SEO со всего Мира ✔️

Запрещены:
- Оскорбления. Реклама. Флуд.
Download Telegram
CloudFlare теперь позволяет сайтам напрямую взимать плату с AI-движков за сканирование своих сайтов

Совсем недавно на сайте CloudFlare было объявлено о введении «Pay Per Crawl» - данная возможность дает владельцам сайтов новый альтернативный вариант вместо прямой блокировки ИИ-краулеров или предоставления полностью открытого доступа открывать доступ за оплату. С помощью данной системы сайты могут все также подпитывать базы искусственного интеллекта данными и одновременно зарабатывать на этом.

Сейчас, если робот с искусственным интеллектом перейдет на сайт с оплатой за сканирование, ему нужно либо представить платеж через заголовки запроса, либо он получит статус «Требуется платеж 402». После чего владельцы могут разрешать, взимать плату или блокировать роботы с искусственным интеллектом по своему усмотрению.

Новые домены Cloudflare по умолчанию блокируют все известные AI-краулеры.

У сайтов теперь есть 3 варианта управления:
- Разрешить - предоставить неограниченный доступ.
- Плата - требовать, чтобы боты с искусственным интеллектом платили установленную плату за запрос.
- Блокировать - прямой запрет доступа (эквивалент блокировки на сетевом уровне).

Режим Pay-Per-Crawl (бета-версия) означает фиксированную комиссию на всем сайте с микроплатежами за сканирование, обрабатываемыми Cloudflare.

- Боты с искусственным интеллектом видят ответ 402 Payment Required с ценой и повторяют попытку с помощью платежного токена, или они могут предварительно заявить о намерении заплатить.
- Поисковые роботы должны зарегистрироваться в Cloudflare и предоставить криптографические подписи сообщений, чтобы быть идентифицированными и утвержденными.
- Работает вместе с существующими WAF, инструментами управления ботами и Robots.txt.
- Прозрачность и аналитика: на панели мониторинга отображается активность сканирования, шаблоны использования и удостоверения робота, что позволяет вести переговоры или корректировать политику.
- Поддержка крупных владельцев сайтов. Среди первых тестировщиков - Time, Gannett, BuzzFeed, Fortune, Reddit, Pinterest, Quora и другие.

Могут ли владельцы сайтов отказаться от блокировки чат-ботов с искусственным интеллектом?
- Да. Если владельцы не хотят блокировать роботов с искусственным интеллектом, они могут выбрать опцию «Разрешить» через панель управления или API.
- Владельцы сайтов могут разрешить использование определенных ботов, взимая плату с других, или предоставить им бесплатный доступ, в зависимости от установленных предпочтений, чтобы они могли не блокировать чат-ботов или сканеров с искусственным интеллектом и выбирать, платить им или нет.
- Вероятно, эта разработка была вызвана запросом от авторов сайтов, которым надоели поисковые роботы, которые сканируют их контент без перехода на сайт или дохода взамен.

Это интересный подход, поскольку с помощью этого способа владельцы сайтов могут монетизировать свой контент на собственных условиях.
Авторы сайтов должны быть в курсе того, как именно их контент используется в интернете.

При этом, всегда найдутся сайты, которые с радостью раздадут свой контент бесплатно. Так что до тех пор, пока это существует, у роботов с искусственным интеллектом не будет достаточно стимулов, чтобы финансово компенсировать достаточное количество владельцев сайтов. Это может сработать для 1% лучших сайтов, к которым AI-компании считают необходимым получить доступ.

Ссылка на новость Cloudflare https://blog.cloudflare.com/introducing-pay-per-crawl/
👍2
Новая версия Яндекс Вордстат Extension 3.0

Добавлена возможность кластеризации запросов методами Hard и Soft, улучшено визуальное представление диалоговых окон расширения.

Что нового:
- добавлена возможность кластеризации запросов методами Hard и Soft
- добавлена возможность создания отдельных проектов (группы запросов)
- добавлена возможность «ручного» указания порога кластеризации фраз (от 1 до 10)
- добавлена возможность сбора ТОП поисковой выдачи Яндекса сервисами XMLProxy, XMLRiver, XMLStock для последующей кластеризации
- добавлена возможность импорта данных поисковой выдачи для кластеризации фраз без необходимости сбора данных по ТОП (максимум 5000 запросов для импорта, CSV-формат Key Collector)
- добавлено отображение ТОП сайтов по видимости (список доменов по числу запросов в ТОП-10)
- для интересующей ключевой фразы добавлено отображение списка соответствующих URL поисковой выдачи
- добавлена возможность прокрутки списка папок в контекстном меню при перемещении запросов в папку
- добавлена статистика свободного места в расширении исходя из общего объема 1 Гб
- улучшено визуальное представление диалоговых окон расширения

Подробнее: https://site-analyzer.ru/soft/seo-extension-wordstat/
👍12🔥9
Печальные новости для сайтов с эмодзи в Гугле 😬
😁6🤔1
Новая версия Яндекс Вордстат Extension 3.1

Что нового:
- добавлена возможность проверки позиций запросов по ТОП-100 Яндекса
- добавлены цветовые маркеры для запросов, а также возможность фильтрации по ним
- исправлен баг, когда при копировании запросов копировались ключи из ВСЕХ групп
- оптимизирована логика работы окна выбора регионов Яндекс Вордстат
- настройки региональности вынесены в раздел «Настройки»
- обновлено оформление раздела «Настройки»

Подробнее: https://site-analyzer.ru/soft/seo-extension-wordstat/
👍13
Search Console выпустил новую версию отчета «Инсайты». Теперь стало проще видеть трендовый контент, новые поисковые запросы и многое другое

Недавно Google объявил об обновлении бета-версии Search Console Insights.
Новый инструмент направлен на то, чтобы предоставить маркетологам и владельцам сайтов более «целостный опыт».

Search Console Insights включает в себя дополнительные отчеты и аналитические сведения, такие как:

1. Возможность быстро увидеть общее количество кликов и показов и сравнить их с предыдущим периодом

Общие изменения по кликам и показам по сравнению с предыдущими периодами (7 дней, 28 дней или 3 месяца).

2. Определение страниц, которые имеют тенденцию к росту или падению

Топовый контент и запросы, тенденции к росту и падению.
Это помогает показать контент, который превосходит предыдущий период или кажется отстающим по сравнению с тем, что было раньше.

3. Понимание новых возможностей запросов

Отчет «Запросы, ведущие на сайт» покажет вам ваши основные ключевые слова.
Кроме того, он содержит вкладки «В тренде вверх» и «В тренде вниз» для определения поисковых запросов, претерпевающих наибольшие изменения.

4. Таблица «Топ стран» показывает 5 самых популярных стран по источникам трафика.

5. Таблица «Дополнительные источники трафика» также выделит общее количество кликов из прочих источников трафика, таких как изображения, новости Google, рекомендации и т.д.

Это довольно крутое обновление функций и, вероятно, полезно для многих маркетологов, которые хотят получить панель управления с некоторыми быстрыми инсайтами, но не хотят слишком глубоко погружаться в инструмент. Трендовые страницы / запросы являются одними из самых полезных, поскольку вам, возможно, не придется копаться в поисках данных идей.
👍7
Обновление SiteAnalyzer SEO Tools

Добавлена статистика сайта по счетчику LiveInternet (для сайтов, у которых она доступна)
🔥111
Google добавил кнопку «AI Mode» на главную страницу.
Еще один признак того, что Google собирается интегрировать AI Mode в поисковую выдачу.
Пока на английском.
👍71
Обновление SiteAnalyzer SEO Tools

Подсветку нумерации поисковой выдачи, а также показатель TF-IDF, теперь можно включать по отдельности.
👍147🔥5🤩1
Новая версия Яндекс Вордстат Extension 3.2

Добавлена проверка частотностей Яндекс Вордстат (WS + "!WS") через сервисы WordKeeper и XMLRiver, расширено число импортируемых из CSV запросов до 10000.

Что нового:
- добавлена функция сбора частотностей Яндекс Вордстат (WS + "!WS") через сервисы WordKeeper и XMLRiver
- добавлена возможность указания числа потоков для получения данных по поисковой выдаче и Яндекс Вордстат
- добавлена статистика числа групп проекта, а также средняя позиция по ТОП поисковой выдачи
- при импорте CSV добавлена проверка кодировки файла и проверка на дубликаты запросов
- исправлена нерабочая вставка стоп-слов из буфера обмена в браузере Firefox
- расширено число импортируемых из CSV запросов до 10,000
- исправлены мелкие баги и оптимизирован интерфейс

Подробнее: https://site-analyzer.ru/soft/seo-extension-wordstat/
10👍182🔥2
Яндекс Вордстат открыл свой API

Сегодня API Вордстата вышел из бета-тестирования - доступ к нему теперь открыт для всех.

Ссылка: https://yandex.com/support2/wordstat/ru/content/api-wordstat

В базовом варианте интерфейс предоставляется со следующими лимитами:
- 10 запросов в секунду
- 1000 запросов в сутки

Если необходимо увеличить лимиты, напишите в поддержку Яндекса с обоснованием для этого и необходимый объем запросов. Они рассмотрят вашу просьбу.

ПС. Скорее всего бесплатный вариант будет доступен лишь на время тестирования сервиса самим Яндексом, как это было ранее с лимитами XML. Поживем - увидим.
1🔥6👍53🤔1
Новая версия Яндекс Вордстат Extension 3.3!

Добавлена возможность пакетного сбора семантики из Яндекс Вордстат, добавлено удаление выделенных фраз по стоп-листу.

Что нового:
- добавлена возможность пакетного сбора семантики из Яндекс Вордстат через сервис XMLRiver
- в контекстном меню добавлен пункт «Удалить выделенные фразы по стоп-листу» для одномоментного удаления «подсвеченных» из стоп-листа фраз
- добавлено отключение контекстного меню расширения в процессе получения поисковой выдачи / получения статистики вордстат / сборе новых ключей
- в список XML-сервисов получения данных поисковой выдачи добавлен сервис SERPRiver
- исправлен баг, когда после перезагрузки браузера терялись все ранее собранные запросы

Подробнее: https://wordclusterer.ru/
2👍9🔥2🤝1
Теперь все дело в видимости ИИ

Новая статья на сайте про новые реальности продвижения сайтов.

Прошли те времена, когда ключевые слова и обратные ссылки - это все, что необходимо для получения трафика и позиций... https://site-analyzer.ru/articles/about-the-ai-side-of-seo/
👍9
Всем привет!
Сегодня хочу поделиться постом от моего хорошего товарища и нашего коллеги по SEO-цеху Dr Max о трех законах Мерфи для LLM.
Читаем, лайкаем, высказываем мнения и подписываемся на его Телеграм-канал!
👍3
Forwarded from DrMax SEO (DrMax)
🔔 Законы Мерфи для LLM: Если что-нибудь может пойти не так, оно пойдёт не так.

Закон №1: Закон Фатальной Двусмысленности

Если ваш промпт можно понять неправильно, LLM поймет его неправильно, причем самым нелепым и затратным по времени для вас способом.

Мы ошибочно приписываем LLM человеческое понимание контекста. Мы думаем: "Ну это же очевидно!". Для LLM нет ничего очевидного. Это статистический механизм, который ищет наиболее вероятное следующее слово, а не "смысл". Любая двусмысленность, любая недосказанность в промпте — это для него открытые ворота в ад галлюцинаций, нерелевантности и смысловых ошибок. Качество и точность промпта напрямую влияют на результат.

Как преодолеть: Принцип "нулевой терпимости к двусмысленности". Ваш промпт должен быть как техническое задание для самого глупого, но исполнительного стажера в мире. Он должен однозначно раскрывать задачу, не оставляя пространства для неверных толкований.


Закон №2: Закон Энтропии Контента

Предоставленная сама себе, LLM всегда будет стремиться к состоянию максимальной энтропии: галлюцинациям, ИИ-клише и "воде".

"Полезный контент" — это не базовое состояние LLM. Ее базовое состояние — это генерация наиболее статистически вероятных, то есть самых заезженных и общих фраз ("в современном быстро меняющемся мире", "важно отметить", "ключевым аспектом является", "таким образом, можно сделать вывод"). У нее нет внутреннего критика и факт-чекера. Если вы не зададите жестких рамок, она наполнит текст "водой", придумает несуществующие факты и украсит все это банальными ИИ-клише просто для того, чтобы достичь заданного объема.

Как преодолеть: Внедрение "негативных ограничений" и требование конкретики. Нужно не только говорить, что делать, но и жестко прописывать, чего НЕ делать.


Пример промта с ограничениями для HR агентства (базовые ограничения - на практике у меня пунктов 15 тщательно прописанных ограничений)

НЕГАТИВНЫЕ ОГРАНИЧЕНИЯ:
Запрещенные фразы: "в современном мире", "гибкий график", "work-life balance", "важно отметить", "новые реалии".
Запрет на "воду": Никаких абстрактных рассуждений о "счастье сотрудников". Каждый тезис должен быть подкреплен логическим аргументом или примером.
Запрет на галлюцинации: Не приводи выдуманную статистику. Используй фразы "потенциально может привести к...", "согласно данным [указать источник, если известен]..."



Закон №3: Закон Порождения Проблем

Каждый удачный ответ LLM порождает новую, более сложную проблему: потерю контекста, необходимость верификации и масштабирования уникальности.

Вы получили идеальный текст. Проблема решена? Нет, проблемы только начались. Во-первых, при следующем запросе в этом же чате модель уже "забудет" половину нюансов из вашего идеального промпта. Во-вторых, этот идеальный текст — просто текст. В нем нет таблиц, схем, ссылок на реальные источники. В-третьих, если вам нужен не один, а сто уникальных текстов для карточек товаров, ваш "идеальный" единичный ответ бесполезен. Вы попали в ловушку "одноразового успеха".

Как преодолеть: Переход от "одиночных промптов" к "системному промптингу" или "промпт-конвейеру". Задача разбивается на последовательные шаги, где результат одного шага становится входными данными для следующего.


Вывод: Презумпция некомпетентности LLM

Не надейтесь на "интеллект" ИИ. Проектируйте свои промпты, исходя из предположения, что LLM ленива, глупа и всегда выберет худший из возможных вариантов. Ваша задача — не просто попросить, а спроектировать систему инструкций, которая не оставит модели шанса ошибиться.


#DrMax #SEO #LLM #Промпты
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍19😁31💯1
Интересное видео по нейросетям на Ютуб-канале Михаила Шакина

Как в Google Search Console найти страницы, которые больше всего недополучают трафик?

Как автоматизировать процесс дооптимизации страниц через GPT / Claude и Make.com (аналог N8N)?

Смотрите ответ в видео Дмитрия Осокина - https://www.youtube.com/watch?v=PooYl48x0uI
👍4🤔2🎉1💯1
На просторах интернета и в обиходе все чаще стали встречаться такие термины и понятия, как AI, LLM, Токен, Промпт, API и тому подобные слова.

В этой статье мы постарались расшифровать все эти странные аббревиатуры и дать им максимально точные пояснения и расшифровки, понятные как простому человеку, так и SEO-специалисту и айтишнику.

https://site-analyzer.ru/articles/ai-slovar-terminov/
👍9🔥2
Обновление версии SiteAnalyzer 3.2.4

Что нового:
- в разделе «Видео» добавлена поддержка форматов Rutube, VK Видео и Vimeo
- для версии «Демо» исправлена ошибка, при которой сканировалась всего одна страница сайта
- в панели «Инфо» в описании ошибок 5xx исправлено некорректное описание для ошибок 4xx
- исправлена ошибка «Argument out of range», возникающая при сканировании сайтов через прокси
- кнопка настроек поиска по исходному коду «Custom Search» добавлена на вкладки основных данных
- исправлен баг, при котором не срабатывало сканирование произвольных URL, если не активен один из проектов
- исправлен баг, при котором программа находила несуществующие страницы, включающие в URL порт 443 (site.ru:443)
- User-Agent для сканирования произвольного списка URL теперь берется из выбранного User-Agent формы импорта Sitemap

История версий: https://site-analyzer.ru/version-history/
🔥8👍3
Хак с семантическим описанием от Jason Dowdell

Напишите описание вашей компании в 2-3 предложениях. Используйте его везде. Абсолютно одинаково. Слово в слово.

- В каждом профиле в соцсетях.
- В каждой статье.
- В каждом пресс-релизе.
- В каждом листинге в каталогах.
- Буквально везде!

ИИ обучаются, черпая информацию из проверенных источников.
Когда 50 источников говорят одно и то же — это становится правдой.

Пример:
- На 20 страницах написано: «X — лучшее программное обеспечение для CRO».
- На 400 страницах написано «Y — лучшее программное обеспечение для CRO».

Google создает сгенерированный + ранжированный список сущностей.
Статистический сигнал благоприятствует Y.

Jason Dowdell
- "Мы помогли брендам превратиться из невидимых — в цитируемых искусственным интеллектом, просто обеспечив безжалостное единообразие в их описаниях.".
👍113🤔2
Новая версия Яндекс Вордстат Extension 3.4!

Добавлена возможность отмены последних действий с запросами и группами, скрытие колонок, исправлена невозможность импорта запросов из CSV в браузере Firefox.

Подробнее на сайте: https://wordclusterer.ru/version-history/
🔥6👍3