Google Indexer | Google Index | Индексатор Google | Индекс Гугла | Индексация ссылок Гугл
354 subscribers
28 photos
1 video
11 links
Автоматический индексатор сайтов в Google, Яндексе и Бинге. | Automatic website indexer for Google, Yandex, and Bing.
https://sitesindexer.com
Download Telegram
Вышло внеплановое обновление. Добавлена пакетная отправка запросов. Кто уже купил индексатор в полной версии обновление бесплатное.

————————————————————————

An unscheduled update has been released. Batch sending of requests has been added. For those who have already purchased the full version of the indexer, the update is free.
Обновление - v. 1.1.0:
- Пакетное добавление ключей
- IndexNow для индексации в Яндексе
- Другие мелкие улучшения.

Если у вас полная версия, то обновление бесплатное.

——————————————————

Update - v. 1.1.0:
- Batch addition of keys
- IndexNow for indexing in Yandex
- Other minor improvements.

If you have the full version, the update is free.
Как отправлять сайт на индексацию в Яндекс?

Доступно только в полной версии 1.1.0 и выше.

1. Перейдите в раздел IndexNow. Добавьте в корень сайта, который будете индексировать, ключ, как написано в инструкции.
2. Добавьте ссылки, при этом выберите очередь IndexNow.
3. В разделе IndexNow нажмите на кнопку "Проверить ключ". Будет взята первая ссылка из очереди и отправлен запрос. Если ключ добавлен корректно, то вы получите сообщение, что всё нормально.
4. Нажмите на кнопку "Включить". Запросы отправляются каждую минуту по 10000 ссылок в запросе.

————————————————————

How to send a site for indexing to Yandex and Bing?

Only available in the full version 1.1.0 and above.

1. Go to the IndexNow section. Add the key to the root of the site you want to index, as described in the instructions.
2. Add the links and select the IndexNow queue.
3. In the IndexNow section, click on the "Check Key" button. The first link from the queue will be selected and the request will be sent. If the key is added correctly, you will receive a message that everything is fine.
4. Click on the "Enable" button. Requests are sent every minute, with 10,000 links per request.
Обновление 1.1.1:

Добавлен собственный API для автоматического добавления ссылок в очередь при публикации новых материалов на ваших сайтах.

ВАЖНО! Я не делаю интеграцию на ваших сайтах. Я только добавил механизм, который может принимать ссылки с ваших сайтов и добавлять их в очередь. Интеграцию придется делать самостоятельно или обратитесь к разработчику сайта.

Работает это примерно так: на вашем сайте публикуется новая страница, в этот момент может быть отправлен post-запрос на специальный url индексатора. Перед началом работы необходимо добавить API ключ на странице опций во вкладке API.

С каждым запросом необходимо передавать следующие параметры:

key (ключ): cbbfe790018881f187913a43484406a7
queue (очередь): google или indexnow
type (тип запроса для Google Indexing API, можно передать пустое значение, если очередь IndexNow): URL_UPDATED или URL_DELETED
urls - массив ссылок, преобразованный в json

Пример запроса:

$urls = [
'https://yandex.ru',
'https://google.com'
];
$request = [
'key' => 'cbbfesfh7isuslefhle3a43484406a7',
'urls' => json_encode($urls),
'type' => 'URL_UPDATED',
'queue' => 'google'
];
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://example.com/googleindexing/api');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $request);
$result = curl_exec($ch);
curl_close($ch);

После отправки запроса возвращается ответ в формате JSON:

404 (Invalid key): некорректный ключ
422 (Invalid url): некорректная ссылка
200 (Complete): выполнено успешно, ссылки добавлены в очередь

————————————————————

Update 1.1.1:

Added a custom API to automatically add links to the queue when you publish new content on your websites.

IMPORTANT! I do not do integration on your sites. I only added a mechanism that can accept links from your sites and add them to the queue. You will have to do the integration yourself or contact the site developer.

It works like this: a new page is published on your site, at this moment a post request can be sent to a special url of the indexer. Before starting work, you must add an API key on the options page in the API tab.

The following parameters must be passed with each request:

key: cbbfe790018881f187913a43484406a7
queue: google or indexnow
type (request type for Google Indexing API, you can pass an empty value if the queue is IndexNow): URL_UPDATED or URL_DELETED
urls - an array of links converted to json

Example request:

$urls = [
'https://yandex.ru',
'https://google.com'
];
$request = [
'key' => 'cbbfesfh7isuslefhle3a43484406a7',
'urls' => json_encode($urls),
'type' => 'URL_UPDATED',
'queue' => 'google'
];
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, 'https://example.com/googleindexing/api');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, false);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $request);
$result = curl_exec($ch);
curl_close($ch);

After sending the request, a JSON response is returned:

404 (Invalid key): invalid key
422 (Invalid url): invalid link
200 (Complete): successful, links added to the queue
Почему ключ возвращает ошибку 403?

Может быть несколько причин:
1. После создания ключа не был активирован Indexing API для проекта.
2. Ключ не привязан к сайту в Search Console или ему выданы не те права (должны быть права ВЛАДЕЛЬЦА).
3. Если в Search Console сайт добавлен с префиксом, например, https://сайт.нет, а вы пытаетесь отправить http://сайт.нет. Точно так же с/без www.
4. При самостоятельной установке индексатора вы не правильно прописали пути в файле config.php.
5. Сервер на IPv6 (например, облачные серверы на Timeweb по-умолчанию отправляют запросы именно с IPv6, нужно просить техподдержку удалять этот IP или выбирать локацию без IPv6, например, Нидерланды).

———————————————————

Why does the key return a 403 error?

There can be several reasons:
1. After creating the key, the Indexing API for the project was not activated.
2. The key is not linked to the site in Search Console, or it has the wrong permissions (it should have OWNER permissions).
3. If the site is added to Search Console with a prefix, such as https://site.net, and you are trying to send http://site.net. Similarly, with or without www.
4. When installing the indexer yourself, you did not set the paths in the config.php file correctly.
5. The server is on IPv6 (for example, cloud servers on Timeweb send requests from IPv6 by default, you need to ask technical support to remove this IP or choose a location without IPv6, such as the Netherlands).
Что делать, если после отправки запросов на индексацию бэклинков, в Search Console в отчете о ссылках появились страницы индексатора? Просто отклоните домен индексатора: https://search.google.com/search-console/disavow-links

———————————————————-

What should I do if the indexer pages appear in the links report in Search Console after submitting backlink indexing requests? Simply disavow the indexer domain: https://search.google.com/search-console/disavow-links
Что делать, если после установки индексатора на сервер на всех страницах, кроме главной, 404 ошибка?

Если сервер Apache:
убедитесь, что после распаковки архива файл .htaccess есть в корне, включите mod_rewrite.

Если сервер Nginx:
1. Найдите файл конфигурации nginx для вашего сайта. Например, \home\myuser\conf\web\mysite.com.nginx.conf
2. Найдите в этом файле строку
location / {

и после нее добавьте
try_files $uri $uri/ /index.php?$args; # permalinks

3. Перезапустите nginx

——————————————————————

What should I do if I get a 404 error on all pages except the main page after installing the indexer on my server?

If you are using an Apache server, make sure that the .htaccess file is present in the root after unpacking the archive, and enable mod_rewrite.

If you are using an Nginx server, follow these steps:
1. Locate the nginx configuration file for your website. For example, \home\myuser\conf\web\mysite.com.nginx.conf
2. Find the following line in this file
location / {

and after it add
try_files $uri $uri/ /index.php?$args; # permalinks

3. Restart nginx
Обновление 1.1.2:

Новая версия почти не отличается от 1.1.1. Основное, что сделано - добавлена совместимость с дополнением, которое выйдет на днях - Sitemaps Checker для сканирования карт сайтов и автоматического добавления ссылок в очередь. Это будет отдельный платный компонент. Но об этом расскажу после тестов.

Еще в этой версии:
- небольшие изменения в админке
- немного подправил инструкцию.

Если у вас версия 1.1.1 - обновление бесплатное.

————————————————————

Update 1.1.2:

The new version is almost the same as 1.1.1. The main thing that has been done is added compatibility with the add-on that will be released in a few days - Sitemaps Checker for scanning site maps and automatically adding links to the queue. This will be a separate paid component. But I will tell you about it after the tests.

Also in this version:
- small changes in the admin panel
- slightly corrected the instructions.

If you have version 1.1.1 - the update is free.
Sitemaps Checker - отслеживание карт сайта

Доступно для версии индексатора 1.1.2

Отслеживание карт сайтов и автоматического добавления ссылок в очередь. Возможности:
- Любая вложенность карт сайта, поддерживаются xml и xml.gz карты на любом уровне вложенности
- Два режима работы: новые ссылки и по lastmod (за вчера, за сегодня или за вчера и сегодня)
- Исключения, чтобы при сканировании не добавлять одни и те же ссылки.
- Автоматическое добавление исключений для сайта из очереди и истории в момент добавления карты сайта для отслеживания
- Ручное добавление исключений из списка, txt-файла и карты сайта
- Возможность отключать карты сайта, в том числе вложенные, а также для каждой карты сайта указать свой режим работы. Например, новости могут добавляться в режиме "новые", а товары по lastmod.

Скриншоты

————————————————————————————

Sitemaps Checker - tracking of site maps

Available for the 1.1.2 version of the indexer

Tracking of site maps and automatic addition of links to the queue. Features:
- Any nesting of site maps, supports xml and xml.gz maps at any nesting level
- Two modes of operation: new links and by lastmod (for yesterday, for today, or for yesterday and today)
- Exceptions to avoid adding the same links during scanning.
- Automatically add exceptions for the site from the queue and history when adding a sitemap for tracking
- Manually add exceptions from a list, txt file, and sitemap
- Ability to disable sitemaps, including nested ones, and specify a different mode of operation for each sitemap. For example, news can be added in the "new" mode, while products can be added using lastmod.

Screenshots
Где-то на просторах интернета появилась информация о том, что можно обойти лимиты, отправляя 10-20к ссылок одним запросом. Мне об этом написали несколько человек. И я провел тест.

В течение 5 дней я, используя только 7 ключей, отправлял пакетные запросы, ориентируясь на этот "лайфхак". За 5 дней было отправлено 394517 ссылок. С 7 ключей. Да, ссылки отправлялись, здесь вопросов нет. Но потом появились первые результаты.

В первый день вместо примерно 70к пришел только 3531 бот. На второй - 5368. Да, это немного больше, чем то, что написано в документации Google Indexing API (7*200=1400), но гораздо меньше, чем было отправлено ссылок. В индекс вошла 8861 страница. А на третий день ключи сломались.

Вывод. Не стоит так делать! Добавить в индексатор возможность отправлять в запросе по 10к или 20к ссылок - дело правки двух строчек кода. А результат на скриншотах. Еще понаблюдаю, если что-то изменится, расскажу.

——————————————————————-

Somewhere on the Internet, there was information that it was possible to bypass the limits by sending 10,000 to 20,000 links in one request. Several people wrote to me about this. And I conducted a test.

For 5 days, I used only 7 keys to send batch requests based on this "life hack." In 5 days, I sent 394,517 links. With 7 keys. Yes, the links were sent, and there are no issues with that. But then the first results appeared.

On the first day, instead of about 70k, only 3531 bots came. On the second day, it was 5368. Yes, this is slightly more than what is written in the Google Indexing API documentation (7*200=1400), but it is much less than the number of links sent. 8861 pages were included in the index. On the third day, the keys broke.

Conclusion. Don't do this! Adding the ability to send 10,000 or 20,000 links in a request is as easy as editing two lines of code. The results are shown in the screenshots. I will keep an eye out and update you if anything changes.