Google Indexer | Google Index | Индексатор Google | Индекс Гугла | Индексация ссылок Гугл
354 subscribers
28 photos
1 video
11 links
Автоматический индексатор сайтов в Google, Яндексе и Бинге. | Automatic website indexer for Google, Yandex, and Bing.
https://sitesindexer.com
Download Telegram
Где-то на просторах интернета появилась информация о том, что можно обойти лимиты, отправляя 10-20к ссылок одним запросом. Мне об этом написали несколько человек. И я провел тест.

В течение 5 дней я, используя только 7 ключей, отправлял пакетные запросы, ориентируясь на этот "лайфхак". За 5 дней было отправлено 394517 ссылок. С 7 ключей. Да, ссылки отправлялись, здесь вопросов нет. Но потом появились первые результаты.

В первый день вместо примерно 70к пришел только 3531 бот. На второй - 5368. Да, это немного больше, чем то, что написано в документации Google Indexing API (7*200=1400), но гораздо меньше, чем было отправлено ссылок. В индекс вошла 8861 страница. А на третий день ключи сломались.

Вывод. Не стоит так делать! Добавить в индексатор возможность отправлять в запросе по 10к или 20к ссылок - дело правки двух строчек кода. А результат на скриншотах. Еще понаблюдаю, если что-то изменится, расскажу.

——————————————————————-

Somewhere on the Internet, there was information that it was possible to bypass the limits by sending 10,000 to 20,000 links in one request. Several people wrote to me about this. And I conducted a test.

For 5 days, I used only 7 keys to send batch requests based on this "life hack." In 5 days, I sent 394,517 links. With 7 keys. Yes, the links were sent, and there are no issues with that. But then the first results appeared.

On the first day, instead of about 70k, only 3531 bots came. On the second day, it was 5368. Yes, this is slightly more than what is written in the Google Indexing API documentation (7*200=1400), but it is much less than the number of links sent. 8861 pages were included in the index. On the third day, the keys broke.

Conclusion. Don't do this! Adding the ability to send 10,000 or 20,000 links in a request is as easy as editing two lines of code. The results are shown in the screenshots. I will keep an eye out and update you if anything changes.
Для установки индексатора, кроме файлов скрипта, которые вы получите после покупки, нужен хостинг или vps и домен com.

Технические требования:
- Веб-сервер Apache с установленным модулем mod_rewrite (или без него, если Apache >= 2.2.16);
- PHP версии 8.1;
- IonCube Loader для этой версии php
- Модули для PHP: gd, iconv, mbstring, simplexml, json, filter, zip;
- MySQL 5.7+, MariaDB;
- ОЗУ от 1 ГБ (memory_limit от 1024 MB);
- Планировщик Cron с выполнением раз в минуту;
- IPv4.

Если не можете выбрать хостинг, посмотрите vps здесь (выбирайте локацию без ipv6, например, Нидерланды).

———————————————————————

To install the indexer, in addition to the script files that you will receive after purchase, you will need a hosting or vps account and a .com domain.

Technical requirements:
- An Apache web server with the mod_rewrite module installed (or without it if Apache >= 2.2.16);
- PHP version 8.1;
- IonCube Loader for this version of PHP
- Modules for PHP: gd, iconv, mbstring, simplexml, json, filter, and zip;
- MySQL 5.7+, MariaDB;
- RAM from 1 GB (memory_limit from 1024 MB);
- Cron scheduler with execution once a minute;
- IPv4.

If you can't choose hosting, look at vps here (choose a location without ipv6, for example, the Netherlands).
Обновление 2.0.1

Про версию 2.0.0 я здесь не писал, так как изменения там были незначительными, а для обновления требовалась переустановка. Но это обновление стало вынужденным, спасибо Гуглу. Если у вас версия 2.0.0, то это у вас уже есть. Итак, что изменилось по сравнению с версией 1.1.2:

Как известно, индексатор работает на базе движка InstantCMS. Версия движка обновлена, после чего была изменена структура файлов и таблиц БД. Я вырезал всё лишнее и добавил некоторые разделы, которые раньше были скрыты. Например, управление пользователями. Ну и вообще в админке много чего изменил. Стало удобнее))

А теперь про 2.0.1
- В истории теперь есть ссылка на редиректную страницу, если ссылка была отправлена через редирект. Теперь опция для отправки таких ссылок называется "Запросы через редирект". Также я разделил редиректы для Google и Indexnow. Теперь можно одновременно загрузить ссылки в обе очереди, но в одну с редиректами, во вторую прямыми запросами. Для гугла теперь по-умолчанию включены редиректы.
- В разделе "Система" я добавил пример задания для cron. Теперь настроить будет проще.
- Но это мелочи. Основное - это работа в текущих условиях. Теперь максимальная производительность индексатора увеличилась почти в 3 раза, теперь максимально можно отправить 273600 ссылок в сутки. При определенных условиях, конечно. Здесь я не буду раскрывать подробности, обсудим это в секретном канале: https://t.me/+a7n7cYr52Og3MjQy (ТОЛЬКО для клиентов).

Важно! Начиная с этой версии код частично закрыт IonCube. Индексатор привязан к домену. Один ключ = один домен со всеми поддоменами. Работает теперь только на версии php 8.1, на сервере должен быть включен IonCube Loader версии 12.0 или выше.

Цены теперь такие:
https://t.me/googleindexingapi/75

————————————————————————————

Update 2.0.1

I didn't write about version 2.0.0 here, as the changes were minor, and the update required reinstallation. However, this update was necessary due to Google's request. If you have version 2.0.0, you already have this update. So, what has changed compared to version 1.1.2?

As you know, the indexer is based on the InstantCMS engine. The engine version has been updated, after which the structure of the database files and tables has been changed. I've cut out everything unnecessary and added some sections that were previously hidden. For example, user management. Anyway, I've changed a lot of things in the admin area. It became more convenient))

And now about 2.0.1
- The history now has a link to the redirect page, if the link was sent through a redirect. Now the option to send such links is called "Requests through a redirect". Also I divided redirects for Google and Indexnow. Now you can simultaneously upload links to both queues, but in one with redirects, in the second with direct requests. For google now redirects are enabled by default.
- In the "System" section, I've added an example cron job. It's now easier to configure.
- But these are minor details. The main focus is on working in the current conditions. The maximum indexer performance has increased by almost 3 times, allowing for a maximum of 273,600 links per day. However, this is subject to certain conditions. I won't disclose the details here, but we can discuss them in a private channel: https://t.me/+a7n7cYr52Og3MjQy (for clients only).

Important! Starting from this version, the code is partially closed by IonCube. The indexer is linked to the domain. One key = one domain with all subdomains. It now works only on php 8.1, and the server must have IonCube Loader version 12.0 or higher enabled.

The prices are now as follows:
https://t.me/googleindexingapi/75
Если сразу же после установки вы не настроили reCaptcha, а потом случайно ввели неверный пароль, вторая попытка будет с капчой. Но вы получите ошибку "Неверный домен ключа". Авторизоваться в данном случае не выйдет. Решение проблемы такое:

1. Откройте индексатор во вкладке инкогнито
2. Введите email и пароль, войдите и настройте reCaptcha

Если вы забыли пароль или почту, тогда сделайте так:

1. Перейдите в phpMyAdmin, найдите таблицу cms_users
2. В строке с ID=1 в поле email посмотрите, какой у вас email
3. В поле password_hash вставьте $2y$10$pb8TAolh9VxLtc5tBwQir.UYRuHRLIDCGbgm4zCFWGsU5APi0tOIG
4. Откройте индексатор во вкладке инкогнито
2. Введите email и пароль, ваш пароль теперь googleindexing@example.com. Войдите и настройте reCaptcha. Ну и можете сменить пароль.

———————————————————-

If you haven't set up reCaptcha immediately after installation, and then accidentally enter an incorrect password, the second attempt will be with a captcha. But you will get an error "Invalid key domain". You won't be able to log in in this case. The solution to the problem is as follows:

1. Open the indexer in the incognito tab
2. Enter your email and password, log in, and set up reCaptcha

If you have forgotten your password or email, then do the following:

1. Go to phpMyAdmin, find the cms_users table
2. In the line with ID=1, in the email field, see what your email is
3. In the password_hash field, insert $2y$10$pb8TAolh9VxLtc5tBwQir.UYRuHRLIDCGbgm4zCFWGsU5APi0tOIG
4. Open the indexer in the incognito tab
2. Enter your email and password, and your password is now googleindexing@example.com. Log in and set up reCaptcha. You can also change your password.
Обновление. Версия 2.0.2. Подробности в канале (только для клиентов).

Кратко: теперь можно отправлять до 1.7 млн запросов в сутки и некоторые другие улучшения.

————————————————————

Update. Version 2.0.2. Details in the channel (for customers only).

Briefly: now you can send up to 1.7 million requests per day and some other improvements.
Обновление 2.0.3. Что изменилось:

Для всех:
1. Добавил учет гуглбота.
2. Добавил опцию блокировки ссылки в истории для бота, если бот сканировал страницу определенное количество раз (сами устанавливаете, сколько раз). Эту опцию можно использовать вместо удаления ссылок из истории.
3. Жестко запретил гуглботу кэшировать редиректную страницу.
4. Добавил блокировку бота GoogleOther.
5. Добавил генерацию редиректных урлов - вместо md5 урла теперь можно сгенерировать нормальные урлы, которые состоят из числа от 1 до 10000000 и 2-4 слов из базы через дефис, например, 7405453-sleep-said или 5887820-top-garage-alarm-grass
6. Добавил опции для выбора в какую очередь добавлять ссылки по умолчанию.
7. Поправил описания полей и инструкцию.
8. Другие улучшения.

Для безлимита:
1. Добавлен раздел "Домены редиректов". Можно добавить любое количество доменов, включать, выключать, назначать главным и т.д.
2. Ссылки можно отправлять через разные редиректные домены. При загрузке ссылок выбираете, через какой домен отправлять. Конечно, это должны быть ваши домены и они должны быть настроены на это. Это работает только при пакетной отправке запросов и для редиректов.
3. Через редиректные домены ссылки отправляются без директории редиректов (без page). Например, адрес может выглядеть так: https://example.com/5887820-top-garage-alarm-grass
4. Больше не надо полностью переустанавливать индексатор на новый домен, если текущий попал в бан - в разделе с доменами для редиректов рядом с доменом скачиваете архив, распаковываете его в корне нового домена и всё. Конечно, надо новый домен добавить в серч консоль и привязать к нему ключи. Дополнительные домены могут не иметь БД и быть на любой версии php. Ну и как уже сказано в п. 1 - доменов может быть сколько угодно.
5. В связи с пунктами 1-3 пришлось написать новый метод API для приема гуглбота и редиректа куда надо с учетом всех настроек редиректов.

———————————————————————

Update 2.0.3. What has changed:

For everyone:
1. Added Googlebot account.
2. Added an option to block a link in the history for the bot if the bot has scanned the page a certain number of times (you set the number of times). This option can be used instead of deleting links from the history.
3. Strictly prohibited Googlebot from caching the redirect page.
4. Added a GoogleOther bot block.
5. Added generation of redirect urls - instead of md5 url, you can now generate normal urls that consist of a number from 1 to 10000000 and 2-4 words from the database separated by a hyphen, for example, 7405453-sleep-said or 5887820-top-garage-alarm-grass
6. Added options to choose which queue to add links to by default.
7. Corrected field descriptions and instructions.
8. Other improvements.

For unlimited:
1. Added the "Redirect domains" section. You can add any number of domains, enable, disable, set as main, etc.
2. Links can be sent through different redirect domains. When loading links, you can choose which domain to send them through. Of course, these must be your domains and they must be configured for this. This only works for batch sending requests and redirects.
3. Through redirect domains, links are sent without a redirect directory (without page). For example, the address may look like this: https://example.com/5887820-top-garage-alarm-grass
4. You no longer need to completely reinstall the indexer on a new domain if the current one has been banned. In the redirect domains section, next to the domain, you can download an archive, extract it to the root of the new domain, and that's it. Of course, you need to add the new domain to the search console and associate the keys with it. Additional domains can have no database and can be on any version of PHP. As mentioned in point 1, you can have as many domains as you want.
5. Due to points 1-3, I had to write a new API method for accepting Googlebot and redirecting it to the correct location, taking into account all the redirect settings.
Google Indexer | Google Index | Индексатор Google | Индекс Гугла | Индексация ссылок Гугл
Обновление 2.0.3. Что изменилось: Для всех: 1. Добавил учет гуглбота. 2. Добавил опцию блокировки ссылки в истории для бота, если бот сканировал страницу определенное количество раз (сами устанавливаете, сколько раз). Эту опцию можно использовать вместо удаления…
Версия 2.0.3 - обновление готово!

Порядок обновления в закрытом канале (только для клиентов).

Цены обновлены: https://t.me/googleindexingapi/75

———————————————————-

Version 2.0.3 - the update is ready!

Update procedure in the private channel (for customers only).

Prices have been updated: https://t.me/googleindexingapi/75
Обновление 2.0.4

- Исправлены доступы для доп. пользователей. Настройка прав доп. пользователей вынесена в отдельную вкладку.

РЕДИРЕКТЫ:
- добавлена опция включения/отключения кэширования редиректных страниц
- добавлена опция включения/отключения подсчета ботов, если достигнут порог допустимых переходов ботов
- добавлена опция для выбора, что будет с редирекной страницей, если бот уже пришел разрешенное количество раз: отдавать 404 или редирект на другую страницу. При этом также можно настроить редиректы, кэширование, мета-тег robots, тип редиректа, как и для обычных запросов
- добавлена опция для отправки редиректных урлов на удаление (если выбрано 404) или переотправку (если выбран редирект на другую страницу)
- добавлена опция для переотправки страниц, если в течение определенного времени не пришел бот

ДОМЕНЫ РЕДИРЕКТОВ (в версии безлимит):
- при добавлении ссылок можно выбрать "случайный домен" - в этом случае для всех ссылок будут разные домены
- теперь если выбран основной домен редиректов, отправлять ссылки через домен индексатора нельзя. Так же все ссылки в очереди, у которых изначально был установлен домен индексатора, будут отправлены через домен редиректов, назначенный основным
- исправлены файлы подключения домена

SITEMAPS CHECKER:
- выбор домена редиректов, как и при обычной загрузке ссылок, включая случайный домен
- смена домена для любых карт - у всех вложенных или у каждой отдельно


——————————————————————

Update 2.0.4

- Fixed accesses for additional users. The settings for additional users have been moved to a separate tab.

REDIRECTS:
- Added an option to enable/disable caching of redirect pages
- Added an option to enable/disable bot counting if the threshold for bot transitions is reached
- Added an option to choose what will happen to the redirect page if the bot has already visited it the allowed number of times: return a 404 or redirect to another page. You can also configure redirects, caching, the robots meta tag, and the redirect type, just like for regular requests
- added an option to send redirect URLs for deletion (if 404 is selected) or re-sending (if a redirect to another page is selected)
- added an option to re-send pages if a bot does not arrive within a certain time

REDIRECT DOMAINS (in the unlimited version):
- when adding links, you can select "random domain" - in this case, all links will have different domains
- now, if the main redirect domain is selected, you cannot send links through the indexer domain. Additionally, all links in the queue that originally had the indexer domain set will be sent through the redirect domain assigned as the main domain
- the domain connection files have been fixed

SITEMAPS CHECKER:
- select the redirect domain as you would with a normal link download, including a random domain
- change the domain for any maps - all nested or each separately

Update order in a private channel for customers.
Media is too big
VIEW IN TELEGRAM
Как добавить домены редиректов и немного про новые опции

———————————————————

How to add redirect domains and a bit about new options (in Russian)