В последние дни я получал теоретические вопросы по поводу работы TrinityThunder, но т.к. был загружен до обоснованных ответов смог добраться только сегодня.

Часто спрашивают, что делать, если поисковики забанят IP сервера и TrinityThunder больше не сможет парсить? Во-первых, перед парсингом очередной статьи дорген выбирает поисковик случайным образом из целого списка имеющихся. Во-вторых, вы всегда можете добавить список своих прокси, чтобы перед парсингом дорген случайным образом выбирал еще и IP. В-третьих, сегодня я протестировал все поисковики, отправляя с одного IP по 10к последовательных запросов в каждый. На последнем запросе от каждого поисковика был получен контент релевантный последнему кейворду, следовательно ни от одного поисковика не было ни бана, ни shadow-бана. Поэтому каких-либо ограничений для массового парсинга я не вижу.

Теперь к вопросам о производительности: сколько можно добавлять доменов, ключей на домен и т.п. - в доргене такие ограничения не установлены. В сравнении со старой версией, новый TrinityThunder более легкий и быстрый, поэтому сможет выжать из вашего железа максимум.

Я решил сравнить локальную производительность обоих доргенов. Для теста я сохранил 2 веб-страницы с маленькой и большой статьями в файлы, размеры которых получились 175кб и 1мб соответственно. Затем в обоих доргенах я отключил кэширование и внес некоторые правки в код: при вызове функции парсинга статьи они должны были открывать этот локальный файл (а не обращаться в интернет), парсить из него статью и выводить на странице. В итоге я отправил по 1к одинаковых запросов к обоим доргенам на каждую из статей, результаты получились следующие.

TrinityThunder справился с маленькой статьей за 15 сек, а с большой за 21 сек. Старый Thunder справился с маленькой статьей за 197 сек, а с большой за 1702 сек (это больше, чем 28 минут). Все дело в том, что старый Thunder задействует тяжелый функционал во время разбора статьи, а это критически сказывается на производительности, и, в зависимости от контента, может надолго отправить в раздумья даже мощный сервер.

На досуге распаковал завалявшийся у меня архив с доргеном Мика Фокси под названием "Autodor 2.2.3".

Автор широко известен в узких кругах, а его дорген умеет работать с API ГдеСлон, поэтому мне стало любопытно взглянуть, что он из себя представляет.

Прочитав весь код я разочаровался, т.к. ожидал увидеть что-то более интересное. Несмотря на то, что дорген пережил множество релизов, по глубине содержания его код напоминает школьный реферат.

Основные минусы движка:
-) нагроможденность бесполезными функциями создает пустую нагрузку на сервер
-) однопоточный парсер и ошибки в обращении с БД затягивают время генерации контента

В остальном же, часть функционала не продумана, часть уже отлетела из-за отсутствия поддержки, поскольку автор давно забросил свой проект. Но даже раньше, когда это все было еще актуально, на мой взгляд, тянуть всего несколько сайтов с большим количеством кейвордов и раздутой БД такому доргену было крайне тяжко.

Сегодня подготовил небольшое обновление для TrinityThunder, в него вошли:
- дополнительные парсеры подсказок
- дополнительный парсер поисковика
- улучшение парсинга всех поисковиков за счет некоторых твиков
- возможность парсинга поисковиков через TOR

Обновление бесплатное, покупатели могут заменить файлы index.php, config.php, текстовый файл из папки '777/cache', а также файл 'manual.html' из папки 'manual'.

Подготовил небольшое бесплатное обновление для TrinityThunder. В него вошли следующие изменения:
- обновление мануала по части настройки VPS
- сохранение оригинальных атрибутов alt, title, height, width для картинок в статьях (в пустые alt и title будет вставляться кейворд)
- усовершенствование функции подключения внешних БД
- добавление шаблона генерации статьи из БД, созданной с помощью ContentBox
- возможность отключения страниц внешнего ключевого слова
- возможность задать количество повторных попыток при неудачном парсинге сниппетов
- возможность парсить сниппеты через переводчик
- возможность маскироваться под Googlebot при парсинге статей

В некоторых нишах выдача забита дорвеями, которые показывают гуглботу контент, а посетителей сразу редиректят на партнерку, из-за чего распарсить их не удается. Большинство таких дорвеев имеют примитивный клоакинг, который легко обойти с помощью подмены юзерагента (и кое-чего еще), для этого и предусмотрена маскировка под Googlebot. А вот с моим TrinityAntibotCloak такие фокусы не пройдут)

Для обновления замените:
- config.php
- index.php
- key_page.php из папки с дефолтным шаблоном
- папку manual

После обновлений и подгрузок своих кейвордов\БД обязательно чекайте логи ошибок 1-2 привязанных сайтов, чтобы быть уверенными, что все прошло удачно.

Подготовил небольшие бесплатные обновления для доргенов.

В конфиги обоих доргенов добавлена опция для ручного задания протокола. Когда ваш сайт проксируется через Cloudflare, в браузере вы видите, что он имеет протокол 'https', но ваш сервер и дорген об этом не знают. В таком случае, вам нужно указать протокол 'https' вручную, тогда парсер будет пропускать картинки с сайтов без SSL для предупреждения появления алерта о смешанном контенте. Это касается только тех, кто использует CloudFlare. Если вы выпускаете SSL-сертификаты самостоятельно, то менять ничего не нужно, парсер все поймет автоматически.

TrinityThunder:
- улучшения в работе парсера сниппетов
- добавлена опция отключения парсинга таблиц, т.к. иногда попадаются широкие таблицы, которые не влазят в узкий шаблон, из-за чего html-разметка может съезжать
Для обновления замените index.php, config.php, текстовый файл из папки cache, а также key_page.php в папке с шаблоном.

TrinityCPAGen:
- улучшения в работе парсера сниппетов
- измененем title и meta_description на странице товара
Для обновления замените index.php, config.php, текстовый файл из папки cache, а также key_page.php и prod_page.php в папке с шаблоном.

Внес небольшие правки в файлы 'key_page.php' и 'prod_page.php' из папки с шаблоном TrinityCPAGen. Генерацию title и meta_description перенес в конец шаблона и сделал более продуманной. Обратите внимание на то, как теперь генерируются эти теги.

Релиз TrinityDatabaseDoorways - стоимость 8000 руб.

https://trinityscripts.blogspot.com/2023/02/trinitydatabasedoorways.html

Релиз рандомизатора шаблонов TrinityTemplateRandomizer - стоимость 8000 руб.

https://trinityscripts.blogspot.com/2023/02/trinitytemplaterandomizer.html

Небольшое обновление для рандомизатора шаблонов TrinityTemplateRandomizer:
-) более гибкие настройки в конфиге;
-) более широкий охват рандомизации;
-) изменение названий переменных;
-) уникализация исходного кода svg-изображений (пример выше);

Благдарю всех за обратную связь, обновленные файлы размещены на Диске.

Статистика изменений в css-файле тестового шаблона подтверждает улучшения. Получилось даже больше 100%, т.к. помимо общей рандомизации были удалены старые комментарии и добавлено несколько новых случайных.

Релиз доргена TrinityAdultTubes[XVideos] - стоимость 9000 руб.

https://trinityscripts.blogspot.com/2023/03/trinityadulttubesxvideos-php-xvideos.html

Небольшое бесплатное обновление для TrinityTemplateRandomizer:
- в мануал добавлены советы по работе со скриптом
- изменены настройки вставки комментариев - теперь вместо количества задается вероятность
- вставка комментариев и минификация больше не затрагивают php-код

Обновленные файлы загружены на Диск.

Вышла новая версия доргена TrinityAdultTubes:
https://trinityscripts.blogspot.com/2023/03/trinityadulttubesxvideos-php-xvideos.html

Теперь стоимость доргена составляет 12000 руб. Все купившие дорген ранее могут получить обновление доплатив разницу в стоимости.

Новая версия имеет два основных отличия:

1) Теперь дорген не ограничен видеороликами с одного только сайта XVideos. Добавлена возможность объединить базу XVideos с еще четырьмя крупнейшими XXX-тьюбами. Объединенная база насчитывает около 26 миллионов видеороликов.

2) Теперь видео сортируются не только по категориям, а также и по разделам (Straight, Gay, Trans). Из Гугла пользователь будет попадать именно в тот раздел сайта, к которому относится найденное им видео. Следовательно, он будет видеть в перелинковке только тематические видеоролики, а также только те баннеры, которые вы определелили для показа в данном разделе сайта (например, в разделе для геев будут показываться баннеры, соответствующие гейским офферам).

Демонстрация внешнего вида дорвея, который работает на дефолтном шаблоне "xvideos", идущем в комплекте с доргеном TrinityAdultTubes.

Вышла новая версия клоакингового антибота TrinityAntibotCloak:
https://trinityscripts.blogspot.com/2022/12/trinityantibotcloak.html

Стоимость 4000 руб, стоимость обновления 1000 руб.

Изменения:
-) поддержка PHP 8.2
-) определение страны посетителя теперь работает на всех доменах, даже не проксируемых CloudFlare
-) наглядная статистика с подсчетом количества реальных поисковых ботов и посетителей из поисковых систем

Подготовил небольшое бесплатное обновление для TrinityAntibotCloak v2.

Изменения:
- добавлена проверка на валидность бота новой поисковой системы
- добавлена возможность пропускать \ блокировать каждого поискового бота индивидуально
- обновлен список валидных рефереров
- статистика на графиках расширена до всех поисковых ботов и теперь обновляется не по счетчику, а по таймеру
- статистика доменов под графиками теперь показывает количество "всего / сегодня"
- добавлено левое меню навигации по группам на странице статистики
- переписаны некоторые функции с целью улучшения быстродействия
- в мануал добавлены примеры: как редиректить пользователей после определенного числа кликов, как редиректить только пользователей с реферером поисковика

Для обновления требуется установка с нуля.

Мир, Труд, Май, товарищи!

Релиз ботоводческой фермы TrinityBotFarm:
https://trinityscripts.blogspot.com/2023/05/trinitybotfarm.html

Стоимость 4000 руб.

Подготовил небольшое бесплатное обновление для TrinityAntibotCloak v2.

Изменения:
- сменил графическую библиотеку, сейчас графики статистики выглядят покрасивше, дают обобщенную информацию при наведении, а также появилась возможность скрывать кривую отдельного поисковика при клике на ее название.

Для обновления замените файлы 'TrinityAntibotCloak.php', файл 'template.php' удалите, а вместо него загрузите папку Template.

Сегодня еще раз обновил графическую библиотеку TrinityAntibotCloak v2, остановился в итоге на другом варианте. Техника обновления описана выше.