https://trinityscripts.blogspot.com/2022/12/trinitycpagen.html

Релиз TrinityCPAGen - стоимость 8000 руб.

https://trinityscripts.blogspot.com/2022/12/trinityantibotcloak.html

Релиз TrinityAntibotCloak - стоимость 4000 руб.

Провел небольшое сравнительное тестирование эффективности кэша у CPAGen старой и новой версий. В обоих версиях включил все парсеры (сниппеты, картинки, видео, подсказки), а также загрузку 100 товаров с API ГдеСлон. Сделал по 100 запросов к каждой версии доргена (ключи в запросах использовал одинаковые), чтобы кэшировать контент этих 100 страниц. Затем сделал по 10 запросов к каждой из этих кэшированных страниц (т.е. всего 1000 запросов). Результаты следующие:

TrinityCPAGen: размер кэша 100 страниц составил 1.85мб, скорость поиска и отдачи кэша на 1000 запросов составила около 14 секунд.

CPAGen: размер кэша 100 страниц составил 51.8мб, скорость поиска и отдачи кэша на 1000 запросов составила около 1 минуты. Кроме того, эта версия при каждом обращении к кэшу повторно парсит его, создавая дополнительную нагрузку на процессор.

Эффективный кэш для серверных доргенов является жизненно важным, т.к. позволяет уменьшить количество обращений к поисковым системам и каталогам товаров, что существенно ускоряет работу сайтов (первоначальная генерация этих 100 страниц в один поток составила около 2,5 минут в обоих случаях, т.к. она ограничена скоростью получения информации от сторонних сайтов).

Сегодня провел сравнительное тестирование еще одной функции доргена - парсинг товаров из локальных xml- и csv-фидов.

API от ГдеСлон это, конечно, хорошо, но не все им пользуются. ГдеСлон, а также другие партнерки, в т.ч. западные, позволяют делать файловые выгрузки товаров. В обеих версиях CPAGen заявлено, что он умеет парсить товары из локальных файлов, поэтому давайте проверим, какая версия делает это лучше.

Для тестов я использовал две большие выгрузки товаров по 300мб. Одна была в формате CSV с западной партнерки, другая была в формате XML с ГдеСлон. Ключевое слово я поместил в самый конец обоих файлов, чтобы доргенам пришлось пропарсить их от начала до конца. После этого я сделал по одному запросу к каждому доргену, использя данное ключевое слово. Результаты получились следующие.

CSV-файл:
CPAGen нашел ключевое слово за 50 сек. Должен сказать, что мне предварительно пришлось еще минут 20 потратить на то, чтобы понять, почему он не мог его найти в первых тестах. Оказывается он понимает только разделитель ';', а в моей выгрузке разделителем была ','. Кроме того по непонятной причине он каверкает ключевое слово так, что потом сам не может его найти. Принудительно вбил в его код перед началом поиска ключевое слово в таком виде, в котором оно присутствует в выгрузке, тогда процесс пошел.
TrinityCPAGen нашел ключевое слово за 46 сек. Неплохо, но я захотел протестировать скорость нескольких разных подходов. В итоге добился колоссального прироста производительности - поиск стал проходить всего за 6 секунд.

XML-файл:
CPAGen провалил тест, т.к. он прерывает поиск и возвращает ошибку "Shop: missing required attribute 'company'". Вновь ковыряться в его коде у меня желания не было.
TrinityCPAGen с обновленным механизмом поиска справился за 8 секунд.

В обоих случаях данный запрос кэшировался, поэтому в ответ на повторное обращение страница загружалась моментально. Также, новый CPAGenTrinity умеет работать с несколькими выгрузками одновременно, показывая их на страницах сайта в качестве категорий, поэтому быстродействие доргена можно еще больше увеличить, если разбить крупную выгрузку на несколько маленьких.

Все, кто купил дорген ранее, могут перекачать и заменить корневой файл "index.php", чтобы получить обновленный механизм поиска.

Наконец-то дошли руки и я написал свой даунлодер веб-страниц! Раньше, желая создать новый шаблон для доргена, приходилось мучиться со всякими качалками под Windows или с wget-ом, но теперь у меня появилось собственное решение.

Заданные в списке веб-страницы какого-либо сайта с красивым оформлением (например, главная страница, страница категории и страница товара) скачиваются и сохраняются в корневой папке сайта сразу с расширением '.php'. Также, в корневой папке сайта создается подпапка 'res', в которую помещаются все остальные файлы (стили, срипты, картинки, шрифты и т.д.). Весь этот минимализм нужно просто положить в папку на виртуальном сервере и можно спокойно начинать править шаблон под себя.

Нет больше гигантского дерева из подпапок, которое нельзя нарушать из-за относительных путей! Нет больше искаверканых имен файлов из-за '?' или '#' в ссылке на них! Нет больше слетевших стилей и шрифтов! Да здравствует комфорт и удобство!!!

Релиз TrinityThunder - стоимость 8000 руб.

https://trinityscripts.blogspot.com/2023/01/trinitythunder.html

Релиз TrinityCPAGen 2.0 - стоимость 8000 руб, стоимость обновления 2000 руб.

Работая над TrinityThunder я проводил много тестов и, в итоге, усовершенствовал движок Trinity, сделав его еще быстрее. Сейчас же я внедрил обновленный движок в CPAGen, а также добавил и другие новшества.

Список всех изменений:
- автоматический пинг карты сайта в Google сразу после привязки домена
- дорген теперь может работать в подпапке основного сайта, запускаясь и генерируя контент только лишь в ответ на запросы типа "/shop/*"
- обновленный движок Trinity находит и возвращает кэшированные данные во много раз быстрее
- добавлена опция включения\отключения кэширования (удобно для проведения тестов)
- добавлена опция включения\отключения сжатия кэша, задание степени сжатия кэша
- добавлена опция по ручной настройке транслитерации url
- изменен алгоритм подбора товаров по ключевому слову, благодаря чему выборка стала более релевантной и создается быстрее
- изменен код парсера картинок, благодаря чему он стал собирать больше картинок
- добавлена возможность задать список прокси для парсеров
- функция проксирования картинок стала работать корректно в тех случаях, когда у изображения нет расширения
- скорректирован исход сценария при котором несколько потоков скрипта одновременно пытаются инициализировать один и тот же домен
- некоторая оптимизация кода в дефолтном шаблоне для лучшего представления контента парсеров
- некоторые изменения в структуре папок для большей интуитивности

https://trinityscripts.blogspot.com/2022/12/trinitycpagen.html

Многие привыкли к администрированию хостинга и ошибочно полагают, что настроить VPS для работы с доргеном это что-то из разряда научной фантастики. По этой причине я получаю вопросы на тему, будут ли мои доргены работать на хостинге. Честно говоря, мне даже лень проверять, потому что хостинг больше подходит для сайта на какой-нибудь CMS, но никак не для серверного доргена.

Не так давно мне нужно было целиком выгрузить один очень вредный сайт с бегетовского хостинга, и ради этого я даже написал отдельный скрипт. Так вот, при скачивании сайта этот хостинг постоянно подвисал, отдавая ошибки 50х, а затем просто падал минут на 5-10. И это несмотря на то, что от отчаяния я скачивал его уже в один поток и без всякого мультиплексирования. Такое вот дерьмо эти ваши хостинги под управлением Apache.

Если вы хотите успешно запускать динамические дорвеи пачками, то вам непременно нужна следующая классическая связка: VPS с SSD + CENTOS 7 + PHP-FPM 7 + NGINX. С такой связкой даже одноядерная VPS по самому дешевому тарифу будет весьма неплохо для своей стоимости справляться с нагрузкой!

Настроить VPS самому вовсе не трудно. Я написал краткую инструкцию всего из 4 шагов, следуя которой вы сможете установить на VPS с CENTOS 7 необходимый софт и произвести необходимые настройки. Дальше уже можно спокойно загрузить на сервер дорген и привязать к нему домены, не используя при этом бесполезный хлам, вроде панели Vesta.

Все доргены и скрипты представлены на сраницах блога: https://trinityscripts.blogspot.com/