Сервис RoboTools - Восстановить из Веб-Архива + Скачать сайт целиком
118 subscribers
16 photos
1 file
4 links
🟢 https://r-tools.org - Download Sites & Recover from Wayback Machine / Internet Archive

🟡 Support: @myfeedbackrobot

— —–––

🔴 Services (actively developing)

🔵 #keywords: Скачать из Веб-архива, Скачать сайт полностью
Download Telegram
У Вебархива сейчас проходят "Internet Archive: Scheduled Maintenance"

(показать технические подробности) поэтому не все его сервисы сейчас работают (WebArchive CDX пока не работает - через это API происходит резолв имени домена до снимка)

Пока что для добавления новой задачи используйте адрес самого снимка (а не имя домена)

Адрес снимка это строка вида:

https://web.archive.org/web/20110426181502/http://web-parser.ru/


Так должно всё добавиться и включиться в работу.

О проблемах пишите сюда: @hx048h
👍311
To-Do: сделать бота, api, переписать парсер и добавить новые сервисы для телеги. 🤯
4
🟢🟢🟢🟢🟢🟢🟢
1.обновлен UI
2.добавлена поддержка мобильной версии
3.первая версия бота (соответствующий пункт появился в настройках — подключить telegram-бот), сейчас умеет присылать magic-link для входа в аккаунт и узнавать вас. 🟢 @robotools_bot
4.в планах: управление задачами из бота + пополнение баланса (⭐️)

🔵Обратная связь: -> 🟢 @myfeedbackrobot
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
5🏆3👍11
Привет! С Новым годом 🌟

🔤Сервис переехал на новое железо
🔤Обновлен UI
🔤Возможность создавать и запоминать профили настроек для задач
🔤Скоро будет готово полноценное пользование сервисом из телеграм-бота
🔤HTTP API уже разработано, но еще тестируется
🔤Автоматическая оплата уже скоро появится
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍832
Внезапно обнаружил, что вот так заходит на сайт безо всяких прокси:

$ sudo apt install links
$ links https://service.r-tools.org/page/blog/wget-how-to-download-website-fullcopy


А с обычного браузера без 'специального костюмчика' уже давно не открывается.

Если в чате есть астрологи, то просьба пояснить за ретроградный интерфейс: туда ли движется мода или еще не?

√ одинаково хорошо открывается на всех устройствах
√ не требователен к ресурсам
√ высокая экономия трафика
√ устойчивая защита от XSS и clickjacking-атак
8
Начал переписывать краулера/паука. В планах следующее:

Загружать контент сразу в базу SQLite, что позволит добавить редактирование прямо на сайте, массовую автозамену, с возможностью отката действий.

Плюс, наверное будет неплохо добавить авточекер на 404. Видел, у конкурентов вовсю используются собственные mini-CMS — такое сделать в принципе тоже можно, но подумываю над тем как можно сделать экспорт в Wordpress, т.к. у страниц на сайте обычно одна и та же структура, и это кажется решаемой задачей.

Если у вас есть идеи, или какие-то рутины которые хотелось бы автоматизировать, можете накидать в личку канала или в комменты.

Насчет бота: бот почти готов и апишка тоже (хотя требует некоторой доработки), но все сейчас уперлось в то что паук стал криво парсить архив, поэтому приоритет сейчас отдается этому.


P.S. Сегодняшние сообщения были замаскированы как бы под шутку, однако ей не являлись.
91
Деградация ответов Веб-Архива в зависимости от количества и плотности запросов. Белые пятна — это таймауты.

"Просто взять и использовать прокси" – не помогает. Веб Архив видит обращения к снимку.

Давайте предположим что автор просто пережил очень сложную галлюцинацию, а выход все-таки есть.

В таком случае, напишите об этом в комменты
6
🔤Новый парсер дописан и выложен в пользование(+тестирование) для ограниченного круга пользователей.

🔤Получить ранний доступ можно если вы наш постоянный клиент и есть хотя бы 1 факт оплаты за последние 3 года. Для этого нужно написать @hx048h или в Support | количество мест ограничено

Продукт сейчас подразумевается "сырым" и может содержать баги.

.•° готовность проработать парсер и внести исправления под ваши запросы


🔤Заложенные в новый парсер возможности:

🔵 полностью переписанное ядро, с учетом Rate Limits [ограничения Веб Архива на данный момент полностью обойти не удалось, даже через прокси, но есть тщательно рассчитанное временное окно для наиболее оптимальной работы]

🔵 более корректная обработка url, сохранение адресации как можно ближе к оригиналу

🔵 url с query_strings (?param=1&a=b) теперь полностью поддерживаются

🔵 сохранение прогресса задачи с возможностью докачки после останова [возможность сейчас тестируется]

🔵 сохранение и воспроизведение оригинальных редиректов

🔵 обновленный .htacess, роутинг и база для роутинга (теперь хранится в SQLite)

🔵 сохранение разных версий одной страницы

🔵 поддержка прокси

🔵 и еще ряд других улучшений

⚠️ Единственное ограничение сейчас — это скорость выкачки отдельных задач, из-за таймаутов накладываемых Веб-Архивом. Она стала заметно ниже, но это все еще приемлимо для большинства проектов.


🔤Готовящиеся возможности:
🔵 возможность массово обрабатывать страницы пользовательским набором регулярок (настраиваемо)
🔵 любые возможные массовые действия с выкачанным контентом через аддоны (веб)
🔵 онлайн-редактор
🔵 улучшенный бот ()
🔵 доступ к API ()

Поскольку новый парсер был переписан на php+cURL и может быть легко установлен на практически любой системе, предполагается, что парсер может стать доступным для индивидуального приобретения. Без каких-либо привязок к IP или железу, без следилок и какой-либо телеметрии.

Следите за нашими новостями.

🔵🔵🔵🔵🔵
🔵🔵🔵🔵🔵🔵🔵🔵🔵
🔵🔵🔵🔵🔵🔵🔵🔵🔵
Please open Telegram to view this post
VIEW IN TELEGRAM
61
Для доступа к парсеру нужен level 3 , после чего появляется новая кнопка — внизу.

Предпросмотр заданий пока не работает, — экспорт проекта в ZIP уже работает.
8🏆21
TODO: сделать health-check для парсера/паука
Please open Telegram to view this post
VIEW IN TELEGRAM
6
Добавлена реакция "блюющий смайлик" 🤮

Она просто очень красивая и совпадает в тон с авой!

А еще я вместо подписи иногда буду оставлять волшебного кота, там зашифрован мой старый ник


🐈🐈🐈🐈


А новый ник это Хейлик (типа как Хей это "привет" , а лик это "лицо" == легко запомнить); Зазнакомились;>

(по факту юзаются оба ника,
поэтому иногда пишу ‛мы’)


Больше новостей пока нет.

Пусть это лето направит нас к горизонтам блаженства! 😌


P.S> Дневник разработчика здесь 🔤
Please open Telegram to view this post
VIEW IN TELEGRAM
👍65