delenie.py
3.2 KB
#python
#автоматизация
Коллеги, спешу поделиться полезным инструментом для тех, кто работает с массивными списками доменов.
Сегодня обратился коллега и мне понадобилось решить задачу:
Разделить огромный файл (5+ миллионов доменов) на части по 1 миллиону строк
Добавить "http://" перед каждым доменом
Сохранить результат в той же директории
Решение оказалось простым и эффективным.
Скрипт эффективно работает даже с многомиллионными файлами благодаря обработке строк через буфер, что экономит память. Последний файл может содержать меньше 1 миллиона строк, что удобно при неполном делении.
Как использовать:
Запустите: python delenie.py
Введите путь к вашему файлу с доменами
Надеюсь, этот инструмент пригодится кому-то еще! Делитесь в комментариях, с какими задачами обработки текстовых файлов вы сталкиваетесь 👇
#python_scripts #domainprocessing #dataprocessing
#автоматизация
Коллеги, спешу поделиться полезным инструментом для тех, кто работает с массивными списками доменов.
Сегодня обратился коллега и мне понадобилось решить задачу:
Разделить огромный файл (5+ миллионов доменов) на части по 1 миллиону строк
Добавить "http://" перед каждым доменом
Сохранить результат в той же директории
Решение оказалось простым и эффективным.
Скрипт эффективно работает даже с многомиллионными файлами благодаря обработке строк через буфер, что экономит память. Последний файл может содержать меньше 1 миллиона строк, что удобно при неполном делении.
Как использовать:
Запустите: python delenie.py
Введите путь к вашему файлу с доменами
Надеюсь, этот инструмент пригодится кому-то еще! Делитесь в комментариях, с какими задачами обработки текстовых файлов вы сталкиваетесь 👇
#python_scripts #domainprocessing #dataprocessing
👍3😱1
web.py
44.5 KB
🚀 Работаю над новым инструментом для веб-археологии!
Представляю вам Wayback Machine Downloader - мощный инструмент для восстановления утерянных сайтов из веб-архива!
Что уже умеет:
📁 Восстанавливает полную структуру папок и файлов
📄 Выгружает HTML-документы с сохранением оригинального форматирования
🖼 Скачивает все ресурсы: изображения, CSS, JS, шрифты
🔗 Автоматически обновляет ссылки для локальной работы
⚡️ Приоритетное скачивание ресурсов для оптимизации
🎯 Рекурсивный обход страниц с настраиваемой глубиной
📅 Фильтрация по датам снимков
В планах:
🔌 Интеграция с полным API Wayback Machine
📊 Получение всех доступных снимков сайта автоматически
🤖 Умный анализ изменений между снимками
📈 Статистика по восстановленному контенту
🔄 Пакетная обработка множества сайтов
💾 Экспорт метаданных в различных форматах
Идеальный инструмент для:
✅ Восстановления утерянных сайтов
✅ Исследования истории веб-ресурсов
✅ Создания резервных копий
✅ Веб-археологических исследований
Как вы решаете задачу выгрузки копий из https://web.archive.org?
Если интересна моя разработка - поддержите проект.
#webdevelopment #python #waybackmachine #webarchiving #opensourcе #datacollection #webarchaeology #internethistory #digitalpreservation #coding #programming #tkinter #webscraping #archival #restoration
Представляю вам Wayback Machine Downloader - мощный инструмент для восстановления утерянных сайтов из веб-архива!
Что уже умеет:
📁 Восстанавливает полную структуру папок и файлов
📄 Выгружает HTML-документы с сохранением оригинального форматирования
🖼 Скачивает все ресурсы: изображения, CSS, JS, шрифты
🔗 Автоматически обновляет ссылки для локальной работы
⚡️ Приоритетное скачивание ресурсов для оптимизации
🎯 Рекурсивный обход страниц с настраиваемой глубиной
📅 Фильтрация по датам снимков
В планах:
🔌 Интеграция с полным API Wayback Machine
📊 Получение всех доступных снимков сайта автоматически
🤖 Умный анализ изменений между снимками
📈 Статистика по восстановленному контенту
🔄 Пакетная обработка множества сайтов
💾 Экспорт метаданных в различных форматах
Идеальный инструмент для:
✅ Восстановления утерянных сайтов
✅ Исследования истории веб-ресурсов
✅ Создания резервных копий
✅ Веб-археологических исследований
Как вы решаете задачу выгрузки копий из https://web.archive.org?
Если интересна моя разработка - поддержите проект.
#webdevelopment #python #waybackmachine #webarchiving #opensourcе #datacollection #webarchaeology #internethistory #digitalpreservation #coding #programming #tkinter #webscraping #archival #restoration
🔥2