from waybackpy import WaybackMachineCDXServerAPI
import re

# Замените example.com на интересующий вас домен.
url = "example.com/*"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"

# Создаем объект API
cdx = WaybackMachineCDXServerAPI(url, user_agent)

# Регулярное выражение для исключения URL картинок
image_pattern = re.compile(r'\.(jpeg|jpg|gif|png|bmp|svg|ico)$', re.IGNORECASE)

# Регулярное выражение для исключения нежелательных URL-параметров и путей
exclude_pattern = re.compile(r'\?replytocom|feed|\?.*$|writers|php|css|txt|utm_|homemaking-link|author|wp-content|page/|wp-admin|wp-includes|tag|wp/|js|cgi-sys|:80|comment-page|yoast', re.IGNORECASE)

# Словарь для хранения последних версий каждого URL
latest_urls = {}

# Перебор всех снимков
for record in cdx.snapshots():
    # Очистка URL от элементов веб-архива и протоколов
    cleaned_url = re.sub(r'https?://web\.archive\.org/web/\d{14}/https?', '', record.original)
    cleaned_url = re.sub(r'https?://', '', cleaned_url)  # Удаление протоколов
    cleaned_url = re.sub(r':\d+/', '/', cleaned_url)  # Удаление порта
    cleaned_url = cleaned_url.rstrip('/')  # Удаление слэша в конце

    # Пропускаем URL картинок и нежелательные URL
    if not image_pattern.search(cleaned_url) and not exclude_pattern.search(cleaned_url):
        if cleaned_url not in latest_urls or record.timestamp > latest_urls[cleaned_url][0]:
            # Обновляем или добавляем запись с более новой датой
            latest_urls[cleaned_url] = (record.timestamp, record.archive_url)

# Открытие файла для записи
with open("archive.txt", "w") as file:
    for url, (timestamp, archive_url) in latest_urls.items():
        # Записываем только очищенный URL
        file.write(url + "\n")

print("Последние версии URL-адресов без нежелательных параметров сохранены в файл 'archive.txt'.")