Через Batch Analysis ще працює старий дашборд
👍2
Довго мене тут не було. Багато часу забирає робота з вебархівом. Ось зробив собі скрипт за допомогою якого можна швидко отримати список усіх сторінок за доменом у вебархіві. При цьому чистить від непотрібних файлів. Користуйтеся
from waybackpy import WaybackMachineCDXServerAPI
import re
# Замените example.com на интересующий вас домен.
url = "example.com/*"
user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
# Создаем объект API
cdx = WaybackMachineCDXServerAPI(url, user_agent)
# Регулярное выражение для исключения URL картинок
image_pattern = re.compile(r'\.(jpeg|jpg|gif|png|bmp|svg|ico)$', re.IGNORECASE)
# Регулярное выражение для исключения нежелательных URL-параметров и путей
exclude_pattern = re.compile(r'\?replytocom|feed|\?.*$|writers|php|css|txt|utm_|homemaking-link|author|wp-content|page/|wp-admin|wp-includes|tag|wp/|js|cgi-sys|:80|comment-page|yoast', re.IGNORECASE)
# Словарь для хранения последних версий каждого URL
latest_urls = {}
# Перебор всех снимков
for record in cdx.snapshots():
# Очистка URL от элементов веб-архива и протоколов
cleaned_url = re.sub(r'https?://web\.archive\.org/web/\d{14}/https?', '', record.original)
cleaned_url = re.sub(r'https?://', '', cleaned_url) # Удаление протоколов
cleaned_url = re.sub(r':\d+/', '/', cleaned_url) # Удаление порта
cleaned_url = cleaned_url.rstrip('/') # Удаление слэша в конце
# Пропускаем URL картинок и нежелательные URL
if not image_pattern.search(cleaned_url) and not exclude_pattern.search(cleaned_url):
if cleaned_url not in latest_urls or record.timestamp > latest_urls[cleaned_url][0]:
# Обновляем или добавляем запись с более новой датой
latest_urls[cleaned_url] = (record.timestamp, record.archive_url)
# Открытие файла для записи
with open("archive.txt", "w") as file:
for url, (timestamp, archive_url) in latest_urls.items():
# Записываем только очищенный URL
file.write(url + "\n")
print("Последние версии URL-адресов без нежелательных параметров сохранены в файл 'archive.txt'.")
#дропдомени #PBN
Придбав досить дорогий дроп-домен, очікуючи від нього гарних результатів. Ми відновили сайт на початку літа, доклали багато зусиль, але перші кілька місяців сайт взагалі не показував себе. Я вже почав сумніватися, чи цей проєкт взагалі злетить, а про трафік можна було тільки мріяти. Було відчуття, що гроші й час вкладені даремно. Але після Core оновлення Google cайт раптово почав набирати обертів, трафік зріс
Іноді варто проявити терпіння та не опускати руки, навіть якщо результати не приходять одразу. Або почекати апдету Google
Придбав досить дорогий дроп-домен, очікуючи від нього гарних результатів. Ми відновили сайт на початку літа, доклали багато зусиль, але перші кілька місяців сайт взагалі не показував себе. Я вже почав сумніватися, чи цей проєкт взагалі злетить, а про трафік можна було тільки мріяти. Було відчуття, що гроші й час вкладені даремно. Але після Core оновлення Google cайт раптово почав набирати обертів, трафік зріс
Іноді варто проявити терпіння та не опускати руки, навіть якщо результати не приходять одразу. Або почекати апдету Google
🔥4👍2
Як авторіа ефективно збирає весь трафік за своїм брендом?
Однією з цікавих стратегій є те, як компанія використовує власний бренд для максимального збору трафіку. У пошуковій видачі за запитом "авториа" ви зустрінете не тільки головний сайт компанії, але й кілька афілійованих ресурсів. Перейшовши на ці сайти, користувач у будь-якому випадку опиниться на основному веб-ресурсі компанії.
Переваги такого підходу очевидні:
1. Максимізація брендових запитів: Компанія не втрачає жодної можливості зібрати трафік користувачів, які шукають її за брендом у пошуку.
2. Захист від конкурентів: Це стратегічний крок, що унеможливлює потрапляння конкурентів у ТОП за запитами, пов'язаними з брендом.
3. Різноманіття контенту для користувача: Кожен з афілійованих сайтів дещо відрізняється, пропонуючи користувачам різні відповіді на їхні запити, що збільшує шанси задовольнити потреби аудиторії.
Чому ж таку стратегію не використовують інші бренди?
Цей підхід не тільки дозволяє контролювати весь свій брендовий трафік, але й ефективно протистоїть конкурентам, не даючи їм змоги займати топові позиції за запитами вашого бренду. Як приклад можна навести видачу за запитами "РСТ".
Однією з цікавих стратегій є те, як компанія використовує власний бренд для максимального збору трафіку. У пошуковій видачі за запитом "авториа" ви зустрінете не тільки головний сайт компанії, але й кілька афілійованих ресурсів. Перейшовши на ці сайти, користувач у будь-якому випадку опиниться на основному веб-ресурсі компанії.
Переваги такого підходу очевидні:
1. Максимізація брендових запитів: Компанія не втрачає жодної можливості зібрати трафік користувачів, які шукають її за брендом у пошуку.
2. Захист від конкурентів: Це стратегічний крок, що унеможливлює потрапляння конкурентів у ТОП за запитами, пов'язаними з брендом.
3. Різноманіття контенту для користувача: Кожен з афілійованих сайтів дещо відрізняється, пропонуючи користувачам різні відповіді на їхні запити, що збільшує шанси задовольнити потреби аудиторії.
Чому ж таку стратегію не використовують інші бренди?
Цей підхід не тільки дозволяє контролювати весь свій брендовий трафік, але й ефективно протистоїть конкурентам, не даючи їм змоги займати топові позиції за запитами вашого бренду. Як приклад можна навести видачу за запитами "РСТ".
🔥4
Чому трафік не завжди є важливим критерієм при виборі донорів для купівлі посилань?
Знаю, що для багатьох SEO-спеціалістів трафік є однією з важливих вимог до майданчика при розміщенні посилань. Раніше під час вибору донорів я також дуже серйозно звертав увагу на цей критерій. Причому спочатку ставив високу планку трафіку, потім донори закінчувалися, і мені доводилося знижувати цю планку. Зрештою, я прийшов до висновку: а що, якщо у сайту хороші посилання, але слабка оптимізація та вузька тематика?
Наприклад:
Благодійна організація або фонд допомоги. У таких сайтів багато посилань з трастових ресурсів, але дуже мало трафіку.
Сайт ОСББ або вулиці (нещодавно придбав такий). У нього багато посилань з державних сайтів (міських ресурсів), але немає трафіку.
Будь-який інший сайт, який більше є візиткою, і на нього заходять переважно напряму, а не через пошукові системи.
Сайти з подієвим трафіком, наприклад, фестиваль, який проводиться лише раз на рік. У таких сайтів може бути сплеск активності на короткий період, але решту року вони не генерують стабільного трафіку.
Такі сайти мають право на існування і цілком можуть передавати якісну посилальний вагу. Але з урахуванням планки трафіку їх, як правило, доводиться відсіювати.
Зрештою, я дійшов висновку, що для таких сайтів потрібно змінювати критерії, і зараз одним із таких є наявність ключових слів у пошуку Google. І, звісно ж, нормальна індексація даного майданчика.
А як ви вважаєте, чи завжди варто орієнтуватися на трафік при виборі донорів для розміщення посилань?
Знаю, що для багатьох SEO-спеціалістів трафік є однією з важливих вимог до майданчика при розміщенні посилань. Раніше під час вибору донорів я також дуже серйозно звертав увагу на цей критерій. Причому спочатку ставив високу планку трафіку, потім донори закінчувалися, і мені доводилося знижувати цю планку. Зрештою, я прийшов до висновку: а що, якщо у сайту хороші посилання, але слабка оптимізація та вузька тематика?
Наприклад:
Благодійна організація або фонд допомоги. У таких сайтів багато посилань з трастових ресурсів, але дуже мало трафіку.
Сайт ОСББ або вулиці (нещодавно придбав такий). У нього багато посилань з державних сайтів (міських ресурсів), але немає трафіку.
Будь-який інший сайт, який більше є візиткою, і на нього заходять переважно напряму, а не через пошукові системи.
Сайти з подієвим трафіком, наприклад, фестиваль, який проводиться лише раз на рік. У таких сайтів може бути сплеск активності на короткий період, але решту року вони не генерують стабільного трафіку.
Такі сайти мають право на існування і цілком можуть передавати якісну посилальний вагу. Але з урахуванням планки трафіку їх, як правило, доводиться відсіювати.
Зрештою, я дійшов висновку, що для таких сайтів потрібно змінювати критерії, і зараз одним із таких є наявність ключових слів у пошуку Google. І, звісно ж, нормальна індексація даного майданчика.
А як ви вважаєте, чи завжди варто орієнтуватися на трафік при виборі донорів для розміщення посилань?
👍1
Альтернатива для вебархіву: archive.ph
Вже кілька днів вебархів https://web.archive.org/ не працює, і поки що знайшов для себе альтернативу — https://archive.ph/. На мою думку, це найбільш адекватна заміна на даний момент. Звісно, можливо, вона в чомусь поступається вебархіву за функціоналом або ж мені просто потрібен час, щоб звикнути до її інтерфейсу та особливостей. Однак на даний момент це єдиний доступний варіант, який я зміг знайти, і інших подібних сервісів поки що не виявив.
Вже кілька днів вебархів https://web.archive.org/ не працює, і поки що знайшов для себе альтернативу — https://archive.ph/. На мою думку, це найбільш адекватна заміна на даний момент. Звісно, можливо, вона в чомусь поступається вебархіву за функціоналом або ж мені просто потрібен час, щоб звикнути до її інтерфейсу та особливостей. Однак на даний момент це єдиний доступний варіант, який я зміг знайти, і інших подібних сервісів поки що не виявив.
👍6
А ви знали, що у всіх тарифах Ahrefs є API, яким більшість не користується?
Наприклад, ви можете отримати API-ключ через авторизацію в Screaming Frog, і навіть на тарифі Standart вам буде доступно до 300 000 рядків даних API.
У яких випадках API Ahrefs може стати критично корисним?
1. Якщо на одному акаунті працює кілька співробітників, які часто перебивають один одного через спільні сесії.
2. Коли вам потрібно швидко зібрати дані для понад 200 доменів. Batch Analysis вимагає ручного запуску для кожної групи, що значно ускладнює процес.
3. Використання API оптимізує рутинні завдання, надаючи можливість кожному користувачеві знайти власні кейси для застосування. Наприклад, я використовую API для автоматизації щотижневих звітів і проведення первинного аналізу сайтів.
Як можна ефективно застосовувати API Ahrefs?
Особисто для себе я створив файл у Google Docs, за допомогою ChatGPT написав скрипт і вставив його у файл. Тепер я запускаю цей файл і швидко отримую дані за такими показниками, як DR, Referring Domains, Backlinks, Traffic тощо.
Ось покрокова інструкція для впровадження рішення:
1. Скопіюйте шаблон файлу Google Docs на свій Google Диск.
2. Перейдіть у Google Apps Script і вставте свій API-ключ у відповідний блок коду, після чого збережіть скрипт.
3. Запустіть скрипт, натиснувши кнопку "Analyze domains". При першому запуску вам буде запропоновано пройти авторизацію Google API. Це проста процедура, яку потрібно виконати лише один раз.
Додаткова інформація:
Якщо для домену вже заповнена хоча б метрика DR, цей рядок буде пропущено і не буде перезаписано під час наступних запусків скрипта. Це дозволяє зберігати результати перевірок і зменшує навантаження на API. Наприклад, після перевірки перших 300 доменів, наступного разу ці домени будуть пропущені, і система перейде до аналізу нових доменів. Це значно оптимізує процес для роботи з великими обсягами даних.
За замовчуванням збір даних здійснюється для домену та всіх його піддоменів. Якщо вам потрібен аналіз тільки основного домену, необхідно змінити налаштування в коді, замінивши параметр "mode=subdomains" на "mode=domain". Детальну інформацію про роботу з URL-адресами ви можете знайти в офіційній документації API Ahrefs.
Наприклад, ви можете отримати API-ключ через авторизацію в Screaming Frog, і навіть на тарифі Standart вам буде доступно до 300 000 рядків даних API.
У яких випадках API Ahrefs може стати критично корисним?
1. Якщо на одному акаунті працює кілька співробітників, які часто перебивають один одного через спільні сесії.
2. Коли вам потрібно швидко зібрати дані для понад 200 доменів. Batch Analysis вимагає ручного запуску для кожної групи, що значно ускладнює процес.
3. Використання API оптимізує рутинні завдання, надаючи можливість кожному користувачеві знайти власні кейси для застосування. Наприклад, я використовую API для автоматизації щотижневих звітів і проведення первинного аналізу сайтів.
Як можна ефективно застосовувати API Ahrefs?
Особисто для себе я створив файл у Google Docs, за допомогою ChatGPT написав скрипт і вставив його у файл. Тепер я запускаю цей файл і швидко отримую дані за такими показниками, як DR, Referring Domains, Backlinks, Traffic тощо.
Ось покрокова інструкція для впровадження рішення:
1. Скопіюйте шаблон файлу Google Docs на свій Google Диск.
2. Перейдіть у Google Apps Script і вставте свій API-ключ у відповідний блок коду, після чого збережіть скрипт.
3. Запустіть скрипт, натиснувши кнопку "Analyze domains". При першому запуску вам буде запропоновано пройти авторизацію Google API. Це проста процедура, яку потрібно виконати лише один раз.
Додаткова інформація:
Якщо для домену вже заповнена хоча б метрика DR, цей рядок буде пропущено і не буде перезаписано під час наступних запусків скрипта. Це дозволяє зберігати результати перевірок і зменшує навантаження на API. Наприклад, після перевірки перших 300 доменів, наступного разу ці домени будуть пропущені, і система перейде до аналізу нових доменів. Це значно оптимізує процес для роботи з великими обсягами даних.
За замовчуванням збір даних здійснюється для домену та всіх його піддоменів. Якщо вам потрібен аналіз тільки основного домену, необхідно змінити налаштування в коді, замінивши параметр "mode=subdomains" на "mode=domain". Детальну інформацію про роботу з URL-адресами ви можете знайти в офіційній документації API Ahrefs.
🔥7👍2
Чи дійсно дроп-домени небезпечні? Що ви не перевіряєте перед розміщенням посилань?
Деякі мої знайомі SEO-спеціалісти з обережністю ставляться до використання дроп-доменів та PBN (Private Blog Networks). Вони вважають, що такі методи можуть не тільки не дати результату, але й негативно вплинути на сайт. Однак ці ж спеціалісти без проблем купують посилання на біржах. Виникає питання, а чи перевіряють вони сайти за такими критеріями:
1. Історія домену в веб-архіві: Чи відстежуються зміни тематики та контенту за час існування сайту?
2. Історія зміни NS: Як часто змінювалися name servers, що може свідчити про підозрілу активність?
Для експерименту я вирішив виділити 20 хвилин і проаналізувати сайти на одній популярній біржі посилань. У результаті я знайшов кілька доменів (але я впевнений що їх значно більше) з явними ознаками дропу (все на скринах):
1. Домен змінив тематику: Різкий перехід від однієї сфери до іншої.
2. Змінився дизайн сайту: Візуальна частина сайту повністю змінилася.
3. З'явився новий контент: Опубліковані нові матеріали, які не мають зв'язку з попереднім вмістом.
4. З'явився трафік: Незважаючи на зміну власника, домен почав отримувати нові відвідування.
Цей невеликий експеримент показує, що багато SEO-спеціалістів можуть не звертати уваги на важливі деталі при купівлі посилань. І залишаючись у невіданні щодо того, що вони купують посилання на дроп-домена, вони почуваються у відносній безпеці. А якщо після купівлі таких посилань позиції сайту зростають, то, можливо, немає жодних проблем із дроп-доменами, і вони працюють досить добре?
І все ж таки, ви перевіряєте історію донора перед тим, як розмістити на ньому посилання?
Щодо скріншотів - усі збіги випадкові.
Деякі мої знайомі SEO-спеціалісти з обережністю ставляться до використання дроп-доменів та PBN (Private Blog Networks). Вони вважають, що такі методи можуть не тільки не дати результату, але й негативно вплинути на сайт. Однак ці ж спеціалісти без проблем купують посилання на біржах. Виникає питання, а чи перевіряють вони сайти за такими критеріями:
1. Історія домену в веб-архіві: Чи відстежуються зміни тематики та контенту за час існування сайту?
2. Історія зміни NS: Як часто змінювалися name servers, що може свідчити про підозрілу активність?
Для експерименту я вирішив виділити 20 хвилин і проаналізувати сайти на одній популярній біржі посилань. У результаті я знайшов кілька доменів (але я впевнений що їх значно більше) з явними ознаками дропу (все на скринах):
1. Домен змінив тематику: Різкий перехід від однієї сфери до іншої.
2. Змінився дизайн сайту: Візуальна частина сайту повністю змінилася.
3. З'явився новий контент: Опубліковані нові матеріали, які не мають зв'язку з попереднім вмістом.
4. З'явився трафік: Незважаючи на зміну власника, домен почав отримувати нові відвідування.
Цей невеликий експеримент показує, що багато SEO-спеціалістів можуть не звертати уваги на важливі деталі при купівлі посилань. І залишаючись у невіданні щодо того, що вони купують посилання на дроп-домена, вони почуваються у відносній безпеці. А якщо після купівлі таких посилань позиції сайту зростають, то, можливо, немає жодних проблем із дроп-доменами, і вони працюють досить добре?
І все ж таки, ви перевіряєте історію донора перед тим, як розмістити на ньому посилання?
Щодо скріншотів - усі збіги випадкові.
🔥7
П'ятниця — день вебархіву, або у вебархіву також є API.
Минулої п'ятниці я писав, що вебархів був недоступний, а в цю п'ятницю я підготував Google Docs, який дозволить прискорити роботу з вебархівом.
Що аналізує скрипт?
1. Формує URL для кожного року, починаючи з 2015 року.
2. Отримує код відповіді сторінки для кожного року, починаючи з 2015 року.
Якщо в якийсь рік не було знімка, то стовпці будуть порожніми. Я особисто намагаюся не купувати домени, у яких є пропуск більше року у вебархіві. Таким чином, можна відразу відсіяти подібні домени.
Якщо в рядку є дані, то він пропускається, і скрипт переходить до нового рядка.
Ось покрокова інструкція для впровадження рішення:
1. Скопіюйте шаблон файлу Google Docs (посилання) на свій Google Диск.
2. Запустіть скрипт, натиснувши кнопку "Отримати URL і код відповіді (Лист1)". При першому запуску вам буде запропоновано пройти авторизацію Google API. Це проста процедура, яку потрібно виконати лише один раз.
Минулої п'ятниці я писав, що вебархів був недоступний, а в цю п'ятницю я підготував Google Docs, який дозволить прискорити роботу з вебархівом.
Що аналізує скрипт?
1. Формує URL для кожного року, починаючи з 2015 року.
2. Отримує код відповіді сторінки для кожного року, починаючи з 2015 року.
Якщо в якийсь рік не було знімка, то стовпці будуть порожніми. Я особисто намагаюся не купувати домени, у яких є пропуск більше року у вебархіві. Таким чином, можна відразу відсіяти подібні домени.
Якщо в рядку є дані, то він пропускається, і скрипт переходить до нового рядка.
Ось покрокова інструкція для впровадження рішення:
1. Скопіюйте шаблон файлу Google Docs (посилання) на свій Google Диск.
2. Запустіть скрипт, натиснувши кнопку "Отримати URL і код відповіді (Лист1)". При першому запуску вам буде запропоновано пройти авторизацію Google API. Це проста процедура, яку потрібно виконати лише один раз.
🔥6