​​Методы обхода защиты от автоматизированного ПО в браузере Chrome под управлением Selenium в Python

При парсинге данных возникают ситуации, когда нужно получить доступ к сайту с помощью драйвера selenium. Так как на странице сайта в коде выполняются скрипты, которые добавляют в код данные, доступ к которым с помощью обычных запросов получить просто не получиться. Но, все может быть немного печальнее. К примеру, страница может находиться за CDN, такой как Cloudflare, с включенной проверкой браузера. В этом случае обычный драйвер selenium доступ к странице не получит, так как будет определено, что используется автоматизированное тестовое ПО. Но, даже в этих случаях выход есть. Давайте посмотрим, как можно обойти данную проверку с помощью отключения определенных опций в браузере, а также рассмотрим уже модифицированную версию драйвера для Chrome, в которой уже из коробки отключены данные опции. Но, обо всем по порядку.

📌 Читать далее

#programming #python #parsing

Получение данных из таблицы с динамическим содержимым с помощью Python

Парсинг данных, это всегда увлекательная и полезная штука, ведь получив данные мы можем выполнить различные виды анализа или использовать полученные данные в нужных приложениях, будь то телеграмм-бот или иное приложение. В марте этого года на фриланс-сайте мне попалось задание, которое показалось интересным и я решил попробовать выполнить это задание для себя, просто, чтобы попрактиковаться. Конечно же, для сбора необходимых данных я решил использовать Python.

📌 Читать далее

#programming #python #parsing