Основы парсинга. Парсим habr.

Парсинг - автоматизированный сбор и структуризация данных в нужном виде. Обычно его используют для быстрого наполнения своих сайтов и каналов контентом или анализа конкурентов. В этом посте мы спарсим статьи с главной страницы хабра.

Для парсинга понадобятся две библиотеки: requests - для http запроса к сайту и beautifulsoup4 - для удобной навигации по html документу. Установить их можно, прописав pip install requests и pip install beautifulsoup4 соответственно.

Далее с помощью метода requests.get получаем главную страницу хабра и передаём её в объект beautifulsoup. Библиотека beautifulsoup позволяет нам с помощью метода select получить список объектов по css-селектору.

Подсматриваем нужные нам селекторы в инспекторе кода браузера и начинаем парсинг. В начале получаем список всех статей. Далее в цикле, также с помощью метода select вытаскиваем нужные нам поля, например название и ссылку. Метод select всегда возвращает список объектов, поэтому если нам нужен только один объект, всегда нужно указать его индекс, например articles[0]. У каждого объекта есть поля и атрибуты, например поле text содержит весь текст в объекте, а в словаре attrs хранятся все атрибуты объекта.

🐍 Укус питона // 💬 Чат // #гайды #библиотеки #парсинг #habr

Основы парсинга. Атрибуты

В прошлом уроке мы разобрали, что такое парсинг и как парсить текст с сайтов. Но часто требуется парсить не только текст, но и картинки, которые хранятся в атрибутах html тегов.
Сегодня мы попробуем спарсить поисковую выдачу с ЛитРес

Снова подсматриваем нужные нам селекторы в инспекторе кода браузера и начинаем парсинг. Получаем список всех книг и начинаем разделять данные. Название и автора книги парсим как в прошлых раз, просто найд элемент через select и вытащив из него поле text.

Но вот ссылку на картинку спарсить таким образом нельзя. Для этого находим класс тега с картинкой, и извлекаем из него атрибут src, с помощью attrs['src'].

ID книги и стоимость лежат в формате json ({ключ: 'значение'}), поэтому с помощью метода find и срезов, находим нужный нам ключ и обрезаем лишнее и выводим всю информацию в консоль.

🐍 Укус питона // 💬 Чат // #гайды #библиотеки #парсинг #атрибуты