Еще один парсер сайтов для Python

Многие слышали о BeatifulSoup, а вот о Scrapy редко где упоминается. Однако, это достаточно мощный инструмент для разработки парсеров.

Что умеет?
1. Логиниться на сайтах.
2. Работать с прокси.
3. Сохранять результат в JSON/CVS/XML.
4. Автоматический менеджмент Cookies.
5. Настройка User-agent.
6. Загрузка файлов.

Установка.

pip install Scrapy

Основное отличие от Beatifull Soup в том, что Scrapy создает web-spiders. Это приложения, которые работаю как браузеры. Только предназначены для парсинга.

Краткая упорядоченная итерация

В первом случае, все выглядит очень смято и торчит со всех сторон. Во втором же, красиво и элегантно! Возьмите на вооружение.

Да кто такая эта ваша математика?!

🐍 Совет по Python №2.

В отличии от множества других языков, Python поддерживает простую и удобную конструкцию для свопа значения переменных.

Сокращаем условие

Если условие короткое, полезно сделать его более красивым и удобочитаемым. Используем тернарное выражение. Подойдет если в условии одна переменная, но применений у приема куда больше. Экспериментируйте!

Да.

​​Милые таблички

Невероятно полезная и приятная библиотека для работы с консольными табличками Prettytable. Позволяет формировать красивый вывод информации для составных упорядоченных типов данных. Полезно использовать для списков и парсинга, если там не очень много информации.

Удобно для быстрого прототипирования и в повседневном использовании.

Установка - python -m pip install -U prettytable

🐍 А вы знали? Выпуск №4

Разделение триад (и не только) больших чисел при помощи символа нижнего подчеркивания.

Сортируем словарь по значениям

У нас есть простое и элегантное значение. При работе с различными данными вещь незаменимая. Используем уже знакомую нам функцию sorted. Вуаля, получаем сформулированный вывод.

Pillow - это одна из лучших библиотек в Python для манипуляции изображениями.
Она очень простая, по ней много документации и примеров, и работает либа довольно быстро.

Ставится командой pip install Pillow
Документация здесь.
Хороший урок введение здесь.