⌨️ Код для парсинга страниц по их URL с сохранением в PDF на Python

Для парсинга и сохранения страницы в PDF-файл в коде используются библиотеки pyppdf и pyppeteer.

➡️Установка библиотек: pip install pyppdf pyppeteer

import argparse
import pyppdf
import re
from pyppeteer.errors import PageError, TimeoutError, NetworkError


def main():
    parser = argparse.ArgumentParser(description='Загрузка страницы в формате PDF')
    parser.add_argument('--link', '-l', action='store', dest='link',
                        required=True, help='Укажите ссылку на страницу.')
    parser.add_argument('--name', '-n', action='store', dest='name',
                        required=False, help='Укажите имя файла для сохранения.')

    arguments = parser.parse_args()

    url = arguments.link

    if not arguments.name:
        name = re.sub(r'^\w+://', '', url.lower())
        name = name.replace('/', '-')
    else:
        name = arguments.name

    if not name.endswith('.pdf'):
        name = name + '.pdf'

    print(f'Имя файла: {name}')

    try:
        pyppdf.save_pdf(name, url)
    except PageError:
        print('Не удалось загрузить страницу.')
    except TimeoutError:
        print('Тайм-аут.')
    except NetworkError:
        print('Нет доступа к сети.')


if __name__ == '__main__':
    main()

➡️Справочник Программиста. Подписаться

Методы выравнивая строк в Python 👀

🔵ljust() - выравнивает строку по левому краю путем добавления заполнительных символов справа от строки до указанной ширины.
🔵rjust() - выравнивает строку по правому краю путем добавления заполнительных символов слева от строки до указанной ширины.
🔵center() - выравнивает строку по центру путем добавления заполнительных символов с обоих концов строки до указанной ширины.
🔵zfill() - выравнивает строку по правому краю путем добавления нулевых символов слева от строки до указанной ширины.

➡️Справочник Программиста. Подписаться

Библиотека TextBlob в Python 📝

Библиотека TextBlob предназначена для обработки естественного языка (Natural Language Processing, NLP).

Предоставляет простой и удобный API для выполнения различных задач, таких как анализ тональности, токенизация, исправление опечаток и многое другое.

Особенности TextBlob:
🔵Анализ тональности: позволяет определить эмоциональную окраску текста, вычислив его полярность и субъективность.
🔵Токенизация: позволяет разбить текст на отдельные слова или фразы.
🔵Исправление ошибок: может исправлять опечатки и ошибки в тексте.
🔵Извлечение ключевых слов: позволяет извлекать ключевые слова из текста.
🔵Машинный перевод: поддерживает машинный перевод текста на различные языки.
🔵Извлечение именованных сущностей: позволяет определить и извлечь именованные сущности из текста, такие как имена людей, организации, места и т.д.
🔵Анализ частей речи: может определить части речи каждого слова в тексте, такие как существительное, глагол, прилагательное и т.д.
🔵Извлечение фраз: позволяет извлекать фразы из текста, основываясь на грамматической структуре и синтаксических правилах.
🔵Создание собственных корпусов: позволяет создавать собственные корпусы текстов для обучения моделей машинного обучения.
🔵Лемматизация: может приводить слова к их базовой форме.
🔵Выделение ключевых предложений: может выделять ключевые предложения из текста, основываясь на их важности и содержании.
🔵Работа с морфологическими формами: позволяет работать с различными морфологическими формами слов, такими как единственное и множественное число, причастия и т.д.

➡️Установка библиотеки: pip install textblob

🖥 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для получения информации об использовании дисков на Python 💽

Для получения информации о дисках в коде используется библиотека psutil.

➡️Установка библиотек: pip install psutil

import psutil


def get_size(bytes, suffix="B"):
    factor = 1024  # Коэффициент масштабирования (в килобайтах)
    for unit in ["", "K", "M", "G", "T", "P"]:  # Перебор единиц измерения
        if bytes < factor:  # Если байты меньше текущего коэффициента
            return f"{bytes:.2f}{unit}{suffix}"  # Возвращаем размер с двумя знаками после запятой
        bytes /= factor  # Делим байты на текущий коэффициент


partitions = psutil.disk_partitions()  # Получаем информацию о разделах диска
for partition in partitions:  # Перебираем каждый раздел
    print(f"Диск: {partition.device}")
    print(f"  Точка монтирования: {partition.mountpoint}")
    print(f"  Тип файловой системы: {partition.fstype}")
    try:
        partition_usage = psutil.disk_usage(partition.mountpoint)  # Получаем статистику использования диска
    except PermissionError:
        continue  # Если нет прав на чтение, пропускаем этот раздел
    print(f"  Общий размер: {get_size(partition_usage.total)}")
    print(f"  Использовано: {get_size(partition_usage.used)}")
    print(f"  Свободно: {get_size(partition_usage.free)}")
    print(f"  Процент использования: {partition_usage.percent}%")

disk_io = psutil.disk_io_counters()  # Получаем статистику дисковых операций ввода-вывода
print(f"Общее чтение: {get_size(disk_io.read_bytes)}")
print(f"Общая запись: {get_size(disk_io.write_bytes)}")

# Пример вывода в Windows:
# Диск: C:\
#   Точка монтирования: C:\
#   Тип файловой системы: NTFS
#   Общий размер: 238.47GB
#   Использовано: 150.23GB
#   Свободно: 88.24GB
#   Процент использования: 63.0%
# Диск: D:\
#   Точка монтирования: D:\
#   Тип файловой системы: NTFS
#   Общий размер: 931.51GB
#   Использовано: 512.34GB
#   Свободно: 419.17GB
#   Процент использования: 55.0%
# Общее чтение: 1.23TB
# Общая запись: 567.89GB

➡️Справочник Программиста. Подписаться

Функция hex() в Python

В данной статье рассмотрим, как работает функция hex() в Python.

➡️Справочник Программиста. Подписаться

Библиотека JMESPath в Python

Библиотека JMESPath представляет собой язык запросов для работы с JSON-данными.

Она позволяет выполнять поиск, фильтрацию и преобразование данных в формате JSON.

➡️Установка библиотеки: pip install jmespath

🖥 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека termtosvg в Python 👩‍💻

termtosvg - это инструмент для записи сеансов работы в терминале в Linux и их преобразования в отдельные анимации SVG.

Написан на Python и совместим с Linux, macOS и BSD-системами.

Чтобы установить termtosvg, необходимо выполнить следующие шаги:
🔵Установить зависимости: pip3 install --user pyte python-xlib svgwrite
🔵Установить termtosvg: pip3 install --user termtosvg

🖥 Репозиторий
⚙️ Руководство

➡️Справочник Программиста. Подписаться

Библиотека retrying в Python 🔄

Библиотека retrying предназначена для повторных попыток выполнения кода с заданными условиями повтора.

Она позволяет упростить задачу добавления поведения повторных попыток к практически любому коду.

Основной сценарий использования retrying заключается в повторном выполнении функции, если возникает исключение, пока не будет получено значение. Например, можно использовать retrying для повторной попытки выполнения функции, которая может быть ненадежной, пока не будет получен корректный результат.

Особенности библиотеки:
🔵Общий API декоратора;
🔵Указание условия остановки (например, ограничение по количеству попыток);
🔵Указание условия ожидания (например, экспоненциальная задержка между попытками);
🔵Настраиваемые повторы при возникновении исключений;
🔵Настраиваемые повторы при ожидаемых возвращаемых результатах.

➡️Установка библиотеки: pip install retrying

🖥 Репозиторий

➡️Справочник Программиста. Подписаться

Фреймворк Sanic в Python

Фреймворк Sanic предназначен для разработки веб-приложений. Предоставляет асинхронную обработку запросов и отличается высокой производительностью.

Особенности фреймворка:
🔵Асинхронность: использует асинхронную модель программирования, основанную на синтаксисе async/await в Python 3.5 и выше
🔵Высокая производительность: благодаря использованию асинхронности и оптимизациям, Sanic обладает высокой скоростью обработки запросов.
🔵Поддержка множества протоколов: поддерживает протоколы HTTP и WebSocket, что позволяет разрабатывать как веб-приложения, так и приложения в реальном времени.
🔵Интеграция с базами данных: имеет поддержку различных баз данных, включая PostgreSQL, MySQL и SQLite, через библиотеку SQLAlchemy Core.
🔵Удобная настройка окружения: с помощью пакетов sanic-envconfig и environs можно легко настроить окружение вашего приложения, включая безопасность, настройки базы данных и другие параметры.
🔵Простота использования: предлагает простой и интуитивно понятный синтаксис для создания веб-приложений. Он также имеет хорошую документацию и активное сообщество разработчиков.

➡️Установка библиотеки: pip install sanic

🖥 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для генерации цитат 🗯

Для получения случайных цитат в коде используется библиотеку requests, а для их перевода на русский язык - googletrans.

➡️Установка библиотек: pip install requests googletrans==3.1.0a0

import requests
from googletrans import Translator


# Функция для генерации случайной цитаты
def generate_quote():
    # Отправляем GET-запрос к API ZenQuotes для получения случайной цитаты
    response = requests.get("https://zenquotes.io/api/random")

    # Проверяем, был ли запрос успешным (код статуса 200)
    if response.status_code == 200:
        # Извлекаем цитату и автора из JSON-ответа
        data = response.json()
        quote = data[0]['q']
        author = data[0]['a']

        # Создаем объект Translator
        translator = Translator()

        # Переводим автора и цитату на русский язык
        author = translator.translate(author, dest='ru').text
        quote = translator.translate(quote, dest='ru').text

        # Возвращаем переведенную цитату с автором
        return f'{author} - {quote}'

    else:
        # Возвращаем сообщение об ошибке, если запрос не был успешным
        return "Ошибка при получении цитаты. Пожалуйста, попробуйте еще раз позже."


# Вызываем функцию generate_quote и выводим переведенную цитату
print(generate_quote())

➡️Справочник Программиста. Подписаться

5 полезных скриптов на Python

В данной статье рассмотрим 5 полезных скриптов на Python.

➡️Справочник Программиста. Подписаться

Библиотека Dateparser в Python

Библиотека Dateparser предназначена для преобразования строки в объект datetime без необходимости явно указывать формат даты.

Может определять различные форматы даты и времени в строке и преобразовывать их в стандартный формат Python.

Некоторые особенности библиотеки:
🔵Обобщенный разбор дат на более чем 200 языковых локалей и множество форматов в языково-независимом стиле.
🔵Разбор относительных дат, таких как "1 минуту назад", "2 недели назад", "3 месяца, 1 неделя и 1 день назад", "через 2 дня", "завтра".
🔵Разбор дат с указанием часовых поясов или смещений относительно UTC, например "14 августа 2015 г. EST", "4 июля 2013 г. PST", "21 июля 2013 г. 22:15 +0500".
🔵Поиск дат в длинных текстах.
🔵Поддержка календарных систем, отличных от григорианского календаря.

➡️Установка библиотеки: pip install dateparser

🖥 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека PyInstaller в Python

Библиотека PyInstaller позволяет упаковывать Python-программы в исполняемые (exe) файлы для различных операционных систем, включая Windows, Linux и Mac OS X.

Основные особенности библиотеки:
🔵Создание одного исполняемого файла, который содержит все необходимые зависимости.
🔵Поддержка скрытых импортов, чтобы включить в сборку модули, которые не обнаруживаются автоматически.
🔵Возможность создания спецификационных файлов для настройки процесса сборки.
🔵Поддержка различных платформ, включая Windows, Linux, Mac OS X, FreeBSD, Solaris и AIX.
🔵Установка с помощью pip.

➡️Установка библиотеки: pip install pyinstaller

🖥 Репозиторий

📝 Также года 2 назад я писал статью "Конвертация Python в исполняемый exe файл", где использовалась данная библиотека.

➡️Справочник Программиста. Подписаться

Функция map() в Python

В данной статье рассмотрим, как работает функция map() в Python.

➡️Справочник Программиста. Подписаться

Библиотека TinyDB в Python

Библиотека TinyDB представляет собой простую и легковесную базу данных NoSQL, которая использует JSON для хранения данных.

Она позволяет выполнять операции CRUD (создание, чтение, обновление и удаление) и является удобным инструментом для хранения и управления данными в небольших проектах.

➡️Установка библиотеки: pip install tinydb

🖥 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

📝Таймер с графическим интерфейсом на Python

В ходе данной статьи напишем код приложения «Таймер» с графическим интерфейсом на Python.

Таймер будет отображать количество оставшихся секунд и воспроизводить звуковой сигнал по истечении указанного времени.

➡️Справочник Программиста. Подписаться

📺 Преобразование текста в речь на Python

В данном shorts напишем простой код для преобразования текста в речь на Python.

➡️Справочник Программиста. Подписаться