Библиотека Playwright в Python

Библиотека Playwright предназначена для автоматизации браузеров.

Используется для выполнения действий в браузере программным способом, включая автоматическое тестирование веб-приложений, парсинг данных и выполнение других задач, требующих взаимодействия с веб-страницами.

Основные возможности библиотеки:
🔵Мультибраузерная поддержка: Работает с Chromium, Firefox и WebKit (движок Safari), что делает его идеальным для кросс-браузерного тестирования.
🔵Поддержка headless-режима: Браузеры могут запускаться как с графическим интерфейсом, так и без него (headless-режим), что повышает производительность при выполнении тестов или парсинга.
🔵Тестирование в реальном времени: Можно взаимодействовать с браузером так, как это делает реальный пользователь: клики, ввод текста, переходы по страницам и т.д.
🔵Запись и воспроизведение действий: Возможность записывать пользовательские действия, а затем воспроизводить их программно.

✅Пример создания скриншота веб-страницы:

from playwright.sync_api import sync_playwright

with sync_playwright() as p:
    # Запускаем браузер Chromium
    browser = p.chromium.launch(headless=False)
    # Открываем новую вкладку
    page = browser.new_page()
    # Переходим на сайт
    page.goto('https://example.com')
    # Делаем скриншот страницы
    page.screenshot(path='example.png')
    # Закрываем браузер
    browser.close()

➡️Установка библиотеки: pip install playwright
➡️Установка необходимых компонентов: python -m playwright install

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Pygamelib в Python

Библиотека Pygamelib позволяет создавать текстовые и графические игры на основе терминала.

Ориентирована на разработку небольших игр и симуляций с минимальными усилиями, предоставляя разработчикам удобные инструменты для работы с различными игровыми элементами, такими как персонажи, карты, объекты и интерфейс.

Основные особенности библиотеки:
🔵Текстовые и графические игры: Поддерживает как текстовые, так и графические игры, позволяя создавать, например, roguelike-игры, простые симуляции или платформеры.
🔵Работа с консолью: Легко позволяет управлять текстовыми элементами в консоли, что делает её отличным выбором для игр с интерфейсом в стиле ретро (ASCII-графика).
🔵Удобные классы и структуры данных: Предлагает готовые классы для карт, объектов, персонажей и сцен, что упрощает разработку и ускоряет процесс.
🔵Кроссплатформенность: Работает на разных операционных системах, таких как Windows, Linux и macOS.
🔵Модульная архитектура: Можно легко расширять возможности своей игры, добавляя новые модули и компоненты.

➡️Установка библиотеки: pip install pygamelib

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

📺 Парсинг веб-страниц по URL в PDF на Python

В данном shorts напишем код для парсинга веб-страниц по ссылке с сохранением в PDF-файл.

➡️Справочник Программиста. Подписаться

Код для парсинга веб-страницы по URL в PDF на Python

Для парсинга и сохранения веб-страницы в PDF-документ в коде используются библиотеки pyppdf и pyppeteer.

➡️Установка библиотек: pip install pyppdf pyppeteer

import pyppdf
from pyppeteer.errors import PageError, TimeoutError, NetworkError


def main(url, name):
    try:
        pyppdf.save_pdf(name, url)
    except PageError:
        print('Не удалось загрузить страницу.')
    except TimeoutError:
        print('Тайм-аут.')
    except NetworkError:
        print('Нет доступа к сети.')


if __name__ == '__main__':
    url = input('Введите ссылку: ')
    name = input('Введите название итогового PDF: ')
    main(url, name)

➡️Справочник Программиста. Подписаться

Библиотека Progress в Python

Библиотека Progress предназначена для создания индикаторов прогресса в консольных приложениях.

Позволяет легко отображать статус выполнения длительных операций, таких как загрузка данных, обработка файлов или выполнение вычислений.

Основные возможности библиотеки:
🔵Индикаторы прогресса: Возможность использовать различные типы индикаторов, такие как линейные и круговые, чтобы визуально представлять прогресс выполнения задачи.
🔵Настройка: Позволяет настраивать внешний вид индикаторов, включая цвет, символы и текстовые сообщения.
🔵Простота использования: Имеет интуитивно понятный API, что делает её доступной даже для начинающих разработчиков.

✅Пример использования библиотеки:

from progress.bar import Bar

# Создаём объект Bar с названием 'Processing' и максимальным значением 1,000,000
bar = Bar('Processing', max=1000000)
# Запускаем цикл от 0 до 999,999 (всего 1,000,000 итераций)
for i in range(1000000):
    # Увеличиваем прогресс бар на 1 для каждой итерации
    bar.next()
# Завершаем прогресс бар, когда все итерации завершены
bar.finish()

➡️Установка библиотеки: pip install progress

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Код для объединения CSV-файлов в один на Python

Для объединения CSV-файлов в один в коде используются библиотеки pandas и os.

➡️Установка библиотеки: pip install pandas

import pandas as pd
import os

# Указываем папку, где хранятся файлы
folder_path = 'путь_к_вашей_папке'

# Получаем список всех CSV файлов в папке
csv_files = [file for file in os.listdir(folder_path) if file.endswith('.csv')]

# Создаем пустой список для хранения DataFrame'ов
data_frames = []

# Читаем каждый CSV файл и добавляем его в список
for file in csv_files:
    file_path = os.path.join(folder_path, file)
    df = pd.read_csv(file_path)
    data_frames.append(df)

# Объединяем все DataFrame'ы в один
combined_df = pd.concat(data_frames, ignore_index=True)

# Сохраняем результат в новый CSV файл
combined_df.to_csv('объединенный_файл.csv', index=False)

➡️Справочник Программиста. Подписаться

Библиотека Marshmallow в Python

Библиотека Marshmallow предназначена для сериализации/десериализации объектов Python, а также их валидации.

Часто используется в веб-приложениях для преобразования сложных типов данных в простые структуры, например, JSON или словари, и наоборот.

Сериализация - преобразование сложных объектов Python (например, экземпляров классов) в простые типы данных (словари, JSON).

Десериализация - преобразование данных из форматов JSON или словарей Python обратно в объекты Python.

Валидация данных - при десериализации Marshmallow автоматически проверяет данные на соответствие определённым требованиям (например, типам полей, обязательности полей и т.д.).

➡️Установка библиотеки: pip install marshmallow

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека hotpdf в Python

Библиотека hotpdf предназначена для работы с PDF-документами с акцентом на производительность и экономию памяти.

Позволяет обеспечить эффективную обработку и извлечение текста из PDF-файлов, особенно крупных документов.

Основные возможности библиотеки:
🔵Извлечение текста: Позволяет извлекать текст как со всей страницы, так и с отдельных блоков PDF-файла.
🔵Поиск текста: Предоставляет возможности для поиска конкретных фрагментов текста в документе.
🔵Слияние PDF-файлов: Функция слияния нескольких PDF-документов в один.
🔵Оптимизация потребления памяти: Использует различные подходы (например, sparse matrix), чтобы снижать объём потребляемой памяти при работе с большими файлами, такими как книги на сотни страниц​.

➡️Установка библиотеки: pip install hotpdf

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для извлечения метаданных видеофайла на Python

Для извлечения метаданных в коде используется библиотека pymediainfo.

➡️Установка библиотеки: pip install pymediainfo

from pymediainfo import MediaInfo


def get_detailed_video_metadata(file_path):
    # Парсим видеофайл для получения всех доступных метаданных
    media_info = MediaInfo.parse(file_path)

    # Создаём список для хранения метаданных по каждому треку
    detailed_metadata = []

    # Проходим по каждому треку в файле
    for track in media_info.tracks:
        # Собираем все доступные атрибуты трека в виде словаря
        track_info = {
            'track_type': track.track_type,  # Тип трека (например, видео, аудио, текст и т.д.)
            'format': track.format,  # Формат кодирования
            'duration': track.duration,  # Продолжительность в миллисекундах (если доступна)
            'bit_rate': track.bit_rate,  # Битрейт (если доступен)
            'width': track.width,  # Ширина видео (если это видеотрек)
            'height': track.height,  # Высота видео (если это видеотрек)
            'frame_rate': track.frame_rate,  # Частота кадров (если это видеотрек)
            'channels': track.channel_s,  # Количество каналов (если это аудиотрек)
            'sampling_rate': track.sampling_rate,  # Частота дискретизации (если это аудиотрек)
            'language': track.language,  # Язык трека (если указан)
            'codec_id': track.codec_id,  # Идентификатор кодека
            'compression_mode': track.compression_mode,  # Режим сжатия
            'default': track.default,  # Является ли этот трек основным по умолчанию
            'forced': track.forced  # Принудительно ли используется этот трек
        }

        # Убираем из словаря пустые значения
        track_info = {k: v for k, v in track_info.items() if v is not None}

        # Добавляем информацию о треке в общий список
        detailed_metadata.append(track_info)

    # Возвращаем список метаданных
    return detailed_metadata


# Пример использования
file_path = 'video.mp4'  # Указываем путь к видео-файлу
# Получаем метаданные
metadata = get_detailed_video_metadata(file_path)
for track in metadata:
    # Выводим метаданные каждого трека
    print(track)

➡️Справочник Программиста. Подписаться

🎞 Библиотека MeTube в Python

Библиотека MeTube - это веб-интерфейс для youtube-dl. Предназначена для загрузки видео и аудио с различных видео-платформ, в первую очередь с YouTube.

Функционал библиотеки:
🔵Загрузка видео и аудио: Пользователи могут скачивать видео в разных форматах и разрешениях. Также можно извлекать только аудиодорожки.
🔵Поддержка нескольких источников: Может работать не только с YouTube, но и с другими видео-платформами.
🔵Управление качеством: Возможность выбирать качество видео, от самого низкого до высокого (HD, 4K).
🔵Автоматизация: Хорошо интегрируется в скрипты и программы для автоматического скачивания или обработки видео.
🔵Конвертация форматов: Загрузку видео можно настроить на автоматическое преобразование файлов в нужный формат, например, MP3 для аудио.

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Код для удаления страниц из PDF документа на Python

Для удаления страниц из PDF-файла в коде используется библиотека PyPDF2.

➡️Установка библиотеки: pip install pypdf2


import PyPDF2


def remove_pages(input_pdf, output_pdf, pages_to_remove):
    # Открываем исходный PDF документ
    with open(input_pdf, 'rb') as file:
        reader = PyPDF2.PdfReader(file)
        writer = PyPDF2.PdfWriter()

        # Перебираем все страницы
        for page_num in range(len(reader.pages)):
            # Если номер страницы не в списке для удаления, добавляем её в новый PDF
            if page_num not in pages_to_remove:
                writer.add_page(reader.pages[page_num])

        # Сохраняем новый PDF документ
        with open(output_pdf, 'wb') as output_file:
            writer.write(output_file)


# Исходный файл
input_pdf = 'document.pdf'
# Файл с удалёнными страницами
output_pdf = 'output.pdf'
# Номера страниц для удаления (начиная с 0)
pages_to_remove = [0]

remove_pages(input_pdf, output_pdf, pages_to_remove)

➡️Справочник Программиста. Подписаться

💽 Библиотека diskcache в Python

diskcache - это лицензированная Apache2 библиотека кэша с поддержкой диска и файлов, совместимая с Django.

Основные особенности библиотеки:
🔵Хранение на диске: Кэш хранится на диске, а не в оперативной памяти, что позволяет работать с большими объемами данных.
🔵Поддержка многопоточности и многопроцессности: Кэширование безопасно для работы с несколькими потоками и процессами.
🔵TTL (Time To Live): Можно указать время жизни (TTL) для каждого кэшированного элемента. Это позволяет автоматически очищать устаревшие данные.
🔵Постоянство данных: Даже после завершения работы программы данные кэша остаются на диске и могут быть использованы в следующий раз при запуске программы.
🔵API совместимо с dict: Поддерживает интерфейс, аналогичный словарю Python, что делает её использование простым и интуитивно понятным.
🔵Оптимизировано для производительности: Внутренне библиотека использует оптимизированные структуры данных для быстрого доступа к элементам.

✅Пример использования библиотеки:

import time
import diskcache as dc

# Инициализируем кэш в указанной директории
cache = dc.Cache('mycache')


# Функция, имитирующая дорогостоящие вычисления
@cache.memoize(expire=60)  # Кэшируем результат на 60 секунд
def expensive_computation(x, y):
    print(f"Выполняю тяжелые вычисления для ({x}, {y})...")
    time.sleep(5)  # Имитация долгих вычислений
    return x * y


# Первый вызов функции будет долгим, так как вычисления не кэшированы
start_time = time.time()
result = expensive_computation(5, 10)
print(f"Результат: {result}, время выполнения: {time.time() - start_time} секунд")

# Второй вызов функции с теми же параметрами будет быстрым, так как результат будет взят из кэша
start_time = time.time()
result = expensive_computation(5, 10)
print(f"Результат: {result}, время выполнения: {time.time() - start_time} секунд")

# Вызов с новыми параметрами снова приведет к вычислениям, так как таких данных еще нет в кэше
start_time = time.time()
result = expensive_computation(7, 3)
print(f"Результат: {result}, время выполнения: {time.time() - start_time} секунд")

# Закрываем кэш, когда больше не нужен
cache.close()

➡️Установка библиотеки: pip install diskcache

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Telethon в Python

Telethon - это асинхронная библиотека, предназначенная для взаимодействия с API Telegram и позволяет создавать ботов и клиентов для работы с Telegram через протокол MTProto.

Основные особенности библиотеки:
🔵Асинхронность: Поддерживает асинхронные функции, что позволяет обрабатывать множество событий одновременно без блокировки программы.
🔵Поддержка всех методов Telegram API: Предоставляет доступ к большинству возможностей Telegram, включая отправку сообщений, управление группами и каналами, получение и отправку медиафайлов, работу с пользователями и многое другое.
🔵События: Поддерживает обработку событий, таких как получение новых сообщений, изменения в чатах и каналах и другие.
🔵Гибкость: можно использовать как для создания ботов, так и для создания пользователей-клиентов.

➡️Установка библиотеки: pip install telethon

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

📺 Определение координат местоположения по адресу на Python

В данном shorts напишем код для определения широты и долготы по адресу.

➡️Справочник Программиста. Подписаться

Код для определение координат местоположения по адресу на Python

Для определение координат местоположения по адресу в коде используется библиотека geopy.

➡️Установка библиотеки: pip install geopy

from geopy.geocoders import Nominatim

# Создаём экземпляр класса Nominatim
geolocator = Nominatim(user_agent="user")

# Определяем координаты местоположения "Рим, Колизей"
location = geolocator.geocode("Рим, Колизей")

# Выводим широту и долготу местоположения
print(location.latitude, location.longitude)

➡️Справочник Программиста. Подписаться