Библиотека marker-pdf в Python

Библиотека marker-pdf предназначена для быстрой и точной конвертации PDF-документов в формат markdown.

Особенно полезна для работы с различными типами документов, включая книги и научные статьи.

Основные особенности библиотеки:
🔵Извлечение содержимого: Позволяет извлекать текст, изображения и таблицы из PDF-файлов и конвертировать их в формат markdown. Также может эффективно удалять ненужные заголовки, подзаголовки и другие артефакты из оригинального документа.
🔵Конвертация уравнений: Поддерживает конвертацию большинства уравнений в формат LaTeX, что полезно для научных документов с математическим содержанием.
🔵Поддержка нескольких языков: Поддерживает документы на различных языках, что делает её универсальным инструментом для широкой аудитории.

➡️Установка библиотеки: pip install marker-pdf

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для автоматического архивирования старых файлов на Python

Для автоматического архивирования старых файлов в коде используются модули os, shutil и time, которые входят в стандартную библиотеку Python.

import os
import shutil
import time


def archive_old_files(source_dir, archive_dir, days_old):
    # Проверяем, существует ли директория архива
    if not os.path.exists(archive_dir):
        # Если нет, создаем её
        os.makedirs(archive_dir)

    # Время отсечения: текущее время минус количество дней в секундах
    cutoff_time = time.time() - (days_old * 86400)

    # Проходим по всем файлам в исходной директории
    for filename in os.listdir(source_dir):
        # Полный путь к файлу
        file_path = os.path.join(source_dir, filename)

        # Проверяем, является ли путь файлом
        if os.path.isfile(file_path):
            # Получаем время последнего изменения файла
            last_modified_time = os.path.getmtime(file_path)

            # Если файл старше времени отсечения
            if last_modified_time < cutoff_time:
                # Перемещаем файл в архив
                shutil.move(file_path, os.path.join(archive_dir, filename))
                # Выводим сообщение об архивировании
                print(f"Архивировано: {filename}")


source_directory = '/path/to/source'  # Исходная директория
archive_directory = 'archive'  # Директория архива
days_threshold = 30  # Порог в днях

# Вызов функции архивирования
archive_old_files(source_directory, archive_directory, days_threshold)

➡️Справочник Программиста. Подписаться

Утилита Elia на Python

Утилита Elia предназначена для взаимодействия с большими языковыми моделями (LLMs) и работает полностью в терминале.

Основные особенности:
🔵Интерфейс: Предлагает интуитивно понятный интерфейс, который позволяет пользователям легко взаимодействовать с различными языковыми моделями, такими как ChatGPT, Claude, Llama 3 и другими.
🔵Клавиатурная навигация: Утилита ориентирована на клавиатурное управление, что позволяет пользователям быстро выполнять команды и получать результаты без необходимости использования мыши.
🔵Поддержка нескольких моделей: Поддерживает множество языковых моделей, что делает её универсальным инструментом для различных задач, связанных с обработкой естественного языка.

➡️Установка утилиты: pipx install elia-chat

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека Yellowbrick в Python

Библиотека Yellowbrick предназначена для визуализации данных и специально разработана для улучшения процесса машинного обучения (ML).

Предоставляет удобные инструменты для создания визуализаций, которые помогают анализировать данные, оценивать производительность моделей и подбирать гиперпараметры.

Строится на основе библиотек Matplotlib и Scikit-Learn, что делает её совместимой с привычными инструментами и подходами в экосистеме Python для машинного обучения.

Основные возможности библиотеки:
🔵Визуализация данных:
🟢Feature Analysis (Анализ признаков): Позволяет исследовать и анализировать различные признаки (фичи) в данных.
🟢Class Balance (Баланс классов): Визуализирует распределение классов в задачах классификации, что помогает понять, насколько сбалансированы данные.
🔵Визуализация моделей:
🟢ROC-AUC кривая: Построение ROC кривой и вычисление AUC для оценки производительности классификационных моделей.
🟢Confusion Matrix (Матрица ошибок): Отображает правильные и неправильные предсказания модели, показывая, какие классы чаще всего путаются.
🟢Prediction Error (Ошибка предсказания): Визуализирует отклонение предсказанных значений от реальных для моделей регрессии.
🟢Residuals Plot (График остатков): Помогает оценить остатки модели регрессии, чтобы понять, хорошо ли она справляется с задачей.
🔵Диагностика моделей:
🟢Learning Curve (Кривая обучения): Показывает, как изменяется качество модели в зависимости от количества обучающих данных.
🟢Validation Curve (Кривая валидации): Помогает выбрать оптимальные значения гиперпараметров, показывая зависимость качества модели от значения определенного гиперпараметра.
🟢Silhouette Plot (Силуэтный график): Для оценки качества кластеризации с помощью коэффициента силуэта.

➡️Установка библиотеки: pip install yellowbrick

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Faust в Python

Библиотека Faust предназначена для реализации потоковой обработки данных с использованием асинхронного программирования и похожая по принципам работы на Kafka Streams.

Позволяет легко обрабатывать потоки данных в реальном времени, создавая распределённые системы, которые масштабируются и легко поддерживаются.

Основные особенности библиотеки:
🔵Асинхронность: Использует библиотеку asyncio для асинхронного программирования, что позволяет эффективно управлять большим количеством соединений и задач в потоках данных.
🔵Модели объектов (Tables): Позволяет сохранять состояние между обработками сообщений с помощью таблиц, которые могут быть похожи на обычные базы данных, но они оптимизированы для работы в распределённой среде.
🔵Простота работы с Kafka: Делает интеграцию с Apache Kafka простой и удобной, используя интуитивно понятный API для работы с темами, продюсерами и потребителями данных.
🔵Stream Processing: Возможность обработки данных в реальном времени с поддержкой оконных операций (например, обработки данных за последние 5 минут или других временных интервалов).
🔵Масштабируемость: Поддерживает горизонтальное масштабирование и распределённую обработку потоков данных на нескольких узлах кластера.
🔵Типы агрегаций и функций: Поддерживает сложные операции с потоками данных, такие как фильтрация, разделение потоков, объединение потоков, агрегация и др.

➡️Установка библиотеки: pip install faust-streaming

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

🤖 Библиотека uiautomator2 в Python

Библиотека uiautomator2 используется для автоматизации пользовательских интерфейсов (UI) на устройствах с операционной системой Android.

Позволяет взаимодействовать с элементами интерфейса Android-приложений, такими как кнопки, текстовые поля, списки и другие компоненты UI, программно.

Основные возможности библиотеки:
🔵Запуск приложений: Возможность запускать приложения, указывая их package name, и выполнять с ними действия (например, отправлять сообщения, вводить текст и т.д.).
🔵Взаимодействие с элементами интерфейса: Поддержка взаимодействия с элементами UI по различным атрибутам, таким как текст, ресурсный идентификатор (resource-id), класс, и даже XPath (хотя последний метод работает медленнее).
🔵Работа с текстом: Ввод текста в текстовые поля и чтение текста с экрана.
🔵Клик по элементам: Автоматизированные клики по элементам интерфейса.
🔵Скроллинг: Возможность скроллирования в списках и других элементах, поддерживающих прокрутку.
🔵Жесты: Поддержка жестов, таких как свайпы, мультитач (например, масштабирование), долгие нажатия и т.д.
🔵Скриншоты: Возможность делать скриншоты экрана устройства.
🔵Работа с уведомлениями и системными окнами: Автоматизация взаимодействия с уведомлениями и диалоговыми окнами.
🔵Получение информации о текущем состоянии устройства: Проверка состояния экрана (включен ли он или заблокирован), получение информации о батарее, использовании CPU и других характеристиках.

➡️Установка библиотеки: pip install uiautomator2

📱 Репозиторий

➡️Справочник Программиста. Подписаться

👩‍💻 Библиотека Open-Interpreter в Python

Библиотека Open-Interpreter позволяет запускать команды на естественном языке для выполнения кода и управления компьютером через терминал или программный интерфейс.

Предоставляет API, с которым можно взаимодействовать через код. Пользователь может передавать команды в виде текста, а библиотека интерпретирует их и выполняет соответствующие действия. Это может включать создание графиков, работу с данными, редактирование файлов, и другие задачи, которые могут быть реализованы с использованием Python, JavaScript и других языков.

Основные возможности библиотеки:
🔵Выполнение сгенерированного кода: Позволяет напрямую исполнять код, который генерируется самой моделью или передаётся пользователем.
🔵Интерактивные сессии: Поддерживает интерактивные сессии, где можно писать и тестировать код в режиме реального времени.
🔵Многоязыковая поддержка: Хотя основной упор сделан на Python, Open-Interpreter поддерживает выполнение кода на других языках программирования (в зависимости от конфигурации).
🔵Обработка ошибок: Умеет анализировать ошибки, возникающие при выполнении кода, и может давать рекомендации или предлагать исправления.
🔵Работа с файлами и данными: Возможность создавать и редактировать изображения, видео, PDF-документы и управлять большими наборами данных.
🔵Контроль браузера: Можно управлять Chrome для автоматизации задач и поиска информации в интернете.
🔵Поддержка локальных и облачных моделей: Может использовать как локальные языковые модели через LM Studio, так и облачные модели (например, GPT-4).

➡️Установка библиотеки: pip install open-interpreter

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Наконец-то YouTube даст возможность выкладывать shorts'ы длиннее 1 минуты! 🥳

Библиотека Stegano в Python

Библиотека Stegano предназначена для реализации стеганографии - техники скрытия данных внутри других данных, например, текста, изображений, звука и т.д.

Основные возможности библиотеки:
🔵Скрытие текста в изображениях: Можно спрятать текстовое сообщение в изображении без заметных изменений для человеческого глаза.
🔵Извлечение сообщений: Возможность извлечь спрятанный текст из изображения.
🔵Поддержка нескольких методов стеганографии:
🟢LSB (Least Significant Bit) - классический метод, который использует младшие биты каждого пикселя для хранения информации.
🟢LSBSet - улучшенный вариант LSB, который работает с несколькими младшими битами пикселей в наборе (сетах) и распределяет данные по изображению более равномерно.
🟢SteganoMagic - более сложные алгоритмы, включающие в себя работу с криптографией.
🟢Redundant LSB (с избыточностью) - дублирует спрятанные данные в несколько мест изображения, что позволяет увеличить устойчивость к повреждениям данных или изменениям изображения. Он также использует младшие биты пикселей.
🟢Invisible Ink (невидимые чернила) - реализует концепцию скрытия данных так, чтобы они были "невидимыми" для человеческого восприятия. Использует особые параметры изображения для кодирования данных.
🟢Text-based стеганография - Можно также внедрять данные в текстовые файлы. Например, в тексте можно скрыть данные, изменяя пробелы, количество строк и другие элементы форматирования.

✅Пример кода для скрытия сообщения в изображении:

from stegano import lsb

# Скрытие текста в изображении
secret_image = lsb.hide("image.jpg", "Secret message")
secret_image.save("image_with_secret.png")

✅Пример кода для извлечения сообщения из изображения:

from stegano import lsb

# Извлечение скрытого сообщения
secret_message = lsb.reveal("image_with_secret.png")
print(secret_message)

➡️Установка библиотеки: pip install stegano

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для конвертации PDF в CSV на Python

Для открытия PDF-документа в коде используется библиотека tabula, а для его конвертации в CSV - pandas.

➡️Установка библиотеки: pip install pandas tabula

import tabula
import pandas as pd

filename = 'document.pdf'
# Чтение таблиц из PDF
tables = tabula.read_pdf(filename, encoding='utf-8', pages='1', multiple_tables=True)

# Объединение всех DataFrame в один
df = pd.concat(tables, ignore_index=True)

# Сохранение объединённого DataFrame в CSV-файл
df.to_csv('output.csv', index=False, encoding='utf-8-sig')

➡️Справочник Программиста. Подписаться

Библиотека Nuitka в Python

Nuitka - это компилятор Python, который преобразует Python-код в C и затем компилирует его в нативные исполняемые файлы. Это позволяет улучшить производительность Python-программ, так как скомпилированный код может выполняться быстрее, чем интерпретируемый.

Основные характеристики библиотеки:
🔵Производительность: Может значительно улучшить производительность приложений, особенно тех, которые требуют интенсивных вычислений.
🔵Совместимость: Совместим с большинством версий Python (2.6 и выше, включая Python 3.x) и поддерживает множество стандартных библиотек, включая NumPy и другие популярные пакеты.
🔵Компиляция в исполняемые файлы: Позволяет создавать независимые исполняемые файлы, которые не требуют установки Python на целевой машине.
🔵Поддержка многопоточности и асинхронного программирования: Хорошо работает с многопоточными и асинхронными программами, что позволяет эффективно использовать современные многоядерные процессоры.
🔵Лицензия: Распространяется под лицензией MIT, что делает его бесплатным и открытым для использования и модификации.

✅Пример компиляции скрипта:

python -m nuitka your_script.py

➡️Установка библиотеки: pip install Nuitka

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека MicroRabbit в Python

MicroRabbit - это легковесная библиотека для работы с микросервисами, которая реализует паттерн CQRS (Command Query Responsibility Segregation) и используется для упрощения взаимодействия между различными компонентами системы.

Основные характеристики библиотеки:
🔵CQRS: Разделяет команды и запросы, что позволяет более эффективно управлять состоянием и изменениями в приложении.
🔵Интеграция с RabbitMQ: Использует RabbitMQ как брокер сообщений для асинхронной обработки команд и запросов.
🔵Поддержка событий: Возможность отправки и обработки событий между микросервисами, что способствует созданию более реактивной архитектуры.
🔵Модульность: Позволяет разрабатывать модули, которые могут быть независимо развернуты и масштабированы.
🔵Упрощение кода: С помощью MicroRabbit можно сократить количество кода, необходимого для реализации сложной логики взаимодействия между сервисами.

➡️Установка библиотеки: pip install microrabbit

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Код для добавления текстового водяного знака на Python

Для работы с изображением и добавления текстового водяного знака в коде используется библиотека Pillow.

➡️Установка библиотеки: pip install pillow

from PIL import Image, ImageDraw, ImageFont


def add_text_watermark(input_image_path, output_image_path, text, position, font_path=None, font_size=36,
                       font_color=(255, 255, 255), opacity=128):
    # Открываем изображение
    image = Image.open(input_image_path).convert("RGBA")

    # Создаём новое изображение с теми же размерами, но для прозрачного слоя
    txt_layer = Image.new("RGBA", image.size, (255, 255, 255, 0))

    # Создаем объект для рисования
    draw = ImageDraw.Draw(txt_layer)

    # Загружаем шрифт (используем шрифт по умолчанию, если не указан)
    if font_path:
        font = ImageFont.truetype(font_path, font_size)
    else:
        font = ImageFont.load_default()

    # Получаем ограничивающий прямоугольник текста
    text_bbox = draw.textbbox((0, 0), text, font=font)
    text_width = text_bbox[2] - text_bbox[0]
    text_height = text_bbox[3] - text_bbox[1]

    # Позиционирование водяного знака
    if position == 'center':
        position = ((image.width - text_width) // 2, (image.height - text_height) // 2)
    elif position == 'bottom_right':
        position = (image.width - text_width - 15, image.height - text_height - 15)

    # Добавляем текст с прозрачностью
    draw.text(position, text, font=font, fill=(*font_color, opacity))

    # Объединяем текстовый слой с оригинальным изображением
    watermarked_image = Image.alpha_composite(image, txt_layer)

    # Конвертируем обратно в RGB (если нужно для сохранения в JPEG)
    watermarked_image = watermarked_image.convert("RGB")

    # Сохраняем результат
    watermarked_image.save(output_image_path)


# Пример использования
add_text_watermark(
    input_image_path="image.jpg",
    output_image_path="watermarked_image.jpg",
    text="© Your Watermark",
    position="bottom_right",
    font_path="arial.ttf",  # Указываем путь к шрифту (если не указано, используется шрифт по умолчанию)
    font_size=50,  # Размер текста
    font_color=(255, 255, 255),  # Цвет текста (белый)
    opacity=128  # 50% прозрачности
)

➡️Справочник Программиста. Подписаться

Библиотека num2words в Python

Библиотека num2words используется для преобразования чисел в текст, т.е. она позволяет конвертировать числовые значения в их словесное представление.

Основные возможности библиотеки:
🔵Преобразование целых чисел: Конвертирует целые числа в их словесное представление.
🔵Поддержка различных языков: Поддерживает множество языков, что позволяет переводить числа на разные языки.
🔵Поддержка разных форматов чисел: Помимо простых целых чисел, можно работать с дробными числами, валютами и другими специальными форматами.

✅Пример преобразования чисел на английский язык

from num2words import num2words

print(num2words(123))
# Вывод: 'one hundred and twenty-three'

✅Пример преобразования чисел на русский язык

from num2words import num2words

print(num2words(123, lang='ru'))
  # Вывод: 'сто двадцать три'

➡️Установка библиотеки: pip install num2words

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Спасибо анониму за донат (поздно заметил), последний раз до него он был аж 414 дней назад 😅