Утилита NormCap в Python

NormCap - утилита для автоматического распознавания текста на изображениях.

Работает на Linux, macOS и Windows.

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Whoogle-search в Python

Библиотека Whoogle-search предназначена для выполнения поисковых запросов через публичный поисковый движок Whoogle.

Whoogle является альтернативой Google, разработанной с акцентом на конфиденциальность и отсутствие отслеживания пользователей.

Основные характеристики библиотеки:
🔵Простота использования: Предоставляет простой интерфейс для выполнения поисковых запросов без необходимости в специфических знаниях API.
🔵Независимость от API: Поскольку Whoogle-search использует DuckDuckGo в качестве основной поисковой системы, он позволяет обойти сложности и требования API других поисковых систем.
🔵Гибкость и настройка: Возможность управления параметрами поиска, такими как количество результатов или наличие фильтров.
🔵Легкость интеграции: Простота встраивания в проекты благодаря небольшому размеру библиотеки и ясному API.

➡️Установка библиотеки: pip install whoogle-search

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Код для добавления изображения в Excel на Python

Для работы с Excel в коде используется библиотека openpyxl.

➡️Установка библиотеки: pip install openpyxl

import openpyxl
from openpyxl.drawing.image import Image

# Открываем существующий файл
wb = openpyxl.load_workbook('example.xlsx')
ws = wb.active

# Загружаем изображение
img = Image('image.jpg')

# Вставляем изображение
ws.add_image(img, 'C1')

# Сохраняем изменения
wb.save('existing_file.xlsx')

➡️Справочник Программиста. Подписаться

💻 Модуль cloudscraper в Python

Модуль cloudscraper представляет собой инструмент для обхода защиты от ботов на веб-сайтах, основанную на технологии Cloudflare.

Cloudflare и подобные службы могут использовать различные методы для защиты от автоматизированных запросов, такие как CAPTCHA или JavaScript-проверки. cloudscraper помогает обходить эти защитные механизмы и получать доступ к защищённым ресурсам программно.

Основные характеристики модуля:
🔵Обход защиты Cloudflare: Основная цель cloudscraper — это обход JavaScript- и CAPTCHA-защит, используемых Cloudflare. Она загружает и выполняет JavaScript на стороне сервера, что позволяет получить необходимую страницу или данные без необходимости ввода CAPTCHA вручную.
🔵Простота использования: Он предоставляет аналогичный API, как и requests, что упрощает переход и использование для тех, кто уже знаком с requests.
🔵Поддержка различных версий Python: Совместим с Python 2.7 и Python 3.x.
🔵Настройка поведения: В модуле есть возможность настройки поведения, включая возможность установки заголовков запросов, использования прокси и других параметров, что делает её гибкой для различных сценариев использования.

❗️Использование модуля cloudscraper или любых других инструментов для сканирования или обхода защиты веб-сайтов должно соответствовать законодательству и политикам использования ресурсов, предоставляемых сайтами.❗️

➡️Установка модуля: pip install cloudscraper

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека Telegraph в Python

Библиотека Telegraph используется для взаимодействия с сервисом Telegram Telegraph, который позволяет создавать и публиковать статьи и посты с богатым форматированием.

Этот сервис был создан командой Telegram для публикации контента, и он поддерживает текст, изображения, видео и другие элементы.

Основные возможности библиотеки:
🔵Создание аккаунта: Можно создать новый аккаунт для публикации статей.
🔵Создание и редактирование статей: Позволяет создавать и редактировать статьи с использованием HTML-контента.
🔵Получение информации о статье: Можно получать данные о конкретной статье, включая её содержимое и метаданные.
🔵Получение списка статей аккаунта: Можно получить список всех статей, опубликованных с определённого аккаунта.

✅Пример кода для создания статьи

from telegraph import Telegraph

# Создаем объект класса Telegraph
telegraph = Telegraph()
# Создаем аккаунт с коротким именем 'test'
telegraph.create_account(short_name='test')

# Создаем страницу с заголовком 'Hello World',
# автором 'Telegraph API',
# ссылкой на автора и HTML содержимым
response = telegraph.create_page(
    title='Hello World',  # Заголовок страницы
    author_name='Telegraph API',  # Имя автора
    author_url='https://example.com',  # URL автора
    html_content='<p>Hello, world!</p>'  # Содержимое страницы в формате HTML
)
# Выводим URL созданной страницы
print(response['url'])

➡️Установка библиотеки: pip install telegraph

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека Mito в Python

Библиотека Mito предназначена для облегчения работы с данными в Jupyter Notebooks.

Предоставляет табличный интерфейс, напоминающий Excel, который позволяет пользователям визуально исследовать и манипулировать данными.

Основные особенности библиотеки:
🔵Интерфейс в стиле Excel: Предоставляет интерактивную таблицу в Jupyter Notebooks, где можно выполнять различные операции с данными, такие как фильтрация, сортировка, агрегирование и визуализация.
🔵Поддержка pandas.
🔵Генерация кода: Все действия, выполненные в интерфейсе Mito, автоматически переводятся в соответствующий код на Python (с использованием pandas). Это позволяет пользователям видеть и понимать, какой код генерируется, а также использовать его в своих проектах.
🔵Простота использования: Предназначена для того, чтобы быть интуитивно понятной и легкой в освоении, что делает её отличным инструментом как для начинающих, так и для опытных аналитиков данных.

⬇️Установка
Для начала необходимо открыть терминал/командную строку/Anaconda Prompt и загрузить установщик Mito:

python -m pip install mitoinstaller

Затем нужно запустить установщик:

python -m mitoinstaller install

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Тернарный оператор в Python

В данном shorts поговорим про то, что такое тернарный оператор в Python и как им пользоваться.

➡️Справочник Программиста. Подписаться

Библиотека PyTgCalls в Python

Библиотека PyTgCalls предназначена для работы с голосовыми звонками в Telegram.

Основные характеристики библиотеки:
🔵Асинхронность: Использует асинхронные методы для выполнения задач.
🔵Поддержка MTProto: Работает с Pyrogram, Telethon и Hydrogram.
🔵Голосовые чаты: Поддержка голосовых чатов в каналах и группах.
🔵Управление звуком: Включает функции отключения звука / включения, пауза / возобновление, остановка / воспроизведение, регулировка громкости и многое другое...

➡️Установка библиотеки: pip install py-tgcalls

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Deep-Translator в Python

Библиотека Deep-Translator предназначена для перевода текста, который использует различные внешние сервисы машинного перевода.

Основные характеристики библиотеки:
🔵Мультиязычность: Поддерживает перевод текста между большим количеством языков. Это включает популярные пары языков, такие как английский, испанский, французский, немецкий и др.
🔵Использование API сервисов перевода: Работает через API таких сервисов, как Google Translate, Microsoft Translator, Yandex.Translate и другие.
🔵Простота использования: Имеет простой и понятный интерфейс для быстрого интегрирования перевода в Python-приложения.

➡️Установка библиотеки: pip install deep-translator

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека LightGBM в Python

LightGBM (Light Gradient Boosting Machine) - это библиотека машинного обучения с открытым исходным кодом, разработанная Microsoft.

Предназначена для решения задач классификации, регрессии и ранжирования, а также для выполнения различных других задач, связанных с обучением на основе градиентного бустинга над деревьями решений.

Основные особенности библиотеки:
🔵Скорость и эффективность: Использует алгоритмы на основе гистограмм для упрощения расчета градиентов и нахождения лучших разбиений, что значительно ускоряет процесс обучения по сравнению с традиционными методами.
🔵Поддержка параллельного обучения: Поддерживает параллельное обучение на многопроцессорных системах, что позволяет значительно сократить время обучения моделей.
🔵Обработка больших данных: Эффективно работает с большими объемами данных, что делает его подходящим для промышленных приложений и анализа больших данных.
🔵Учет редких значений и пропусков данных: Автоматически обрабатывает пропущенные значения и учитывает редкие категории в данных, что упрощает предварительную обработку данных.
🔵Градиентный бустинг с деревьями решений: Использует метод градиентного бустинга с деревьями решений, что позволяет строить сложные модели с высокой предсказательной способностью.

➡️Установка библиотеки: pip install lightgbm

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для извлечения всех ссылок из HTML-файла на Python

Для парсинга и работы с HTML-файлом в коде используется библиотека beautifulsoup4.

➡️Установка библиотеки: pip install beautifulsoup4

from bs4 import BeautifulSoup


def extract_links_from_file(file_path):
    # Открываем файл в режиме для чтения
    with open(file_path, 'r', encoding='utf-8') as file:
        # Считываем содержимое файла в переменную
        html_content = file.read()

    # Создаём объект BeautifulSoup для парсинга HTML
    soup = BeautifulSoup(html_content, 'html.parser')
    # Извлекаем все ссылки (значения атрибута href) из тегов <a>
    links = [link['href'] for link in soup.find_all('a', href=True)]
    # Возвращаем список извлеченных ссылок
    return links


# Указываем путь к HTML-файлу
file_path = 'index.html'
# Вызываем функцию для извлечения ссылок
links = extract_links_from_file(file_path)
# Выводим список извлеченных ссылок
print(links)

➡️Справочник Программиста. Подписаться

Библиотека factory_boy в Python

Библиотека factory_boy упрощает создание фиктивных данных для тестирования.

Она помогает автоматизировать и ускорить процесс создания тестовых объектов.

Основные возможности библиотеки:
🔵Фабрики (Factories): В основе библиотеки лежит концепция фабрик, которые определяют, как создавать объекты определенного типа.
🔵Декларативный синтаксис: Определение фабрик происходит декларативно с использованием классов и атрибутов.
🔵Гибкость и расширяемость: Позволяет легко переопределять и расширять фабрики, чтобы создавать объекты с различными наборами данных для разных тестов.
🔵Поддержка различных ORM: Поддерживает популярные ORM, такие как SQLAlchemy, Django ORM, а также может работать с обычными Python-классами.
🔵Интеграция с Faker: Для генерации случайных данных factory_boy использует библиотеку Faker, что позволяет генерировать реалистичные имена, адреса, телефонные номера и другие данные.

➡️Установка библиотеки: pip install factory-boy

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Kombu в Python

Библиотека Kombu предназначенная для работы с сообщениями и очередями сообщений.

Она часто используется вместе с Celery для обработки задач асинхронно, но может использоваться и автономно.

Основные особенности библиотеки:
🔵Унифицированный интерфейс: Предоставляет единый API для работы с различными брокерами сообщений, такими как RabbitMQ, Redis, Amazon SQS и другими. Это позволяет легко переключаться между различными системами доставки сообщений без изменения кода приложения.
🔵Обмены и очереди: Поддерживает создание и управление обменами (exchanges) и очередями (queues), а также связывание их для маршрутизации сообщений.
🔵Серилизация: Поддерживает различные форматы сериализации сообщений, включая JSON, pickle, msgpack, и другие. Это позволяет легко передавать сложные объекты между различными компонентами системы.
🔵Управление подключениями: Умеет эффективно управлять подключениями к брокеру сообщений, автоматически восстанавливая их в случае разрыва.
🔵Асинхронная работа: Поддержка асинхронной работы, что позволяет интегрировать Kombu с асинхронными фреймворками, такими как asyncio.

➡️Установка библиотеки: pip install kombu

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для извлечения всех списков из HTML-файла на Python

Для парсинга и работы с HTML-файлом в коде используется библиотека beautifulsoup4.

➡️Установка библиотеки: pip install beautifulsoup4

from bs4 import BeautifulSoup


def read_html_file(file_path):
    with open(file_path, 'r', encoding='utf-8') as file:
        # Читаем содержимое файла и возвращаем его
        return file.read()


def extract_list_items(list_tag):
    # Извлекаем текст из всех тегов <li> внутри указанного тега списка
    return [li.get_text().strip() for li in list_tag.find_all('li')]


def extract_lists_from_html(html_doc):
    # Создаем объект BeautifulSoup
    soup = BeautifulSoup(html_doc, 'html.parser')
    # Находим все теги <ul> (неупорядоченные списки)
    unordered_lists = soup.find_all('ul')
    # Находим все теги <ol> (упорядоченные списки)
    ordered_lists = soup.find_all('ol')

    all_list_items = {
        'unordered_lists': [extract_list_items(ul) for ul in unordered_lists],  # Извлекаем элементы из всех неупорядоченных списков
        'ordered_lists': [extract_list_items(ol) for ol in ordered_lists]  # Извлекаем элементы из всех упорядоченных списков
    }
    # Возвращаем словарь со всеми извлеченными списками
    return all_list_items


def print_extracted_lists(all_list_items):
    print("Неупорядоченные списки:")
    for i, ul_items in enumerate(all_list_items['unordered_lists'], start=1):
        # Выводим содержимое каждого неупорядоченного списка
        print(f"Список {i}: {ul_items}")

    print("\nУпорядоченные списки:")
    for i, ol_items in enumerate(all_list_items['ordered_lists'], start=1):
        # Выводим содержимое каждого упорядоченного списка
        print(f"Список {i}: {ol_items}")


def main(html_file_path):
    try:
        # Читаем HTML-файл
        html_doc = read_html_file(html_file_path)
        # Извлекаем списки из HTML
        all_list_items = extract_lists_from_html(html_doc)
        # Выводим извлечённые списки
        print_extracted_lists(all_list_items)
    except Exception as e:
        # Выводим сообщение об ошибке, если что-то пошло не так
        print(f"Произошла ошибка: {e}")


if __name__ == "__main__":
    html_file_path = 'index.html'
    # Вызываем функцию main с указанным путем к HTML-файлу
    main(html_file_path)

➡️Справочник Программиста. Подписаться

Библиотека argcomplete в Python

Библиотека argcomplete предназначена для автоматического дополнения аргументов командной строки в Python.

Она интегрируется с argparse и позволяет добавлять поддержку автодополнения в свои командные утилиты.

➡️Установка библиотеки: pip install argcomplete

📱 Репозиторий
⚙️ Документация

📺 Разбор модуля argparse в Python

➡️Справочник Программиста. Подписаться

Код для слияния нескольких Word-документов на Python

Для работы с Word-документами в коде используется библиотека python-docx.

➡️Установка библиотеки: pip install python-docx

from docx import Document


def merge_docs(output, *files):
    # Создаем новый пустой Word-документ
    merged_doc = Document()
    # Проходимся по каждому входному файлу
    for file in files:
        # Открываем текущий входной файл как документ Word
        doc = Document(file)
        # Проходимся по каждому элементу тела документа
        for element in doc.element.body:
            # Добавляем элемент в тело выходного документа
            merged_doc.element.body.append(element)
    # Сохраняем объединенный документ в указанный выходной файл
    merged_doc.save(output)


merge_docs('output.docx', '1.docx', '2.docx', '3.docx')

➡️Справочник Программиста. Подписаться

Библиотека pyspellchecker в Python

Библиотека pyspellchecker предназначена для проверки орфографии и исправления ошибок в текстах.

Предоставляет простой и эффективный способ обнаружения и исправления опечаток и других орфографических ошибок в текстовых данных.

Основные возможности библиотеки:
🔵Обнаружение ошибок: Выявление слов с орфографическими ошибками.
🔵Исправление ошибок: Предложение корректных вариантов для слов с ошибками.
🔵Работа с несколькими языками: Поддержка различных языков, что позволяет использовать библиотеку для текстов на разных языках.
🔵Эффективность и быстродействие: Использование алгоритма Levenshtein Distance для эффективного поиска и исправления ошибок.

✅Пример кода

from spellchecker import SpellChecker

# Создание объекта SpellChecker для английского языка
spell = SpellChecker()

# Текст для проверки
text = "Ths is a smple txt with sme speling errors."

# Разделение текста на слова
words = text.split()

# Проверка каждого слова на ошибки
misspelled = spell.unknown(words)

# Исправление ошибок
for word in misspelled:
    # Получение наиболее вероятного исправления
    correct_word = spell.correction(word)
    print(f"'{word}' может быть исправлено на '{correct_word}'")

    # Получение списка возможных исправлений
    suggestions = spell.candidates(word)
    print(f"Возможные исправления для '{word}': {suggestions}")

➡️Установка библиотеки: pip install pyspellchecker

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться