Библиотека Distilabel в Python

Библиотека Distilabel предназначена для упрощения процесса разметки данных, используемых для обучения моделей машинного обучения и обработки естественного языка.

Основные возможности библиотеки:
🔵Интерактивная разметка данных: Предоставляет удобные инструменты для интерактивной разметки текстов.
🔵Поддержка различных типов разметки: Поддерживает разметку различных типов данных, таких как текст, изображения, и последовательности.
🔵Интеграция с моделями и фреймворками: Интегрируется с популярными моделями и фреймворками, такими как Hugging Face Transformers, что позволяет легко использовать размеченные данные для обучения и оценки моделей.
🔵Визуализация разметки: Инструменты визуализации позволяют пользователям видеть результаты своей работы и оценивать качество разметки.
🔵Автоматическая разметка: Может использовать предварительно обученные модели для автоматической разметки данных, что значительно ускоряет процесс подготовки данных.

➡️Установка библиотеки: pip install distilabel

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

🌐Библиотека Speedtest в Python

Библиотека Speedtest используется для измерения скорости интернет-соединения.

✅ Пример кода

import speedtest

# Создаем объект Speedtest
st = speedtest.Speedtest()

# Получаем список серверов
st.get_servers()

# Выбираем лучший сервер на основе пинга
st.get_best_server()

# Выполняем тест на загрузку
download_speed = st.download()

# Выполняем тест на выгрузку
upload_speed = st.upload()

# Получаем результаты
ping = st.results.ping

print(f"Пинг: {ping} ms")
print(f"Скорость загрузки: {download_speed / 1_000_000:.2f} Mbps")
print(f"Скорость выгрузки: {upload_speed / 1_000_000:.2f} Mbps")

➡️Установка библиотеки: pip install speedtest-cli

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Утилита NormCap в Python

NormCap - утилита для автоматического распознавания текста на изображениях.

Работает на Linux, macOS и Windows.

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Whoogle-search в Python

Библиотека Whoogle-search предназначена для выполнения поисковых запросов через публичный поисковый движок Whoogle.

Whoogle является альтернативой Google, разработанной с акцентом на конфиденциальность и отсутствие отслеживания пользователей.

Основные характеристики библиотеки:
🔵Простота использования: Предоставляет простой интерфейс для выполнения поисковых запросов без необходимости в специфических знаниях API.
🔵Независимость от API: Поскольку Whoogle-search использует DuckDuckGo в качестве основной поисковой системы, он позволяет обойти сложности и требования API других поисковых систем.
🔵Гибкость и настройка: Возможность управления параметрами поиска, такими как количество результатов или наличие фильтров.
🔵Легкость интеграции: Простота встраивания в проекты благодаря небольшому размеру библиотеки и ясному API.

➡️Установка библиотеки: pip install whoogle-search

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Код для добавления изображения в Excel на Python

Для работы с Excel в коде используется библиотека openpyxl.

➡️Установка библиотеки: pip install openpyxl

import openpyxl
from openpyxl.drawing.image import Image

# Открываем существующий файл
wb = openpyxl.load_workbook('example.xlsx')
ws = wb.active

# Загружаем изображение
img = Image('image.jpg')

# Вставляем изображение
ws.add_image(img, 'C1')

# Сохраняем изменения
wb.save('existing_file.xlsx')

➡️Справочник Программиста. Подписаться

💻 Модуль cloudscraper в Python

Модуль cloudscraper представляет собой инструмент для обхода защиты от ботов на веб-сайтах, основанную на технологии Cloudflare.

Cloudflare и подобные службы могут использовать различные методы для защиты от автоматизированных запросов, такие как CAPTCHA или JavaScript-проверки. cloudscraper помогает обходить эти защитные механизмы и получать доступ к защищённым ресурсам программно.

Основные характеристики модуля:
🔵Обход защиты Cloudflare: Основная цель cloudscraper — это обход JavaScript- и CAPTCHA-защит, используемых Cloudflare. Она загружает и выполняет JavaScript на стороне сервера, что позволяет получить необходимую страницу или данные без необходимости ввода CAPTCHA вручную.
🔵Простота использования: Он предоставляет аналогичный API, как и requests, что упрощает переход и использование для тех, кто уже знаком с requests.
🔵Поддержка различных версий Python: Совместим с Python 2.7 и Python 3.x.
🔵Настройка поведения: В модуле есть возможность настройки поведения, включая возможность установки заголовков запросов, использования прокси и других параметров, что делает её гибкой для различных сценариев использования.

❗️Использование модуля cloudscraper или любых других инструментов для сканирования или обхода защиты веб-сайтов должно соответствовать законодательству и политикам использования ресурсов, предоставляемых сайтами.❗️

➡️Установка модуля: pip install cloudscraper

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека Telegraph в Python

Библиотека Telegraph используется для взаимодействия с сервисом Telegram Telegraph, который позволяет создавать и публиковать статьи и посты с богатым форматированием.

Этот сервис был создан командой Telegram для публикации контента, и он поддерживает текст, изображения, видео и другие элементы.

Основные возможности библиотеки:
🔵Создание аккаунта: Можно создать новый аккаунт для публикации статей.
🔵Создание и редактирование статей: Позволяет создавать и редактировать статьи с использованием HTML-контента.
🔵Получение информации о статье: Можно получать данные о конкретной статье, включая её содержимое и метаданные.
🔵Получение списка статей аккаунта: Можно получить список всех статей, опубликованных с определённого аккаунта.

✅Пример кода для создания статьи

from telegraph import Telegraph

# Создаем объект класса Telegraph
telegraph = Telegraph()
# Создаем аккаунт с коротким именем 'test'
telegraph.create_account(short_name='test')

# Создаем страницу с заголовком 'Hello World',
# автором 'Telegraph API',
# ссылкой на автора и HTML содержимым
response = telegraph.create_page(
    title='Hello World',  # Заголовок страницы
    author_name='Telegraph API',  # Имя автора
    author_url='https://example.com',  # URL автора
    html_content='<p>Hello, world!</p>'  # Содержимое страницы в формате HTML
)
# Выводим URL созданной страницы
print(response['url'])

➡️Установка библиотеки: pip install telegraph

📱 Репозиторий

➡️Справочник Программиста. Подписаться

Библиотека Mito в Python

Библиотека Mito предназначена для облегчения работы с данными в Jupyter Notebooks.

Предоставляет табличный интерфейс, напоминающий Excel, который позволяет пользователям визуально исследовать и манипулировать данными.

Основные особенности библиотеки:
🔵Интерфейс в стиле Excel: Предоставляет интерактивную таблицу в Jupyter Notebooks, где можно выполнять различные операции с данными, такие как фильтрация, сортировка, агрегирование и визуализация.
🔵Поддержка pandas.
🔵Генерация кода: Все действия, выполненные в интерфейсе Mito, автоматически переводятся в соответствующий код на Python (с использованием pandas). Это позволяет пользователям видеть и понимать, какой код генерируется, а также использовать его в своих проектах.
🔵Простота использования: Предназначена для того, чтобы быть интуитивно понятной и легкой в освоении, что делает её отличным инструментом как для начинающих, так и для опытных аналитиков данных.

⬇️Установка
Для начала необходимо открыть терминал/командную строку/Anaconda Prompt и загрузить установщик Mito:

python -m pip install mitoinstaller

Затем нужно запустить установщик:

python -m mitoinstaller install

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Тернарный оператор в Python

В данном shorts поговорим про то, что такое тернарный оператор в Python и как им пользоваться.

➡️Справочник Программиста. Подписаться

Библиотека PyTgCalls в Python

Библиотека PyTgCalls предназначена для работы с голосовыми звонками в Telegram.

Основные характеристики библиотеки:
🔵Асинхронность: Использует асинхронные методы для выполнения задач.
🔵Поддержка MTProto: Работает с Pyrogram, Telethon и Hydrogram.
🔵Голосовые чаты: Поддержка голосовых чатов в каналах и группах.
🔵Управление звуком: Включает функции отключения звука / включения, пауза / возобновление, остановка / воспроизведение, регулировка громкости и многое другое...

➡️Установка библиотеки: pip install py-tgcalls

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Deep-Translator в Python

Библиотека Deep-Translator предназначена для перевода текста, который использует различные внешние сервисы машинного перевода.

Основные характеристики библиотеки:
🔵Мультиязычность: Поддерживает перевод текста между большим количеством языков. Это включает популярные пары языков, такие как английский, испанский, французский, немецкий и др.
🔵Использование API сервисов перевода: Работает через API таких сервисов, как Google Translate, Microsoft Translator, Yandex.Translate и другие.
🔵Простота использования: Имеет простой и понятный интерфейс для быстрого интегрирования перевода в Python-приложения.

➡️Установка библиотеки: pip install deep-translator

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека LightGBM в Python

LightGBM (Light Gradient Boosting Machine) - это библиотека машинного обучения с открытым исходным кодом, разработанная Microsoft.

Предназначена для решения задач классификации, регрессии и ранжирования, а также для выполнения различных других задач, связанных с обучением на основе градиентного бустинга над деревьями решений.

Основные особенности библиотеки:
🔵Скорость и эффективность: Использует алгоритмы на основе гистограмм для упрощения расчета градиентов и нахождения лучших разбиений, что значительно ускоряет процесс обучения по сравнению с традиционными методами.
🔵Поддержка параллельного обучения: Поддерживает параллельное обучение на многопроцессорных системах, что позволяет значительно сократить время обучения моделей.
🔵Обработка больших данных: Эффективно работает с большими объемами данных, что делает его подходящим для промышленных приложений и анализа больших данных.
🔵Учет редких значений и пропусков данных: Автоматически обрабатывает пропущенные значения и учитывает редкие категории в данных, что упрощает предварительную обработку данных.
🔵Градиентный бустинг с деревьями решений: Использует метод градиентного бустинга с деревьями решений, что позволяет строить сложные модели с высокой предсказательной способностью.

➡️Установка библиотеки: pip install lightgbm

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Код для извлечения всех ссылок из HTML-файла на Python

Для парсинга и работы с HTML-файлом в коде используется библиотека beautifulsoup4.

➡️Установка библиотеки: pip install beautifulsoup4

from bs4 import BeautifulSoup


def extract_links_from_file(file_path):
    # Открываем файл в режиме для чтения
    with open(file_path, 'r', encoding='utf-8') as file:
        # Считываем содержимое файла в переменную
        html_content = file.read()

    # Создаём объект BeautifulSoup для парсинга HTML
    soup = BeautifulSoup(html_content, 'html.parser')
    # Извлекаем все ссылки (значения атрибута href) из тегов <a>
    links = [link['href'] for link in soup.find_all('a', href=True)]
    # Возвращаем список извлеченных ссылок
    return links


# Указываем путь к HTML-файлу
file_path = 'index.html'
# Вызываем функцию для извлечения ссылок
links = extract_links_from_file(file_path)
# Выводим список извлеченных ссылок
print(links)

➡️Справочник Программиста. Подписаться

Библиотека factory_boy в Python

Библиотека factory_boy упрощает создание фиктивных данных для тестирования.

Она помогает автоматизировать и ускорить процесс создания тестовых объектов.

Основные возможности библиотеки:
🔵Фабрики (Factories): В основе библиотеки лежит концепция фабрик, которые определяют, как создавать объекты определенного типа.
🔵Декларативный синтаксис: Определение фабрик происходит декларативно с использованием классов и атрибутов.
🔵Гибкость и расширяемость: Позволяет легко переопределять и расширять фабрики, чтобы создавать объекты с различными наборами данных для разных тестов.
🔵Поддержка различных ORM: Поддерживает популярные ORM, такие как SQLAlchemy, Django ORM, а также может работать с обычными Python-классами.
🔵Интеграция с Faker: Для генерации случайных данных factory_boy использует библиотеку Faker, что позволяет генерировать реалистичные имена, адреса, телефонные номера и другие данные.

➡️Установка библиотеки: pip install factory-boy

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться

Библиотека Kombu в Python

Библиотека Kombu предназначенная для работы с сообщениями и очередями сообщений.

Она часто используется вместе с Celery для обработки задач асинхронно, но может использоваться и автономно.

Основные особенности библиотеки:
🔵Унифицированный интерфейс: Предоставляет единый API для работы с различными брокерами сообщений, такими как RabbitMQ, Redis, Amazon SQS и другими. Это позволяет легко переключаться между различными системами доставки сообщений без изменения кода приложения.
🔵Обмены и очереди: Поддерживает создание и управление обменами (exchanges) и очередями (queues), а также связывание их для маршрутизации сообщений.
🔵Серилизация: Поддерживает различные форматы сериализации сообщений, включая JSON, pickle, msgpack, и другие. Это позволяет легко передавать сложные объекты между различными компонентами системы.
🔵Управление подключениями: Умеет эффективно управлять подключениями к брокеру сообщений, автоматически восстанавливая их в случае разрыва.
🔵Асинхронная работа: Поддержка асинхронной работы, что позволяет интегрировать Kombu с асинхронными фреймворками, такими как asyncio.

➡️Установка библиотеки: pip install kombu

📱 Репозиторий
⚙️ Документация

➡️Справочник Программиста. Подписаться