Полезные библиотеки Python

Google Maps Scraper — простой в использовании парсер отзывов с Google карт.

Установка:
$ git clone https://github.com/gaspa93/googlemaps-scraper.git
$ cd googlemaps-scraper
$ pip install -r requirements.txt

У парсера есть два основных параметра:
--i: имя входного файла, содержащее список URL-адресов на Картах Google (по умолчанию: urls.txt)
--N: количество отзывов, которые необходимо получить, начиная с самого последнего (по умолчанию: 100).

Пример использования:
$ python scraper.py --N 50

GitHub/Инструкция

Разъяснивший Python

Как красиво выводить словари и JSON в Python? (ч.1)

Когда ты работаешь со словарями (dict) или JSON-данными, обычный print() выводит всё в одну строку, что неудобно читать. Используй pprint() для красивого форматирования!

Как использовать pprint()?

pprint.pprint() – для красивого вывода словарей.

Разъяснивший Python

Как красиво вывести JSON?

Если у тебя JSON-ответ от API, используй json.dumps().

json.dumps(..., indent=4) – для удобного отображения JSON.
Код становится понятнее и читаемее!

Разъяснивший Python

Как быстро поменять местами две переменные в Python?

Новички, приходя в Python из других языков, часто меняют переменные местами через временную переменную. Этот метод работает, но требует дополнительной переменной, что не всегда удобно.

Python позволяет обменять значения в одну строку с помощью кортежного присваивания

Как это работает?
1. В правой части создаётся кортеж (b, a), в котором значения уже поменяны местами.
2. Затем Python распаковывает этот кортеж обратно в переменные a и b.
3. В итоге a получает значение b, а b получает значение a – всё за одну строку!

Быстрее – Python выполняет это без создания лишней переменной.
Читабельнее – код сразу понятен и не требует объяснений.
Работает с любыми типами данных (числа, строки, списки и т. д.)

Разъяснивший Python

Тушим свет. Python скрипт для выключения компьютера через заданное время.

Нужен способ автоматически выключить компьютер через несколько минут?
Этот скрипт поможет вам в этом. Просто введите нужное количество минут, и ваш ПК выключится точно в срок.

import os
import time

def shutdown() -> None:
    os.system("shutdown /s /t 1")

def schedule_shutdown(minutes: int) -> None:
    sec_in_minute = 60
    print(f'Компьютер выключится через {minutes} минут(ы)')
    time.sleep(minutes * sec_in_minute)
    print('\nКомпьютер будет выключен!')
    time.sleep(3)
    shutdown()

def main() -> None:
    try:
        set_time = int(input("Введите время до выключения (в минутах): "))
        if set_time <= 0:
            print("Время должно быть больше нуля.")
            return
        schedule_shutdown(set_time)
    except ValueError:
        print("Пожалуйста, введите корректное число минут.")

if __name__ == "__main__":
    main()

Разъяснивший Python

Как одной строкой проверить, есть ли элемент в списке?

Новички часто используют длинные конструкции для проверки элемента в списке, но можно сократить код до одной строки!

Как это работает?

3 in numbers – проверяет, есть ли число 3 в списке.
Тернарный оператор (условие ? если_да : если_нет в других языках) позволяет записать if-else в одну строку.

Меньше строк кода
Читабельно и понятно
Работает с любыми коллекциями (list, set, dict.keys() и т. д.)

Разъяснивший Python

Полное руководство по веб-скрапингу с Python

Руководство не просто познакомит вас с веб-скрапингом, а даст пошаговый алгоритм сбора почти любых данных в современном Интернете.

Часть 1: Основы работы
Отправка запросов на сайты и обработка ответов
Автоматизация взаимодействия с веб-страницами

Часть 2: Практические техники
Анализ и парсинг сложных HTML-страниц
Создание сканеров с Scrapy
Извлечение данных из документов и API
Очистка и нормализация неструктурированных данных
Скрапинг JavaScript и обход блокировок
Конвертация изображений в текст (OCR)
Автоматическое тестирование сайтов

Идеально для разработчиков, аналитиков и исследователей данных.

Разъяснивший Python

Как создать свой реестр для хостинга Docker-контейнеров

Хочешь полностью контролировать свои Docker-образы? Мы расскажем, как создать и настроить личный реестр контейнеров, идеально подходящий для твоих задач.

Читать...

Разъяснивший Python

Телеграм-бот с AI

С помощью этого кода ты можешь сделать телеграм-бота, который будет тебе отвечать на вопросы с помощью OpenAI. Перед запуском тебе нужно получить API-ключи.

Сначала мы подключаем aiogram и загружаем API-ключи. Затем функция get_ai_response() отправляет текст пользователя в GPT-3.5 и получает ответ. В результате бот принимает сообщения, обрабатывает их и отправляет обратно ответ AI.

Это примитивное решение. Ты можешь самостоятельно использовать более продвинутую модель, добавить интерактивное меню и многое другое.

Ссылка на код

Разъяснивший Python

Двусвязный список в Python: простой инструмент для сложных задач

Эта статья написана для новичков, которые только начинают осваивать структуры данных на Python. Сегодня мы рассмотрим замечательную и очень полезную структуру — двусвязный список.

Читать...

Разъяснивший Python

Создание RESTful API с помощью Django и Django REST Framework

Наша сегодняшняя цель - подробно разобраться в процессе создания REST API с использованием Django и Django REST Framework, разбираясь в каждом шаге и его значение. Мы также рассмотрим, почему создание API важно и как это может быть полезно в ваших будущих проектах.

Читать...

Разъяснивший Python

Как быстро поменять регистр текста в Python?

Новички часто сталкиваются с задачей, когда нужно изменить регистр текста. Например, привести строку к верхнему или нижнему регистру.

Вместо того, чтобы вручную проходить по каждому символу, можно использовать встроенные методы Python!

Используем .upper(), .lower(), .title() и другие!
1. upper() – преобразует все символы в верхний регистр.
2. lower() – преобразует все символы в нижний регистр.
3. title() – делает первую букву каждого слова заглавной.
4. capitalize() – делает первую букву первого слова заглавной.

Итог:
upper() – всё в верхний регистр.
lower() – всё в нижний регистр.
title() – первая буква каждого слова заглавная.
capitalize() – только первое слово с заглавной буквы.

Разъяснивший Python

Полезные библиотеки Python

FinanceToolkit — Набор инструментов с открытым исходным кодом, в котором все соответствующие финансовые коэффициенты (более 130) и показатели эффективности записаны самым упрощенным, доступным и понятным каждому способом.

Finance Toolkit предоставляет не только информацию об акциях. Но и валюты, криптовалюты, ETF, взаимные фонды, индексы, денежные рынки, товары и т.д. Finance Toolkit можно использовать для получения исторических данных, а также важных показателей производительности и риска, таких как коэффициент Шарпа и стоимость под угрозой.

Ссылка на GitHub

Разъяснивший Python

types.GenericAlias

types.GenericAlias позволяет программно создавать типизированные аннотации, как если бы они были объявлены с list[int], dict[str, float] и другими параметризованными типами.

Разъяснивший Python

os.getrandom()

os.getrandom() получает криптографически безопасные случайные байты прямо из генератора операционной системы. Это полезно для генерации уникальных токенов и защиты данных.

Разъяснивший Python

Антипаттерн недели: Изменение списка во время итерации

В Python изменение списка во время его обхода может привести к непредсказуемому поведению, пропуску элементов или IndexError.

Используйте создание нового списка или итерацию через copy().

Разъяснивший Python

mmap.mmap()

mmap.mmap() позволяет работать с файлами как с массивами в памяти, что ускоряет чтение и запись больших файлов без их полного загрузки в ОЗУ.

Разъяснивший Python

polars.DataFrame

polars.DataFrame — это высокопроизводительная альтернатива pandas, оптимизированная для работы с большими данными. Библиотека polars использует многопоточность и ленивые вычисления, ускоряя обработку таблиц в десятки раз.

Разъяснивший Python

Ковариация и матрица ковариации

Ковариация показывает, как два признака изменяются вместе. Положительная ковариация - это когда переменные растут одновременно. Отрицательная ковариация - когда одна переменная растёт, другая уменьшается. Если ковариация ≈ 0, то признаки независимы.

Если у нас есть несколько переменных, их взаимосвязи можно описать с помощью матрицы ковариации. Это квадратная матрица, где каждая ячейка (i, j) показывает ковариацию между Xi и Xj.

Разъяснивший Python

array.tobytes()

array.tobytes() позволяет быстро преобразовать массив чисел в байтовую строку, что полезно для работы с бинарными файлами, сокетами и сетевыми протоколами.

Разъяснивший Python