Базовое использование multiprocessing

Python из-за GIL (Global Interpreter Lock) не может эффективно использовать многопоточность для CPU-интенсивных задач. Но это не значит, что мы лишены возможности распараллеливать вычисления. Для таких случаев у нас есть модули multiprocessing и concurrent.futures, позволяющие задействовать все ядра процессора.

Pool создает группу рабочих процессов и распределяет задачи между ними. Параметр processes определяет количество процессов - если не указан, используется количество, равное числу ядер CPU

Разъяснивший Python

Продвинутый подход с concurrent.futures

Модуль concurrent.futures, появившийся в Python 3.2, предоставляет более высокоуровневый интерфейс

Этот подход дает три ключевых преимущества:
1. Обработка результатов по мере готовности через as_completed().
2. Более удобная обработка исключений.
3. Простое переключение между процессами и потоками (для IO-bound задач достаточно заменить .ProcessPoolExecutor на ThreadPoolExecutor)

Разъяснивший Python

Передача дополнительных аргументов

Часто функции обработки нужны дополнительные параметры.

Ловушка: передача негпикличных объектов между процессами. Python использует сериализацию для передачи данных между процессами, но не все объекты можно сериализовать стандартными средствами. Для сложных случаев стоит использовать библиотеки вроде dill или cloudpickle.

Эти инструменты параллельных вычислений стали неотъемлемой частью моего арсенала при работе с большими объемами данных. Конечно, добавление параллелизма усложняет код и отладку, но производительность часто стоит этих усилий, особенно когда речь идет о сокращении времени выполнения с часов до минут.

Разъяснивший Python

Базовые HTTP запросы с requests

Библиотека requests - настоящая находка для разработчика. Она делает HTTP-запросы интуитивно понятными

Я всегда добавляю параметр timeout, чтобы избежать зависания программы при проблемах с сетью. Однажды потерял два часа, выясняя, почему скрипт "завис" - оказалось, что без таймаута запрос к недоступному серверу просто ждал вечно.

Разъяснивший Python

Ломаем текстовую капчу на примере VK или брутфорсинг до сих пор актуален

В этой статье-мануале автор покажет, как создать собственную нейросеть по распознаванию текстовых капч, имея под рукой домашний компьютер, базовые знания в python и немножко примеров капч.

Читать...

Разъяснивший Python

Обработка ошибок и повторные попытки

API могут быть нестабильными, поэтому всегда стоит реализовать механизм повторных попыток.

Экспоненциальная задержка между попытками (backoff_factor * (2 ** retries)) помогает избежать перегрузки сервера и дает ему время восстановиться.

Разъяснивший Python

Проверка типов данных

При отладке или работе с незнакомым API бывает полезно узнать тип и структуру объекта.

Этот простой инструмент неоднократно выручал меня при работе с API, возвращающими сложно структурированные данные.

Разъяснивший Python

Безопасное получение вложенных значений

Доступ к вложенным атрибутам объектов или вложенным ключам словарей часто приводит к ошибкам.

Эта функция может сократить количество проверок в коде на порядок, сделав его намного чище и понятнее.

Разъяснивший Python

Анализ производительности популярных подходов с бенчмарками часть 1

Интуитивные представления о производительности нередко бывают ошибочными. Python - язык с множеством способов решения одной задачи, и выбор правильного подхода может дать огромный прирост производительности. Давайте сравним некоторые распространенные операции с помощью простых бенчмарков.

Результаты могут удивить: join обычно в 10-15 раз быстрее, чем последовательное использование оператора +. Причина проста - строки в Python неизменяемы, и каждая операция + создает новый объект.

list comprehension стабильно показывает результаты на 15-20% лучше, чем filter() с lambda-функцией. Однако этот разрыв может меняться в зависимости от сложности фильтрующей функции. Особенно впечатляет разница при доступе к элементам словаря

Разъяснивший Python

Анализ производительности популярных подходов с бенчмарками часть 2

Метод dict.get() обычно работает примерно на 30-40% быстрее, чем явная проверка через if key in dict, и примерно в 2-3 раза быстрее, чем использование блока try-except.

Но не всегда стандартные методы лучше. Например, при сортировке списков с пользовательским ключом, использование operator.itemgetter() может быть на 10-15% быстрее lambda-функций.

Разъяснивший Python

Функция проверки чисел на простоту

Оптимизированный алгоритм для проверки простоты числа.

В этом алгоритме я использую свойство, что все простые числа (кроме 2 и 3) можно представить в виде 6k ± 1. Это сокращает количество проверок примерно в 3 раза по сравнению с наивным перебором до квадратного корня.

Разъяснивший Python