Базовое использование multiprocessing
Python из-за GIL (Global Interpreter Lock) не может эффективно использовать многопоточность для CPU-интенсивных задач. Но это не значит, что мы лишены возможности распараллеливать вычисления. Для таких случаев у нас есть модули
#theory // Just Python
Python из-за GIL (Global Interpreter Lock) не может эффективно использовать многопоточность для CPU-интенсивных задач. Но это не значит, что мы лишены возможности распараллеливать вычисления. Для таких случаев у нас есть модули
multiprocessing и concurrent.futures, позволяющие задействовать все ядра процессора.Pool создает группу рабочих процессов и распределяет задачи между ними. Параметр processes определяет количество процессов - если не указан, используется количество, равное числу ядер CPU#theory // Just Python
Забрать подписки на сервисы можно на ggsel ⚾️
На сайте собраны подписки на YT Premium, Spotify, нейронки и другой софт☕️
Иностранные карты для оплаты не потребуются — на ggsel все безопасно оплачивается с обычных карт российских банков🫰
На сайте собраны подписки на YT Premium, Spotify, нейронки и другой софт
Иностранные карты для оплаты не потребуются — на ggsel все безопасно оплачивается с обычных карт российских банков
Please open Telegram to view this post
VIEW IN TELEGRAM
Продвинутый подход с concurrent.futures
Модуль
Этот подход дает три ключевых преимущества:
1. Обработка результатов по мере готовности через
2. Более удобная обработка исключений.
3. Простое переключение между процессами и потоками (для IO-bound задач достаточно заменить .
#theory // Just Python
Модуль
concurrent.futures, появившийся в Python 3.2, предоставляет более высокоуровневый интерфейсЭтот подход дает три ключевых преимущества:
1. Обработка результатов по мере готовности через
as_completed().2. Более удобная обработка исключений.
3. Простое переключение между процессами и потоками (для IO-bound задач достаточно заменить .
ProcessPoolExecutor на ThreadPoolExecutor)#theory // Just Python
Передача дополнительных аргументов
Часто функции обработки нужны дополнительные параметры.
Ловушка: передача негпикличных объектов между процессами. Python использует сериализацию для передачи данных между процессами, но не все объекты можно сериализовать стандартными средствами. Для сложных случаев стоит использовать библиотеки вроде
Эти инструменты параллельных вычислений стали неотъемлемой частью моего арсенала при работе с большими объемами данных. Конечно, добавление параллелизма усложняет код и отладку, но производительность часто стоит этих усилий, особенно когда речь идет о сокращении времени выполнения с часов до минут.
#theory // Just Python
Часто функции обработки нужны дополнительные параметры.
Ловушка: передача негпикличных объектов между процессами. Python использует сериализацию для передачи данных между процессами, но не все объекты можно сериализовать стандартными средствами. Для сложных случаев стоит использовать библиотеки вроде
dill или cloudpickle.Эти инструменты параллельных вычислений стали неотъемлемой частью моего арсенала при работе с большими объемами данных. Конечно, добавление параллелизма усложняет код и отладку, но производительность часто стоит этих усилий, особенно когда речь идет о сокращении времени выполнения с часов до минут.
#theory // Just Python
Базовые HTTP запросы с requests
Библиотека
Я всегда добавляю параметр
#theory // Just Python
Библиотека
requests - настоящая находка для разработчика. Она делает HTTP-запросы интуитивно понятнымиЯ всегда добавляю параметр
timeout, чтобы избежать зависания программы при проблемах с сетью. Однажды потерял два часа, выясняя, почему скрипт "завис" - оказалось, что без таймаута запрос к недоступному серверу просто ждал вечно.#theory // Just Python
Асинхронные запросы с aiohttp
Когда нужно выполнить множество запросов одновременно, асинхронный подход значительно ускоряет работу.
В одном из проектов замена последовательных запросов на асинхронные сократила время выполнения с 12 секунд до менее чем 1 секунды. Главное - используйте одну сессию для всех запросов, так как создание сессии - дорогостоящая операция.
#theory // Just Python
Когда нужно выполнить множество запросов одновременно, асинхронный подход значительно ускоряет работу.
В одном из проектов замена последовательных запросов на асинхронные сократила время выполнения с 12 секунд до менее чем 1 секунды. Главное - используйте одну сессию для всех запросов, так как создание сессии - дорогостоящая операция.
#theory // Just Python
Обработка ошибок и повторные попытки
API могут быть нестабильными, поэтому всегда стоит реализовать механизм повторных попыток.
Экспоненциальная задержка между попытками (
#theory // Just Python
API могут быть нестабильными, поэтому всегда стоит реализовать механизм повторных попыток.
Экспоненциальная задержка между попытками (
backoff_factor * (2 ** retries)) помогает избежать перегрузки сервера и дает ему время восстановиться.#theory // Just Python
Проверка типов данных
При отладке или работе с незнакомым API бывает полезно узнать тип и структуру объекта.
Этот простой инструмент неоднократно выручал меня при работе с API, возвращающими сложно структурированные данные.
#theory // Just Python
При отладке или работе с незнакомым API бывает полезно узнать тип и структуру объекта.
Этот простой инструмент неоднократно выручал меня при работе с API, возвращающими сложно структурированные данные.
#theory // Just Python
Безопасное получение вложенных значений
Доступ к вложенным атрибутам объектов или вложенным ключам словарей часто приводит к ошибкам.
Эта функция может сократить количество проверок в коде на порядок, сделав его намного чище и понятнее.
#theory // Just Python
Доступ к вложенным атрибутам объектов или вложенным ключам словарей часто приводит к ошибкам.
Эта функция может сократить количество проверок в коде на порядок, сделав его намного чище и понятнее.
#theory // Just Python
Анализ производительности популярных подходов с бенчмарками часть 1
Интуитивные представления о производительности нередко бывают ошибочными. Python - язык с множеством способов решения одной задачи, и выбор правильного подхода может дать огромный прирост производительности. Давайте сравним некоторые распространенные операции с помощью простых бенчмарков.
Результаты могут удивить:
list comprehension стабильно показывает результаты на 15-20% лучше, чем
#theory // Just Python
Интуитивные представления о производительности нередко бывают ошибочными. Python - язык с множеством способов решения одной задачи, и выбор правильного подхода может дать огромный прирост производительности. Давайте сравним некоторые распространенные операции с помощью простых бенчмарков.
Результаты могут удивить:
join обычно в 10-15 раз быстрее, чем последовательное использование оператора +. Причина проста - строки в Python неизменяемы, и каждая операция + создает новый объект.list comprehension стабильно показывает результаты на 15-20% лучше, чем
filter() с lambda-функцией. Однако этот разрыв может меняться в зависимости от сложности фильтрующей функции. Особенно впечатляет разница при доступе к элементам словаря#theory // Just Python
Анализ производительности популярных подходов с бенчмарками часть 2
Метод
Но не всегда стандартные методы лучше. Например, при сортировке списков с пользовательским ключом, использование
#theory // Just Python
Метод
dict.get() обычно работает примерно на 30-40% быстрее, чем явная проверка через if key in dict, и примерно в 2-3 раза быстрее, чем использование блока try-except.Но не всегда стандартные методы лучше. Например, при сортировке списков с пользовательским ключом, использование
operator.itemgetter() может быть на 10-15% быстрее lambda-функций.#theory // Just Python
Функция проверки чисел на простоту
Оптимизированный алгоритм для проверки простоты числа.
В этом алгоритме я использую свойство, что все простые числа (кроме 2 и 3) можно представить в виде 6k ± 1. Это сокращает количество проверок примерно в 3 раза по сравнению с наивным перебором до квадратного корня.
#theory // Just Python
Оптимизированный алгоритм для проверки простоты числа.
В этом алгоритме я использую свойство, что все простые числа (кроме 2 и 3) можно представить в виде 6k ± 1. Это сокращает количество проверок примерно в 3 раза по сравнению с наивным перебором до квадратного корня.
#theory // Just Python
Алгоритм Евклида на Python
Алгоритм Евклида - элегантное решение для нахождения НОД
Расширенный алгоритм Евклида особенно полезен в криптографии и при решении линейных диофантовых уравнений. Я использовал его при реализации алгоритма RSA для учебного проекта.
#theory // Just Python
Алгоритм Евклида - элегантное решение для нахождения НОД
Расширенный алгоритм Евклида особенно полезен в криптографии и при решении линейных диофантовых уравнений. Я использовал его при реализации алгоритма RSA для учебного проекта.
#theory // Just Python
16 сентября в Arena Breakout: Infinite выходит седьмой сезон — «Утопия»
Если не сталкивались с игрой: это бесплатный тактический шутер про вылазки за добычей. Заходишь на локацию со своим снаряжением, набираешь лут и пытаешься уйти живым. Погиб — потерял всё, что было с собой.
Что завозят в новом сезоне:
• Заражённая зона — три карты превращаются в биоопасные локации с ночью, туманом и ливнем, по ним бродят шесть видов мутантов. Другие игроки при этом никуда не делись
• Режим на выживание — отдельный PvE без риска: снаряжение с собой не берёшь и ничего не теряешь, просто отбиваешься от волн и открываешь усиления
• Торговец прямо в рейде — можно обменять припасы и разведданные или докупить снаряжение
• Два новых ствола, сезонные обвесы и переработанная стрельба: дальность выше, попадания в голову ощутимее
• На старте бесплатно выдают прокачиваемую сапёрную лопату, скины и билеты, а между игроками разыгрывают 200 000 очков
Игра бесплатная, качается в Steam, российский регион поддерживается → https://abi.go.link/2wzTb
Если не сталкивались с игрой: это бесплатный тактический шутер про вылазки за добычей. Заходишь на локацию со своим снаряжением, набираешь лут и пытаешься уйти живым. Погиб — потерял всё, что было с собой.
Что завозят в новом сезоне:
• Заражённая зона — три карты превращаются в биоопасные локации с ночью, туманом и ливнем, по ним бродят шесть видов мутантов. Другие игроки при этом никуда не делись
• Режим на выживание — отдельный PvE без риска: снаряжение с собой не берёшь и ничего не теряешь, просто отбиваешься от волн и открываешь усиления
• Торговец прямо в рейде — можно обменять припасы и разведданные или докупить снаряжение
• Два новых ствола, сезонные обвесы и переработанная стрельба: дальность выше, попадания в голову ощутимее
• На старте бесплатно выдают прокачиваемую сапёрную лопату, скины и билеты, а между игроками разыгрывают 200 000 очков
Игра бесплатная, качается в Steam, российский регион поддерживается → https://abi.go.link/2wzTb
Бинарный поиск в Python
Бинарный поиск - один из фундаментальных алгоритмов, который работает намного эффективнее линейного поиска на отсортированных данных.
Формула
#theory // Just Python
Бинарный поиск - один из фундаментальных алгоритмов, который работает намного эффективнее линейного поиска на отсортированных данных.
Формула
left + (right - left) // 2 вместо обычной (left + right) // 2 защищает от переполнения при работе с большими массивами. Такая мелочь однажды спасла меня от трудноуловимого бага в промышленном коде.#theory // Just Python
Функция для измерения времени выполнения кода
Отладка производительности - частая головная боль. Простой декоратор для измерения времени выполнения функций спасает в таких ситуациях.
Можно модифицировать этот декоратор, добавляя вывод аргументов функции или интеграцию с системой логирования проекта.
#theory // Just Python
Отладка производительности - частая головная боль. Простой декоратор для измерения времени выполнения функций спасает в таких ситуациях.
Можно модифицировать этот декоратор, добавляя вывод аргументов функции или интеграцию с системой логирования проекта.
#theory // Just Python
POST запросы и отправка данных
Обратите внимание на параметр
#theory // Just Python
Обратите внимание на параметр
json= вместо data=. Он автоматически сериализует Python-словарь в JSON и устанавливает правильный заголовок Content-Type.#theory // Just Python
Простой способ перевернуть строку
Этот трюк со срезами
#theory // Just Python
Этот трюк со срезами
[::-1] я использую почти каждый день. Он работает значительно быстрее, чем итерационные методы типа ''.join(reversed(s)), что доказано бенчмарками. Кстати, тот же метод применим и к спискам.#theory // Just Python
Список с условием (List Comprehension)
List comprehension — один из самых мощных инструментов Python, позволяющий создавать списки одной строкой кода.
Этот подход не только компактнее, но и быстрее традиционных циклов. Важно не злоупотреблять сложными условиями — код должен оставаться читаемым. Однажды я переписал цикл из 15 строк в одну строку list comprehension, и код стал работать на 30% быстрее.
#theory // Just Python
List comprehension — один из самых мощных инструментов Python, позволяющий создавать списки одной строкой кода.
Этот подход не только компактнее, но и быстрее традиционных циклов. Важно не злоупотреблять сложными условиями — код должен оставаться читаемым. Однажды я переписал цикл из 15 строк в одну строку list comprehension, и код стал работать на 30% быстрее.
#theory // Just Python
Сглаживание вложенного списка
Вложенные списки — частое явление, но иногда нужно "сгладить" их до одного уровня.
Для многоуровневых списков удобнее использовать рекурсивный подход.
#theory // Just Python
Вложенные списки — частое явление, но иногда нужно "сгладить" их до одного уровня.
Для многоуровневых списков удобнее использовать рекурсивный подход.
#theory // Just Python