python and some backend notes(ru)

334 views13:13

🐍 Почему Python `deepcopy()` такой медленный и что использовать вместо

Функция copy.deepcopy() кажется удобной: она создаёт полную копию объекта со всеми вложенными структурами. Но на практике она часто оказывается очень медленной и становится бутылочным горлышком в проектах. Давайте разберёмся почему так происходит и какие есть альтернативы.

🔥 Почему deepcopy() тормозит
1. Рекурсия на всём дереве объектов
Python проходит по каждому вложенному элементу, даже если их сотни тысяч.

2. Определение метода копирования
Для каждого объекта проверяется, можно ли вызвать __deepcopy__, или приходится идти стандартным путём.

3. Memo-словарь для ссылок
Чтобы избежать бесконечных циклов при копировании (например, объект ссылается сам на себя), Python ведёт словарь уже скопированных элементов. Это полезно, но замедляет работу.

4. Реализация на чистом Python
В отличие от сериализации (`pickle`), deepcopy() не ускорена на уровне C, поэтому работает медленнее.

📊 Пример замеров скорости


import copy, pickle, time

data = [[i for i in range(1000)] for _ in range(1000)]

# deepcopy
start = time.time()
a = copy.deepcopy(data)
print("deepcopy:", time.time() - start)


# pickle
start = time.time()
b = pickle.loads(pickle.dumps(data))
print("pickle roundtrip:", time.time() - start)


# list comprehension (для списков списков)
start = time.time()
c = [sub[:] for sub in data]
print("manual copy:", time.time() - start)

💻 Результат (у вас может отличаться, но смысл тот же):

- deepcopy: ~2.5 сек
- pickle: ~0.8 сек
- ручное копирование: ~0.02 сек (!)

⚡ Когда что использовать

✅ copy.deepcopy()
Подходит, если структура очень сложная, а вам нужна стопроцентно независимая копия.

✅ pickle.loads(pickle.dumps(obj))
Быстрее на больших структурах, плюс удобно, если данные нужно сохранять.

✅ json.loads(json.dumps(obj))
Хорошо для простых словарей и списков с базовыми типами.

✅ Ручное копирование (list comprehension, dict comprehension)
Лучший вариант, если вы знаете структуру данных и хотите максимум скорости.

📌 Итог
deepcopy() — это универсальный инструмент, но он платит за универсальность скоростью.
Если важна производительность — используйте сериализацию или ручные методы копирования, они могут быть в десятки и сотни раз быстрее.

Ставь 🔥, сохраняй себе в копилку Python-трюков, чтобы не забыть 😉

@pythonl

496 views09:41

python and some backend notes(ru)

https://habr.com/ru/articles/936984/

#generator #iterator #yield

Хабр

Python: Генераторы. Методы send, throw и close

В статье Python: генераторные функции я рассказал, как создавать объекты-генераторы и управлять их выполнением через yield . Но генератор — это больше, чем просто итератор. Методы send , throw и close...

643 views13:16

python and some backend notes(ru)

https://tonybaloney.github.io/posts/async-test-patterns-for-pytest-and-unittest.html

#pytest #asyncio #async

tonybaloney.github.io

async test patterns for Pytest

Some examples and patterns for testing async code from Pytest