Python для начинающих

Работа с мультипроцессорностью в Python: модуль multiprocessing

Если ваш скрипт считает что‑то «тяжёлое» и при этом использует только одно ядро процессора — он просто ленится. Модуль multiprocessing позволяет загрузить все ядра и реально ускорить выполнение CPU‑интенсивных задач.

---

### Почему не threading?

В Python есть GIL — глобальная блокировка интерпретатора. Потоки (threading) отлично подходят для I/O (сетевые запросы, файлы), но почти не ускоряют чистые вычисления: байткод всё равно исполняется в один поток.

multiprocessing запускает несколько процессов, у каждого свой интерпретатор и свой GIL. Значит, они могут работать параллельно на разных ядрах.

---

### Простой пример: распараллеливаем вычисления

Допустим, у нас есть тяжёлая функция:

from multiprocessing import Process
import time

def heavy_job(n):
    s = 0
    for i in range(10_000_000):
        s += (i * n) % 7
    print(f"Result for {n}: {s}")

if __name__ == "__main__":
    t0 = time.time()

    processes = []
    for num in [1, 2, 3, 4]:
        p = Process(target=heavy_job, args=(num,))
        p.start()
        processes.append(p)

    for p in processes:
        p.join()

    print("Time:", time.time() - t0)

Ключевые моменты:

- if __name__ == "__main__": обязателен на Windows и macOS, иначе процессы начнут бесконечно плодиться.
- Process(target=..., args=...) — создаём процесс и указываем функцию.
- start() — запускаем, join() — ждём завершения.

Каждый процесс считает свою версию heavy_job, ядра загружаются параллельно.

---

### Используем пул процессов: Pool

Чаще всего нужно применить одну функцию к множеству входных данных. Для этого идеален Pool.

from multiprocessing import Pool
import time

def square(x):
    return x * x

if __name__ == "__main__":
    data = list(range(10))

    t0 = time.time()
    with Pool(processes=4) as pool:
        result = pool.map(square, data)
    print("Result:", result)
    print("Time:", time.time() - t0)

Что важно:

- Pool сам управляет созданием и завершением процессов.
- map работает примерно как встроенная map, только параллельно.
- Функция, передаваемая в процессы, должна быть определена на верхнем уровне модуля (не внутри другой функции, не lambda).

---

### Передача данных между процессами

У процессов своя память, поэтому обычные переменные не разделяются. Можно использовать:

- Queue — безопасная очередь для обмена сообщениями.
- Manager — создаёт объекты, которые можно разделять (списки, словари).

Пример с Queue:

from multiprocessing import Process, Queue

def worker(q, x):
    q.put(x * 2)

if __name__ == "__main__":
    q = Queue()
    processes = []

    for i in range(5):
        p = Process(target=worker, args=(q, i))
        p.start()
        processes.append(p)

    for p in processes:
        p.join()

    results = [q.get() for _ in range(5)]
    print(results)

---

multiprocessing — это способ превратить ваш скрипт в мини‑кластер на одном компьютере. Если задача упирается в процессор, а не в диск или сеть, имеет смысл попробовать распараллеливание: часто выигрыш по времени оказывается впечатляющим.

👍3

186 views04:55