Python для начинающих

Создание и управление потоками работы с Celery.

166 views00:57

### Создание и управление потоками работы с Celery

Вы когда-нибудь задумывались о том, как выполняются долгие фоновые задачи, пока основной код программы продолжает свою работу, словно ничего и не произошло? Если ваша программа генерирует отчеты, обрабатывает тяжелые данные или отправляет сотни писем, вам точно не обойтись без системы управления задачами. И вот тут на сцену выходит Celery — мощный инструмент, который поможет сделать вашу жизнь проще и ваш код быстрее.

Сегодня разберемся, как начать использовать Celery, как он устроен и почему это один из самых популярных инструментов для работы с асинхронными задачами.

---

### Знакомство с Celery

Celery — это продвинутый менеджер очередей задач для Python. С его помощью вы можете запускать задачи в фоне, распределять их между несколькими машинами и управлять ими. Это крайне полезно для масштабирования, улучшения производительности и общей оптимизации рабочего процесса.

Как Celery работает?
1. Ваша программа создает задачу.
2. Задача отправляется в брокер (обычно используется Redis или RabbitMQ).
3. Рабочий процесс (worker) берется за выполнение задачи.
4. Как только задача завершена, результат может быть сохранен в бэкенд-хранилище для будущего использования.

---

### Установка и настройка

Для начала установим все необходимые компоненты. Обязательный пакет Celery и брокер сообщений (возьмем Redis).

pip install celery redis

Далее создадим базовый файл конфигурации tasks.py. Вот пример простой настройки Celery:

from celery import Celery

app = Celery('my_celery_app', broker='redis://localhost:6379/0', backend='redis://localhost:6379/0')

@app.task
def add_numbers(a, b):
    return a + b

Здесь:
- 'myceleryapp' — имя приложения Celery.
- broker — адрес Redis, который отвечает за управление очередями задач.
- backend — хранилище для результатов выполнения задач.

---

### Запуск рабочего процесса

Чтобы начать выполнять фоновые задачи, нужно запустить worker — процесс, который слушает очередь сообщений и выполняет задачи. Запустим его следующей командой:

celery -A tasks worker --loglevel=info

Теперь worker готов принять задачи.

---

### Создание задач

Допустим, вы хотите сложить два числа. Вместо выполнения задачи в основном потоке ваш код может отправить её в Celery. Так процесс станет асинхронным.

from tasks import add_numbers

result = add_numbers.delay(7, 8)  # .delay() отправляет задачу в Celery
print(f'Task ID: {result.id}')

Метод .delay() ставит задачу в очередь, и Celery выполняет её в фоне. Ваш основной код продолжит выполнение, а результат задачи сохранится в backend.

---

### Получение результатов

Допустим, задача завершилась, и результат хранится в Redis. Чтобы его забрать, используйте метод .get():

if result.ready():  # Проверяем, завершена ли задача
    print('The result is:', result.get())
else:
    print('Task is still in progress...')

Метод .ready() позволяет понять, завершена задача или ещё выполняется.

---

### Расширенные функции: периодические задачи

Celery поддерживает выполнение задач не только «по запросу», но и через определенные промежутки времени. Для этого используется дополнительный модуль celery-beat.

Установим его:

pip install celery[redis] django-celery-beat

С помощью celery-beat внутри задачи можно, например:
1. Генерировать еженедельные отчеты.
2. Напоминать пользователям об истечении сроков.
3. Чистить базу данных.

---

### Отладка и мониторинг

Для упрощения мониторинга любая очередь требует визуализации. Celery интегрируется с веб-интерфейсами, такими как Flower. Установим его:

pip install flower

Запускаем мониторинг:

celery -A tasks flower

Теперь на http://localhost:5555 вы сможете отслеживать состояние задач, видеть их длительность и распределение нагрузки.

---

### Ловушки и ошибки новичков

1.

👍1

154 views00:58