В преддверии нашей Moscow Python Conf++ мы кратко поговорили с Олегом Чуркиным, техлидом финтех-стартапа, о его обширном опыте работы с Celery: полмиллионе...

Привет, Хабр! Я расскажу тебе историю своего профессионального подгорания. Так вышло, что я терпеть не могу рутинных однообразных действий. У меня за плечами нес...

Как я дошёл до жизни такой? Не так давно мне пришлось работать над бэкендом высоко нагруженного проекта, в котором нужно было организовать регулярное выполнение...

ОглавлениеЧасть I: ВведениеЧасть II: Агенты и КомандыЧто мы тут делаем?Итак-итак, вторая часть. Как и писалось ранее, в ней мы сделаем следующее:Напишем небольшо...

Что такое Airflow? Apache Airflow — это продвинутый workflow менеджер и незаменимый инструмент в арсенале современного дата инженера. Airflow позволяет создавать...

Мы часто сталкиваемся с асинхронными задачами в веб-разработке. Когда нам нужны такие операции как:Отправка электронных писемОтправка запросов к внешним APIДолги...

Пару лет назад мы в Just Work делали несколько похожих проектов, которые должны были обрабатывать данные, получаемые из одного внешнего HTTP API. Это API, несмотря на согласованные повышенные лимиты,...

В предыдущей статье мы распарсили реплей одного матча по Dota 2 и нашли хайлайты с помощью кластеризации. В данной статье увеличим масштаб и напишем сервис для параллельного парсинга реплеев на...

Содержание статьи: Обработчики и Брокеры (Workers & Brokers) Очереди (Queues) Задачи (Tasks) Подтверждение задач (Task Acknowledgment) ETA Повторное исполнение задач (Retry Tasks) CPU, I/O...

Последние полгода я начал задумываться о том, чтобы уходить с любимого Python куда‑нибудь в сторону Rust или Go, потому что, как ни крути, на нём становится писать...

Если в приложении есть длительные процессы, то вместо того, чтобы блокировать основной поток, вы должны обрабатывать их в фоновом режиме. Допустим, веб-приложение требует, чтобы пользователи...

Лучший способ что-то понять - попробовать на практике, а лучшая практика - это реальные примеры. В этой статье мы разберем возможности Celery и применение основных параметров для управления задачами....

Существует популярный подход к покрытию метриками Celery: он заключается в запуске некоторого процесса, который слушает события из специальной очереди, на основе этих событий обновляются объекты...

Привет! Меня зовут Иван, я бэкенд-разработчик в KTS. Сегодня расскажу, как в FastAPI эффективно работать с фоновыми задачами и настроить их мониторинг в Prometheus. В туториалах для фоновых задач в...

Введение Это продолжение цикла статей про Celery. Первая часть тут . Сегодня мы более глубоко разберем работу с Celery. Узнаем как работает Celery Beat внутри, научимся настраивать и создавать...

То, что мы больше всего уважаем в python сообществе – это небольшой разброс в подходах и довольно стабильный набор архитектурных конфигураций. В своей практике мы можем часто встретить Django проекты...

Друзья, приветствую! Наконец-то дошли руки до создания материала и написания этой статьи. Под Новый год всем резко что-то нужно, и писать не получается физически. Надеюсь, что вы ждали выхода этой...