Привет, я Дмитрий Логвиненко — Data Engineer отдела аналитики группы компаний «Везёт». Я расскажу вам о замечательном инструменте для разработки ETL-процессов —...

Всем привет! Меня зовут Никита Василюк, я инженер по работе с данными в департаменте данных и аналитики компании Lamoda. В нашем департаменте Airflow играет роль...

Привет, Хабр! Меня зовут Рустем, являюсь Senior DevOps Engineer в компании IBM. Сегодня я хотел бы познакомить вас с важным инструментом в методологии DataOps, а именно Apache Airflow и...

Привет, Хабр! Меня зовут Андрей Гончаров, я дата-инженер в Garage Eight, и сегодня я расскажу о том, как мы подходим к батч-процессингу и нашей self-service платформе данных. Почему self-service?...

Приветствую! В прошлой части мы развернули основные сервисы Airflow. Однако у нас остались незакрытые моменты. Такие как: Синхронизация списка DAG с удаленным репозиторием Сохранение логов Worker...

Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями. Все...

В маркетинге и продажах крупных компаний есть несколько аналитических задач, которые требуют регулярной обработки сотен тысяч и миллионов записей из разных источников. Например, это...

Немного лирики, что такое Apache Airflow — это оркестратор (ваших данных), инструмент для создания, планирования и мониторинга рабочих процессов (так называемых DAGs — Directed Acyclic Graphs). Что с...

На связи Никита Скирдин, программист 1С компании «Белый код». Для BI-аналитики необходимо собирать данные из различных систем в централизованное хранилище. Как правило, перед использованием данных для...

Что делает инженер, если DAG не выполняется? Проверяет Airflow 50 раз, а потом вспоминает, что забыл поставить @dag над функцией. Развертывание Apache Airflow в промышленной среде — это сложная...