Airflow Declarative - как не дать себя опутать
Те кто давно разрабатывают пайплайны для Airflow не понаслышке знают насколько легко в код проектов прорастают специфичные для самого Airflow API и функционал.
Для того, чтобы оградить разработчиков, от необходимости собирать пайплайн внутри питон-кода и вендор лока на airflow и была создана библиотечка airflow-declarative.
Делимся историей о предпосылках создания библиотеки и ее возможностях -
https://telegra.ph/Airflow-Declarative---kak-ne-dat-sebya-oputat-04-05
#Airflow
Те кто давно разрабатывают пайплайны для Airflow не понаслышке знают насколько легко в код проектов прорастают специфичные для самого Airflow API и функционал.
Для того, чтобы оградить разработчиков, от необходимости собирать пайплайн внутри питон-кода и вендор лока на airflow и была создана библиотечка airflow-declarative.
Делимся историей о предпосылках создания библиотеки и ее возможностях -
https://telegra.ph/Airflow-Declarative---kak-ne-dat-sebya-oputat-04-05
#Airflow
Telegraph
Airflow Declarative - как не дать себя опутать
История создания airflow-declarative восходит к 2017 году (кажется airflow был тогда версии 1.6-1.7), когда я работал в Рамблере (RIP) - мой старший инфраструктурный инженер и куратор Саша Шорин aka kxepal, к тому моменту уже успевший год как отмигрировать…
🔥10👌2
Всем привет! Со старта канала прошло 2 месяца и с нами уже больше 800 подписчиков, спасибо вам!❤️
Делимся подборкой лучших публикаций:
📊 #BI #Redash
- Переосмысливаем BI в большой компании
- Сложности перехода из Tableau в Redash (part 1)
🆎 #AB #Trisigma
- Как масштабировать A/B-эксперименты
- Самый важный SQL-запрос в моей карьере или как посчитать MDE правильно
💾 #Databases #Vertica
- Что посмотреть про внутренности распределенных СУБД
- Как OOM киллер Vertica убивал
- Как база может проиграть алгоритму на коленке
- Конкурентная работа с памятью или загадка потерянного времени
🔎 #DQ
- Риск-ориентированный подход к DQ
- Что можно узнать из анализа инцидентов логирования критических событий
🌊 #Clickstream
- Платформа логирования аналитических событий
- Как можно анализировать внутренний продукт с использованием логирования
🕸 #Airflow
- Airflow Declarative: как не дать себя опутать
🤝 Общее
- О чем этот канал
- Записи подкаста про аналитическую платформу
- Как мы мониторим аналитическую платформу
Поделитесь, какие темы были бы интересны вам?
Делимся подборкой лучших публикаций:
📊 #BI #Redash
- Переосмысливаем BI в большой компании
- Сложности перехода из Tableau в Redash (part 1)
🆎 #AB #Trisigma
- Как масштабировать A/B-эксперименты
- Самый важный SQL-запрос в моей карьере или как посчитать MDE правильно
💾 #Databases #Vertica
- Что посмотреть про внутренности распределенных СУБД
- Как OOM киллер Vertica убивал
- Как база может проиграть алгоритму на коленке
- Конкурентная работа с памятью или загадка потерянного времени
🔎 #DQ
- Риск-ориентированный подход к DQ
- Что можно узнать из анализа инцидентов логирования критических событий
🌊 #Clickstream
- Платформа логирования аналитических событий
- Как можно анализировать внутренний продукт с использованием логирования
🕸 #Airflow
- Airflow Declarative: как не дать себя опутать
🤝 Общее
- О чем этот канал
- Записи подкаста про аналитическую платформу
- Как мы мониторим аналитическую платформу
Поделитесь, какие темы были бы интересны вам?
❤16🔥12👍2