Data Engineering / Инженерия данных / Data Engineer / DWH
1.93K subscribers
49 photos
7 videos
52 files
350 links
Data Engineering: ETL / DWH / Data Pipelines based on Open-Source software. Инженерия данных.

DWH / SQL
Python / ETL / ELT / dbt / Spark
Apache Airflow

Рекламу не размещаю
Вопросы: @iv_shamaev | datatalks.ru
Download Telegram
Meltano: Your DataOps OS

Meltano is open source, self-hosted, CLI-first, debuggable, and extensible.
Pipelines are code, ready to be version controlled, containerized, and deployed continuously. Develop and test locally, then deploy in production along with the built-in Airflow integration, or inside your orchestrator of choice.
Meltano embraces the Singer standard and its community-maintained library of open source extractors and loaders, and leverages dbt for transformation.

https://gitlab.com/meltano/meltano
1
Отправка сообщений в Slack

Basic Usage — slackclient (Legacy Python Slack SDK)
https://slack.dev/python-slackclient/basic_usage.html
Python_и_DevOps_Ключ_к_автоматизации_Linux_etc_z_lib_org.pdf
7.5 MB
Python и DevOps: Ключ к автоматизации Linux

Гифт Ной, Берман Кеннеди, Деза Альфредо, Георгиу Григ

За последнее десятилетие технологии сильно изменились. Данные стали хитом, облака — вездесущими, и всем организациям понадобилась автоматизация. В ходе таких преобразований Python оказался одним из самых популярных языков программирования. Это практическое руководство научит вас использовать Python для повседневных задач администрирования Linux с помощью наиболее удобных утилит DevOps, включая Docker, Kubernetes и Terraform.