Data Engineering / Инженерия данных / Data Engineer / DWH
1.92K subscribers
49 photos
7 videos
52 files
350 links
Data Engineering: ETL / DWH / Data Pipelines based on Open-Source software. Инженерия данных.

DWH / SQL
Python / ETL / ELT / dbt / Spark
Apache Airflow

Рекламу не размещаю
Вопросы: @iv_shamaev | datatalks.ru
Download Telegram
Meltano: Your DataOps OS

Meltano is open source, self-hosted, CLI-first, debuggable, and extensible.
Pipelines are code, ready to be version controlled, containerized, and deployed continuously. Develop and test locally, then deploy in production along with the built-in Airflow integration, or inside your orchestrator of choice.
Meltano embraces the Singer standard and its community-maintained library of open source extractors and loaders, and leverages dbt for transformation.

https://gitlab.com/meltano/meltano
1
Отправка сообщений в Slack

Basic Usage — slackclient (Legacy Python Slack SDK)
https://slack.dev/python-slackclient/basic_usage.html
Python_и_DevOps_Ключ_к_автоматизации_Linux_etc_z_lib_org.pdf
7.5 MB
Python и DevOps: Ключ к автоматизации Linux

Гифт Ной, Берман Кеннеди, Деза Альфредо, Георгиу Григ

За последнее десятилетие технологии сильно изменились. Данные стали хитом, облака — вездесущими, и всем организациям понадобилась автоматизация. В ходе таких преобразований Python оказался одним из самых популярных языков программирования. Это практическое руководство научит вас использовать Python для повседневных задач администрирования Linux с помощью наиболее удобных утилит DevOps, включая Docker, Kubernetes и Terraform.
DevOps_для_современного_предприятия_Мирко_Херинг_z_lib_org.pdf
3.2 MB
DevOps для современного предприятия (Мирко Херинг).pdf

DevOps – методика автоматизации рабочих процессов, существенно облегчающая задачи организации и способствующая действенным преобразованиям. Мирко Херинг, менеджер со стажем, рассказывает о том, как избежать распространенных ошибок на пути внедрения инноваций и добиться успеха в долгосрочной перспективе.

В первой части книги обсуждается экосистема предприятия, формирующая благоприятные условия для преобразований. Вторая часть посвящена работе с людьми, управлению ИТ-командой, внедряющей изменения, и выстраиванию рабочих процессов. В третьей части описываются технологические и архитектурные аспекты применения DevOps. В конце каждой главы приводятся практические упражнения.

Издание предназначено для менеджеров и ИТ-специалистов, занимающихся DevOps-проектами в организациях разного уровня.