Meltano: Your DataOps OS

Meltano is open source, self-hosted, CLI-first, debuggable, and extensible.
Pipelines are code, ready to be version controlled, containerized, and deployed continuously. Develop and test locally, then deploy in production along with the built-in Airflow integration, or inside your orchestrator of choice.
Meltano embraces the Singer standard and its community-maintained library of open source extractors and loaders, and leverages dbt for transformation.

https://gitlab.com/meltano/meltano

Channel about Airbyte - ETL ELT Data Pipelines. Data Engineering practices.

https://t.me/airbyte

APACHE AIRFLOW: Sending email notifications  - Knoldus Blogs
https://blog.knoldus.com/apache-airflow-sending-email-notifications/

Data Engineer is now the new star. Is that the death of Business Intelligence Engineer? | by Lan Chu | Apr, 2022 | Medium
https://medium.com/@huonglanchu0712/data-engineer-is-now-the-new-star-is-that-the-death-of-business-intelligence-engineer-39461225473a

Data Pipelines with Apache Airflow.pdf
2021 by Manning Publications

Отправка сообщений в Slack

Basic Usage — slackclient (Legacy Python Slack SDK)
https://slack.dev/python-slackclient/basic_usage.html

Python и DevOps: Ключ к автоматизации Linux

Гифт Ной, Берман Кеннеди, Деза Альфредо, Георгиу Григ

За последнее десятилетие технологии сильно изменились. Данные стали хитом, облака — вездесущими, и всем организациям понадобилась автоматизация. В ходе таких преобразований Python оказался одним из самых популярных языков программирования. Это практическое руководство научит вас использовать Python для повседневных задач администрирования Linux с помощью наиболее удобных утилит DevOps, включая Docker, Kubernetes и Terraform.

DevOps для современного предприятия (Мирко Херинг).pdf

DevOps – методика автоматизации рабочих процессов, существенно облегчающая задачи организации и способствующая действенным преобразованиям. Мирко Херинг, менеджер со стажем, рассказывает о том, как избежать распространенных ошибок на пути внедрения инноваций и добиться успеха в долгосрочной перспективе.

В первой части книги обсуждается экосистема предприятия, формирующая благоприятные условия для преобразований. Вторая часть посвящена работе с людьми, управлению ИТ-командой, внедряющей изменения, и выстраиванию рабочих процессов. В третьей части описываются технологические и архитектурные аспекты применения DevOps. В конце каждой главы приводятся практические упражнения.

Издание предназначено для менеджеров и ИТ-специалистов, занимающихся DevOps-проектами в организациях разного уровня.

Docker на практике (Иан Милл, Эйдан Хобсон Сейерс).pdf

Данная книга научит вас надежным, проверенным методам, используемым Docker, таким как замена виртуальных машин, использование архитектуры микросервисов, эффективное моделирование сети, произво­ дительность в автономном режиме и создание процесса непрерывной доставки на базе контейнеров. Следуя формату «проблема/решение» в стиле поваренной книги, вы изучите реальные варианты использования Docker и узнаете, как применить их к собственным проектам.
Издание предназначено разработчикам, использующим Docker в своем рабочем окружении.

The Data Engineering Cookbook
Mastering The Plumbing Of Data Science
September 12, 2021

https://github.com/andkret/Cookbook code examples

https://cookbook.learndataengineering.com/docs/01-Introduction - free online version

Облачные архитектуры: разработка устойчивых и экономичных облачных приложений.
Облачные вычисления — это, пожалуй, наиболее революционная разработка в IT со времен виртуализации. Облачно-ориентированные архитектуры обеспечивают большую гибкость по сравнению с системами предыдущего поколения. В этой книге продемонстрированы три важнейших аспекта развертывания современных cloud native архитектур: организационное преобразование, модернизация развертывания, паттерны облачного проектирования.

Книга начинается с краткого знакомства с облачно-ориентированными архитектурами — на примерах объясняется, какие черты им присущи, а какие нет. Вы узнаете, как организуется внедрение и разработка облачных архитектур с применением микросервисов и бессерверных вычислений как основ проектирования. Далее вы изучите такие столпы облачно-ориентированного проектирования, как масштабируемость, оптимизация издержек, безопасность и способы достижения безупречной эксплуатационной надежности.

Introduction to Data Engineering (Daniel Beach).pdf

With the rise of Data Science and Machine Learning, Data Engineering is quickly becoming an in-demand skill. Data Engineering requires a unique skill set that is hard to learn without experience. I will teach you how to write scalable data pipelines and more!

Introduction
Chapter 1 - The Theory
Chapter 2 - Data Pipeline Basics
Chapter 3 - Pipeline Architecture
Chapter 4 - Storage
Chapter 5 - Compute and Resources
Chapter 6 - Mastering SQ
Chapter 7 - Data Warehousing / Data Lakes
Chapter 8 - Data Modeling
Chapter 9 - Data Quality
Chapter 10 - DevOps for Data Engineers

GitHub - bregman-arie/devops-exercises: Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. DevOps Interview Questions
https://github.com/bregman-arie/devops-exercises

Для того чтобы стать хорошим инженером данных и расти в профессии, нужно понимать, что учить, куда двигаться и какой инструмент за что отвечает. Ориентироваться во всём этом часто бывает сложно, особенно новичку.
https://www.youtube.com/watch?v=pRiRpOg64-4

GitHub - eugeneyan/applied-ml: 📚 Papers & tech blogs by companies sharing their work on data science & machine learning in production.
https://github.com/eugeneyan/applied-ml