Docker на практике (Иан Милл, Эйдан Хобсон Сейерс).pdf

Данная книга научит вас надежным, проверенным методам, используемым Docker, таким как замена виртуальных машин, использование архитектуры микросервисов, эффективное моделирование сети, произво­ дительность в автономном режиме и создание процесса непрерывной доставки на базе контейнеров. Следуя формату «проблема/решение» в стиле поваренной книги, вы изучите реальные варианты использования Docker и узнаете, как применить их к собственным проектам.
Издание предназначено разработчикам, использующим Docker в своем рабочем окружении.

The Data Engineering Cookbook
Mastering The Plumbing Of Data Science
September 12, 2021

https://github.com/andkret/Cookbook code examples

https://cookbook.learndataengineering.com/docs/01-Introduction - free online version

Облачные архитектуры: разработка устойчивых и экономичных облачных приложений.
Облачные вычисления — это, пожалуй, наиболее революционная разработка в IT со времен виртуализации. Облачно-ориентированные архитектуры обеспечивают большую гибкость по сравнению с системами предыдущего поколения. В этой книге продемонстрированы три важнейших аспекта развертывания современных cloud native архитектур: организационное преобразование, модернизация развертывания, паттерны облачного проектирования.

Книга начинается с краткого знакомства с облачно-ориентированными архитектурами — на примерах объясняется, какие черты им присущи, а какие нет. Вы узнаете, как организуется внедрение и разработка облачных архитектур с применением микросервисов и бессерверных вычислений как основ проектирования. Далее вы изучите такие столпы облачно-ориентированного проектирования, как масштабируемость, оптимизация издержек, безопасность и способы достижения безупречной эксплуатационной надежности.

Introduction to Data Engineering (Daniel Beach).pdf

With the rise of Data Science and Machine Learning, Data Engineering is quickly becoming an in-demand skill. Data Engineering requires a unique skill set that is hard to learn without experience. I will teach you how to write scalable data pipelines and more!

Introduction
Chapter 1 - The Theory
Chapter 2 - Data Pipeline Basics
Chapter 3 - Pipeline Architecture
Chapter 4 - Storage
Chapter 5 - Compute and Resources
Chapter 6 - Mastering SQ
Chapter 7 - Data Warehousing / Data Lakes
Chapter 8 - Data Modeling
Chapter 9 - Data Quality
Chapter 10 - DevOps for Data Engineers

GitHub - bregman-arie/devops-exercises: Linux, Jenkins, AWS, SRE, Prometheus, Docker, Python, Ansible, Git, Kubernetes, Terraform, OpenStack, SQL, NoSQL, Azure, GCP, DNS, Elastic, Network, Virtualization. DevOps Interview Questions
https://github.com/bregman-arie/devops-exercises

Для того чтобы стать хорошим инженером данных и расти в профессии, нужно понимать, что учить, куда двигаться и какой инструмент за что отвечает. Ориентироваться во всём этом часто бывает сложно, особенно новичку.
https://www.youtube.com/watch?v=pRiRpOg64-4

GitHub - eugeneyan/applied-ml: 📚 Papers & tech blogs by companies sharing their work on data science & machine learning in production.
https://github.com/eugeneyan/applied-ml

Fundamentals of Data Engineering (Joe Reis and Matt Housley).pdf

2022

This book will help you:
🔨 Assess data engineering problems using an end-to-end data framework of best practices
🔨 Cut through marketing hype when choosing data technologies, architecture, and processes
🔨 Use the data engineering lifecycle to design and build a robust architecture
🔨 Incorporate data governance and security across the data engineering lifecycle

You will understand how to apply the concepts of data generation, ingestion, orchestration, transformation, storage, governance, and deployment that are critical in any data environment regardless of the underlying technology.

https://maximebeauchemin.medium.com/functional-data-engineering-a-modern-paradigm-for-batch-data-processing-2327ec32c42a?

What is a Data Platform? And How to Build One

In this post:
- What is a data platform?
- The six must-have layers of a modern data platform
- Data Storage and Processing
- Data Ingestion 
- Data Transformation and Modeling
- Business Intelligence (BI) and Analytics
- Data Observability
- Data Discovery
- Data platform vs. customer data platform
- Build or buy your 6-layer data platform? It depends.

https://www.montecarlodata.com/blog-what-is-a-data-platform-and-how-to-build-one/

Data Algorithms with Spark Recipes and Design Patterns for Scaling Up using PySpark (Mahmoud Parsian).pdf

Linux. Книга рецептов (Карла Шрёдер).pdf

Потоковая обработка данных с Apache Flink (Фабиан Уэске, Василики Калаври).pdf

Начните работу с Apache Flink, фреймворком с открытым исходным кодом, на котором основаны многие крупнейшие в мире системы обработки потоковых данных. В данной книге вы изучите фундаментальные понятия параллельной потоковой обработки и узнаете, чем эта технология отличается от традиционной пакетной обработки данных.

Ф. Уэске и В. Калаври, занятые в проекте Apache Flink с первых дней, покажут вам, как создавать масштабируемые потоковые приложения с помощью API Flink DataStream, а также непрерывно выполнять и поддерживать эти приложения в операционных средах.

Потоковая обработка идеально подходит для многих задач: подготовки данных с малой задержкой, потоковой аналитики и информационных панелей в реальном времени, раннего оповещения и обнаружения мошенничества. Вы можете обрабатывать потоковые данные любого типа, включая взаимодействия с пользователем, финансовые транзакции и данные интернета вещей, немедленно после получения.