Просто о CI/CD (Непрерывная интеграция и доставка)

https://youtu.be/7S1ndRRht6M

DevOps Roadmap
Step by step guide for DevOps, SRE or any other Operations Role in 2022

👉 @devops_dataops

https://roadmap.sh/devops

GitHub - DataTalksClub/data-engineering-zoomcamp: Free Data Engineering course!

https://github.com/DataTalksClub/data-engineering-zoomcamp

Хорошее обзорное видео про data engineering
https://youtu.be/qWru-b6m030

Серия статей про Apache Airflow c хабра:

Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG

- https://seattledataguy.substack.com/p/cataloging-data-catalogs

- https://github.com/opendatadiscovery/awesome-data-catalogs

- И целый топик в GitHub - https://github.com/topics/data-catalog

Каталог Каталогов Данных

Относительно недавно мы начали готовить почву для того, чтобы внедрять каталог данных и автоматическую документацию. Поэтому я сидел и исследовал, а что же доступно на рынке каталогов данных. В общем и целом, много чего, и платного и опен-сорс.
Поэтому, если вам предстоит похожая задача, вот несколько подборок (по большей части, пересекающиеся между собой).

@ohmydataengineer

Modern Data Orchestration Stack with Prefect 2.0, Airbyte and dbt

Узнать больше информации про Airbyte можно в группе 👉 @airbyte

https://blog.devgenius.io/modern-data-orchestration-stack-with-prefect-2-0-airbyte-and-dbt-e7c0e9b27add

Data Lake Architecture: How To Level Up Your Business To The Data-Driven World

https://towardsdatascience.com/data-lake-architecture-for-a-heavy-machinery-dealer-how-to-level-up-your-business-to-the-b41145e86b15

Интересный кейс монетизации парсинга данных

20 млн рублей в год на парсинге сайтов — Разработка на vc.ru
https://vc.ru/dev/496144-20-mln-rubley-v-god-na-parsinge-saytov

Data Engineering Wiki

It contains a constantly evolving collection of topics related to data engineering. Since we're at a very early stage, there's a lot of space to grow!

https://dataengineering.wiki/

Еще один open-source проект, который в первую очередь предназначен для команд, которые работают с dbt

██████╗░██████╗░████████╗
██╔══██╗██╔══██╗╚══██╔══╝
██║░░██║██████╦╝░░░██║░░░
██║░░██║██╔══██╗░░░██║░░░
██████╔╝██████╦╝░░░██║░░░
╚═════╝░╚═════╝░░░░╚═╝░░░

Open-source data observability for analytics engineers

💬 Data anomalies monitoring as dbt tests - Collect metrics and metadata over time, detect anomalies, as native dbt tests in your project!
💬 Data observability report - Generate a report for all dbt tests and share with your team.
💬 dbt artifacts uploader
💬 Slack alerts
💬 Data lineage made simple, reliable, and automated

👉 @devops_dataops

https://github.com/elementary-data/elementary

Deep Dive on ClickHouse Sharding and Replication Webinar

Join the Altinity experts as we dig into ClickHouse sharding and replication, showing how they enable clusters that deliver fast queries over petabytes of data. We’ll start with basic definitions of each, then move to practical issues. This includes the setup of shards and replicas, defining schema, choosing sharding keys, loading data, and writing distributed queries. We’ll finish up with tips on performance optimization.

#ClickHouse

👉 @devops_dataops

https://www.youtube.com/watch?v=Vuh6NOluIxo

Подборочка статей

1. HOW TO OPERATE APACHE AIRFLOW WITH GITLAB CI/CD
2. Running Airflow with Docker on EC2 + CI/CD with GitLab
3. Building CI/CD with Airflow, GitLab and Terraform in GCP

👉 @devops_dataops

GitHub - kestra-io/kestra

Kestra is an infinitely scalable orchestration and scheduling platform, creating, running, scheduling, and monitoring millions of complex pipelines.

👉 @devops_dataops

https://github.com/kestra-io/kestra

Настраиваем iptables с нуля
Хорошее видео, чтобы вникнуть в концепцию firewall на Linux
https://www.youtube.com/watch?v=Q0EC8kJlB64

IPTables: NAT и Port forwarding

Продолжение про iptables

https://www.youtube.com/watch?v=u_a3ouarrVU