Tarantool is an in-memory computing platform consisting of a database and an application server.

Key features of the database:
- MessagePack data format and MessagePack based client-server protocol.
- Two data engines: 100% in-memory with complete WAL-based persistence and an own implementation of LSM-tree, to use with large data sets.
- Multiple index types: HASH, TREE, RTREE, BITSET.
- Document oriented JSON path indexes.
- Asynchronous master-master replication.
- Synchronous quorum-based replication.
- RAFT-based automatic leader election for the single-leader configuration.
- Authentication and access control.
- ANSI SQL, including views, joins, referential and check constraints.
- Connectors for many programming languages.
- The database is a C extension of the application server and can be turned off.

Data Engineering with Apache Spark. A Hands-On Guide for Building Mission-Critical Streaming Applications.pdf

Docker и Docker-Compose Tutorial (Контейнеры, install, run, image, daemon, etc.)

Внутри статьи по разделам довольно много полезных видео прикреплено с YouTube.

https://ivan-shamaev.ru/docker-compose-tutorial-container-image-install/

Просто о CI/CD (Непрерывная интеграция и доставка)

https://youtu.be/7S1ndRRht6M

DevOps Roadmap
Step by step guide for DevOps, SRE or any other Operations Role in 2022

👉 @devops_dataops

https://roadmap.sh/devops

GitHub - DataTalksClub/data-engineering-zoomcamp: Free Data Engineering course!

https://github.com/DataTalksClub/data-engineering-zoomcamp

Хорошее обзорное видео про data engineering
https://youtu.be/qWru-b6m030

Серия статей про Apache Airflow c хабра:

Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG

- https://seattledataguy.substack.com/p/cataloging-data-catalogs

- https://github.com/opendatadiscovery/awesome-data-catalogs

- И целый топик в GitHub - https://github.com/topics/data-catalog

Каталог Каталогов Данных

Относительно недавно мы начали готовить почву для того, чтобы внедрять каталог данных и автоматическую документацию. Поэтому я сидел и исследовал, а что же доступно на рынке каталогов данных. В общем и целом, много чего, и платного и опен-сорс.
Поэтому, если вам предстоит похожая задача, вот несколько подборок (по большей части, пересекающиеся между собой).

@ohmydataengineer

Modern Data Orchestration Stack with Prefect 2.0, Airbyte and dbt

Узнать больше информации про Airbyte можно в группе 👉 @airbyte

https://blog.devgenius.io/modern-data-orchestration-stack-with-prefect-2-0-airbyte-and-dbt-e7c0e9b27add

Data Lake Architecture: How To Level Up Your Business To The Data-Driven World

https://towardsdatascience.com/data-lake-architecture-for-a-heavy-machinery-dealer-how-to-level-up-your-business-to-the-b41145e86b15

Интересный кейс монетизации парсинга данных

20 млн рублей в год на парсинге сайтов — Разработка на vc.ru
https://vc.ru/dev/496144-20-mln-rubley-v-god-na-parsinge-saytov

Data Engineering Wiki

It contains a constantly evolving collection of topics related to data engineering. Since we're at a very early stage, there's a lot of space to grow!

https://dataengineering.wiki/

Еще один open-source проект, который в первую очередь предназначен для команд, которые работают с dbt

██████╗░██████╗░████████╗
██╔══██╗██╔══██╗╚══██╔══╝
██║░░██║██████╦╝░░░██║░░░
██║░░██║██╔══██╗░░░██║░░░
██████╔╝██████╦╝░░░██║░░░
╚═════╝░╚═════╝░░░░╚═╝░░░

Open-source data observability for analytics engineers

💬 Data anomalies monitoring as dbt tests - Collect metrics and metadata over time, detect anomalies, as native dbt tests in your project!
💬 Data observability report - Generate a report for all dbt tests and share with your team.
💬 dbt artifacts uploader
💬 Slack alerts
💬 Data lineage made simple, reliable, and automated

👉 @devops_dataops

https://github.com/elementary-data/elementary