gRPC: Запуск и эксплуатация облачных приложений - Go и Java для Docker и Kubernetes

Год от года обретая новых сторонников, облачно-ориентированные и микросервисные архитектуры стали основой современного IT. Такой переход значительно повлиял и на структуру коммуникаций. Теперь приложения часто подключаются друг к другу по сети, и это происходит с помощью технологий межпроцессной коммуникации. Одной из наиболее популярных и эффективных технологий такого рода является gRPC.

В книге разбирается, как технология gRPC устроена «под капотом».

GitHub - charlax/professional-programming

A collection of full-stack resources for programmers.

https://github.com/charlax/professional-programming

Tarantool is an in-memory computing platform consisting of a database and an application server.

Key features of the database:
- MessagePack data format and MessagePack based client-server protocol.
- Two data engines: 100% in-memory with complete WAL-based persistence and an own implementation of LSM-tree, to use with large data sets.
- Multiple index types: HASH, TREE, RTREE, BITSET.
- Document oriented JSON path indexes.
- Asynchronous master-master replication.
- Synchronous quorum-based replication.
- RAFT-based automatic leader election for the single-leader configuration.
- Authentication and access control.
- ANSI SQL, including views, joins, referential and check constraints.
- Connectors for many programming languages.
- The database is a C extension of the application server and can be turned off.

Data Engineering with Apache Spark. A Hands-On Guide for Building Mission-Critical Streaming Applications.pdf

Docker и Docker-Compose Tutorial (Контейнеры, install, run, image, daemon, etc.)

Внутри статьи по разделам довольно много полезных видео прикреплено с YouTube.

https://ivan-shamaev.ru/docker-compose-tutorial-container-image-install/

Просто о CI/CD (Непрерывная интеграция и доставка)

https://youtu.be/7S1ndRRht6M

DevOps Roadmap
Step by step guide for DevOps, SRE or any other Operations Role in 2022

👉 @devops_dataops

https://roadmap.sh/devops

GitHub - DataTalksClub/data-engineering-zoomcamp: Free Data Engineering course!

https://github.com/DataTalksClub/data-engineering-zoomcamp

Хорошее обзорное видео про data engineering
https://youtu.be/qWru-b6m030

Серия статей про Apache Airflow c хабра:

Все, что вам нужно знать об Airflow DAGs, ч.1 — Основы и расписания
Все, что вам нужно знать об Airflow DAGs, ч.2 — Операторы и Датчики
Все, что вам нужно знать об Airflow DAGs, ч.3 — Проектирование DAG

- https://seattledataguy.substack.com/p/cataloging-data-catalogs

- https://github.com/opendatadiscovery/awesome-data-catalogs

- И целый топик в GitHub - https://github.com/topics/data-catalog

Каталог Каталогов Данных

Относительно недавно мы начали готовить почву для того, чтобы внедрять каталог данных и автоматическую документацию. Поэтому я сидел и исследовал, а что же доступно на рынке каталогов данных. В общем и целом, много чего, и платного и опен-сорс.
Поэтому, если вам предстоит похожая задача, вот несколько подборок (по большей части, пересекающиеся между собой).

@ohmydataengineer

Modern Data Orchestration Stack with Prefect 2.0, Airbyte and dbt

Узнать больше информации про Airbyte можно в группе 👉 @airbyte

https://blog.devgenius.io/modern-data-orchestration-stack-with-prefect-2-0-airbyte-and-dbt-e7c0e9b27add