Подробно расскажем о контейнерах Docker, оркестрации ETL-конвейеров, работе с облачными технологиями, настройке рабочей среды для ETL-проектов с Apache Airflow. А в конце поделимся нужными командами.

https://nsprg.ru/OKwa3O

VK: https://nsprg.ru/mWNPQO

Дзен: https://nsprg.ru/O5KwVx

@nuancesprog #DataScience #ApacheAirflow #PostgreSQL #GCP

В реальном проекте валидации электронной почты проиллюстрируем потоковую передачу данных с отправителем и получением сообщений в теме Kafka для Cassandra и MongoDB. Наличие почты и пароля определим с помощью получателя и проверки данных.

https://nsprg.ru/mzVwbm

VK: https://nsprg.ru/xJkZLv

Дзен: https://nsprg.ru/mDRawv

@nuancesprog #ApacheAirflow #Kafka #MongoDB #Cassandra

Проверим корректность данных, отправим письмо и сообщение в Slack с информацией об адресе почты и пароле. Объединим все части проекта, создадим и запустим DAG Airflow со всеми задачами.

https://nsprg.ru/OKwV6O

VK: https://nsprg.ru/mWNYPO

Дзен: https://nsprg.ru/O5KL4x

@nuancesprog #ApacheAirflow #Kafka #MongoDB #Cassandra