Data Engineering / Инженерия данных / Data Engineer / DWH

https://mcs.mail.ru/blog/raznica-mezhdu-iaas-paas-saas-statya-ob-oblakah-v-internete

👍1

203 views06:29

Data Engineering / Инженерия данных / Data Engineer / DWH

Создание современной платформы для работы с данными с помощью Open-Source-решений / Хабр
https://habr.com/ru/company/vk/blog/671642/

Хабр

Создание современной платформы для работы с данными с помощью Open-Source-решений

Команда VK Cloud Solutions перевела краткий конспект с Open Source Data Stack Conference . Конференция была посвящена созданию платформ для работы с данными на базе Open-Source-решений —докладчики...

180 views18:24

Data Engineering / Инженерия данных / Data Engineer / DWH

Docker Swarm для самых маленьких / Хабр
https://habr.com/ru/post/659813/

Хабр

Docker Swarm для самых маленьких

Данная статья посвящена настройке и работе с Docker Swarm. Swarm это стандартный оркестратор для docker контейнеров, доступный из «коробки», если у вас установлен сам docker. Что нам потребуется для...

179 views08:21

Data Engineering / Инженерия данных / Data Engineer / DWH

TelegramOperator — apache-airflow-providers-telegram Documentation

Оператор Airflow для отправки уведомлений в Telegram

https://airflow.apache.org/docs/apache-airflow-providers-telegram/stable/operators.html

184 viewsedited 11:15

Data Engineering / Инженерия данных / Data Engineer / DWH

GitHub - TolstikovIgor/ETL: GeekBrains: Построение хранилища данных и основы ETL
https://github.com/TolstikovIgor/ETL

GitHub

GitHub - TolstikovIgor/ETL: GeekBrains: Построение хранилища данных и основы ETL

GeekBrains: Построение хранилища данных и основы ETL - TolstikovIgor/ETL

197 views06:29

Data Engineering / Инженерия данных / Data Engineer / DWH

Бесплатный курс Git
https://youtube.com/playlist?list=PLmRNNqEA7JoM77hOJkPrLOfJQGizCLR3P

195 views15:47

Data Engineering / Инженерия данных / Data Engineer / DWH

Play with Docker

▫️Docker 101 Tutorial - Self-paced tutorials to increase your Docker knowledge.
▫️Lab Environment - Complete a workshop without installing anything using this Docker playground.
▫️Community Training - Free and paid learning materials from Docker Captains.

https://www.docker.com/play-with-docker/

Docker

Play with Docker | Docker

Find self-paced tutorials to increase your Docker knowledge, and join a global community of collaborative developers. Play with Docker today!

👍1

286 views04:41

Data Engineering / Инженерия данных / Data Engineer / DWH

Modern Data Stack - Ranking | OSS Insight
https://ossinsight.io/collections/modern-data-stack/

ossinsight.io

Modern Data Stack - Ranking | OSS Insight

Last 28 days / Monthly ranking of repos in this collection by stars, pull requests, issues. Historical Ranking by Popularity.

1.03K views10:38

Data Engineering / Инженерия данных / Data Engineer / DWH

https://youtu.be/ANj7qUgzNq4

YouTube

CI CD наглядные примеры

В этом ролике мы рассмотрим cicd. Разберем теорию, которая связана с CI CD, а также на реальных примерах рассмотрим CI/CD pipeline. Ролик по cicd особенно будет полезен начинающим разработчикам, которые ранее с этой концепцией не сталкивались.

Мой курс "Продвинутый…

181 views18:42

Data Engineering / Инженерия данных / Data Engineer / DWH

https://www.youtube.com/watch?v=sbVYRf_6Hvg

YouTube

Основы SSH | Хекслет

В видео разберем, что такое SSH, как он работает и как начать использовать его.

🔗 Полезные ссылки:
Клиенты SSH:
Mac:
- iTerm2 http://iterm2.com/
- Cathode http://www.secretgeometry.com/apps/cathode/

Win:
- PuTTY http://www.chiark.greenend.org.uk/~sgtatham/putty/…

173 views08:15

Data Engineering / Инженерия данных / Data Engineer / DWH

https://www.bigdataschool.ru/blog/nifi-with-docker-and-kubernetes-guideline.html

Курсы Big Data,Arenadata,Greenplum, Kafka и Spark

Контейнеризация Apache NiFi: безопасность конвейеров и потоков данных с Docker и Kubernetes

Сегодня рассмотрим, как организовать полностью сохраняемый сервис Apache NiFi с помощью Docker

174 views13:28

Data Engineering / Инженерия данных / Data Engineer / DWH

https://www.youtube.com/watch?v=ArLijmbZUYk

YouTube

Apache NiFi : Docker installation

This video shows you to start NiFi as docker container. It also shows the port customization and volume mounting.

Apache NiFi : https://nifi.apache.org/
Docker hub link : https://hub.docker.com/r/apache/nifi/
Docker Installation : https://github.com/san…

187 views13:29

Data Engineering / Инженерия данных / Data Engineer / DWH

Завтра в 12 трансляция
https://youtu.be/jF3YemOVofQ

YouTube

Обработка данных на Apache Airflow в Yandex Cloud

Для анализа данных в облаке не достаточно СУБД и средств визуализации — нужен ещё и понятный инструмент, который автоматизирует сбор, подготовку и обработку данных. На вебинаре мы расскали о таком сервисе — Apache Airflow.

Эксперты Yandex Cloud обсудили:…

194 views17:23

Data Engineering / Инженерия данных / Data Engineer / DWH

https://harshilp.medium.com/101-guide-on-apache-airflow-operators-f9707d8b86c7

Medium

101 Guide on Apache Airflow Operators

A 101 guide on some of the frequently used Apache Airflow Operators with detailed explanation of setting them up(with code)…

210 views08:31

Data Engineering / Инженерия данных / Data Engineer / DWH

Продвинутая работа с Docker — Docker-compose.
https://1cloud.ru/blog/docker-compose

1cloud.ru

Docker-compose: что это, установка, команды — подробный мануал для начинающих

Развернуто рассказываем о том, что такое Docker-compose и как с ним работать.

193 views14:39

Data Engineering / Инженерия данных / Data Engineer / DWH

https://eternalhost.net/base/vps-vds/docker-compose-yml

204 views08:41

Data Engineering / Инженерия данных / Data Engineer / DWH

Список полезных Linux Commands

@devops_dataops

https://telegra.ph/Linux-Commands-07-27

Telegraph

Linux Commands

https://t.me/devops_dataops Version # Debian/Ubuntu uname -a lsb_release -a # CentOS/RedHat cat /etc/centos-release cat /etc/redhat-release # This will provide a lot more information cat /etc/os-release System # Restart reboot # Memory free # Disk df -hl…

194 views06:55

Data Engineering / Инженерия данных / Data Engineer / DWH

Как собрать платформу обработки данных «своими руками»?

@devops_dataops

https://habr.com/ru/company/itsumma/blog/679516/

Хабр

Как собрать платформу обработки данных «своими руками»?

Большое количество российских компаний столкнулись с ограничениями в области ПО. Они теперь не имеют возможности использовать многие важные инструменты для работы с данными. Но, как говорится, одна...

809 viewsedited 09:24

Data Engineering / Инженерия данных / Data Engineer / DWH

Nico_Loubser_Software_Engineering_for_Absolute_Beginners_Your_Guide.epub

1.5 MB

Software Engineering for Absolute Beginners - 2021

What You Will Learn
🔹 Explore the concepts that you will encounter in the majority of companies doing software development
🔹 Create readable code that is neat as well as well-designed
🔹 Build code that is source controlled, containerized, and deployable
🔹 Secure your codebase
🔹 Optimize your workspace

4.12K views06:04

Data Engineering / Инженерия данных / Data Engineer / DWH

https://habr.com/ru/company/rostelecom/blog/675554/

Хабр

Контроль качества данных и точка. Как мы строили модуль DQM с нуля

Всем привет! Меня зовут Андрей, я занимаюсь процессами контроля качества данных в DataOffice Ростелекома. В статье поделюсь опытом создания модуля контроля качества данных, с какими трудностями мы...

180 views06:05

About

Blog

Apps

Platform