Data Engineering / Инженерия данных / Data Engineer / DWH
1.91K subscribers
49 photos
7 videos
52 files
349 links
Data Engineering: ETL / DWH / Data Pipelines based on Open-Source software. Инженерия данных.

DWH / SQL
Python / ETL / ELT / dbt / Spark
Apache Airflow

Рекламу не размещаю
Вопросы: @iv_shamaev | datatalks.ru
Download Telegram
Hi everyone!

Great work on the projects! Now it's time to evaluate your peers.

We've updated the page with the projects (https://github.com/DataTalksClub/data-engineering-zoomcamp/blob/main/cohorts/2023/project.md), now it contains two more links:

- Peer review assignments: https://docs.google.com/spreadsheets/d/e/2PACX-1vRYQ0A9C7AkRK-YPSFhqaRMmuPR97QPfl2PjI8n11l5jntc6YMHIJXVVS0GQNqAYIGwzyevyManDB08/pubhtml?gid=0&single=true
- Evaluation form: https://forms.gle/1bxmgR8yPwV359zb7

To find the projects assigned to you, use the first link (peer review assignments) and find your hash in the first column. You will see three rows: you need to evaluate each of these projects. For each project, you need to submit the form once, so in total, you will make three submissions.

Use this as an opportunity to learn from your peers - and you will learn a lot.

But also remember - if you don't do peer review, you will fail your projects.

Have fun!

Also - the form for submitting project attempt #2 is open, so if you didn't have time to work on your project yet, now you can do it.
https://www.phind.com/ - Phind: The AI search engine for developers.

Get instant answers, explanations, and examples for all of your technical questions.
Youtube PlayList: Apache NiFi с нуля за 3 часа. Конструктор вместо кода

1. Apache NiFi Install v1.14.0
2. Apache NiFi. Введение и первый опыт на практике. Это же конструктор!
3. Процессоры в Apache NiFi и не только. Разбираемся с деталями конструктора
4. Apache NiFi особенности. Без чего не выйти в прод
5. Проблемы с Apache NiFi и как с ними бороться. Наш опыт
6. Как ускорить процессоры в Apache NiFi. Оптимизация
7. История изменений данных в Apache NiFi. Data Provenance
8. Apache NiFi Registry Install v1.14.0
9. Экспорт и импорт потоков с помощью рук, Rest Api и Apache NiFi Registry
10. Git, Apache NiFi Registry и CI/CD
11. Обзор Keycloak и настройка SSO в NiFi
12. Выкачиваем код Apache NiFi. Меняем под себя и делаем UI для процессора

https://www.youtube.com/playlist?list=PL4MpKy3QjNp_rOEEibc4Ro8UK4g8vLX6_
AvitoTech Team PlayBook

Открытый справочник по ценностям, бизнес-процессам, стандартам, процедурам и правилам, которые используются в команде разработки в Авито.

https://github.com/avito-tech/playbook

Подсмотрел в канале @rtdlinks
Clickhouse datasource for grafana

Altinity ClickHouse datasource plugin provides a support for ClickHouse as a backend database.

Initially plugin developed by Vertamedia, maintaned by Altinity since 2020.

https://github.com/Altinity/clickhouse-grafana
Forwarded from Data Science. SQL hub
Try Redis — тренажёр для освоения Redis БД

Redis — это удобное и быстрое хранилище данных класса NoSQL, которое хранит и работает с данными типа «ключ — значение». Redis известен своей высокой производительностью, простотой и универсальностью.

А потренироваться в использовании вам поможет тренажёр Try Redis, который может генерировать запросы:

https://try.redis.io/

#redis

@sqlhub