🚀 Реализация ELT-процесса в архитектуре Data Lakehouse на open-source стеке

🔍 Задача: Крупный строительный холдинг (10+ юрлиц) обратился за помощью в создании централизованного хранилища данных для аналитики и визуализации.

🛠 Технологии:
- Kafka – сбор данных
- Dagster – оркестрация
- S3 + Iceberg – хранилище
- Trino + ClickHouse – обработка
- DBT – трансформация

📊 Результат:
✔ Более 1000 моделей в DBT
✔ 1 ТБ сжатых данных (объем растёт)
✔ Интеграция с Power BI, веб-приложениями, MDX-кубами

💡 Особенности:
🔒 Закрытый контур (доступ через терминальные решения)
🔄 Greenfield-разработка
👥 Команда из 11 дата-инженеров
📅 Управление по методологии Scrum

👉 Читать подробнее: Habr

#DataEngineering #ETL #OpenSource #DBT #BigData