За три года концепция Lakehouse прошла классический путь: от дикого хайпа и обещаний «единой архитектуры для всего» до суровых будней в продакшене.

Оказалось, что хранить данные на S3 дешево, а вот вычислять их там - удовольствие не из бюджетных.
Собрали в карточках концентрат нашего опыта о том, как мелкие файлы убивают производительность и нервы инженеров.

🔮 За подробными цифрами, более глубокими наблюдениями и разбором архитектуры - ныряйте в полную статью по ссылке.

🎓 Подарок для студентов ИнженеркаТех

Наши коллеги из SubQuery дают вам 9 месяцев бесплатного доступа к платформе для работы с dbt 🚀

SubQuery — это среда для аналитиков и data-инженеров, где можно работать с dbt без лишней инфраструктуры: запуски, ветки, публикации, граф моделей, логирование и командная работа — всё в одном месте.

Для студентов это отличная возможность попробовать dbt в полноценной среде — как альтернативу dbt Cloud.

Что входит в студенческий тариф:
— до 50 человек в команде
— 5 редакторов
— до 3 проектов
— до 1000 запусков

Этого достаточно, чтобы спокойно пройти курс и собрать собственный dbt-проект.

👉 Чтобы получить доступ:
- подпишитесь на канал SubQuery
- напишите на почту join@subquery.ru c темой письма ИНЖЕНЕРКА

Учитесь — и сразу применяйте знания на практике 💚