Layering Your Data Warehouse with dbt (open source инструмент для T в ELT):
1. Root Layer - The first layer is the landing zone for any initial data ingestion.
2. Logic Layer - The logic layer is where the heavy lifting of your data transformation is done.
3. Dimension and Activity Layer - This layer is where we begin to surface data models for others to use in their own analysis and projects.
4. Reporting Layer - This layer is for your metric calculations and any levels of aggregation you might need for reporting.
1. Root Layer - The first layer is the landing zone for any initial data ingestion.
2. Logic Layer - The logic layer is where the heavy lifting of your data transformation is done.
3. Dimension and Activity Layer - This layer is where we begin to surface data models for others to use in their own analysis and projects.
4. Reporting Layer - This layer is for your metric calculations and any levels of aggregation you might need for reporting.
Medium
Layering Your Data Warehouse
Hello I am Mitchell Silverman! I have worked in data over the last decade at a number of tech companies including WayUp, WeWork, and now…
Forwarded from Dmitry N
GitHub
GitHub - joelparkerhenderson/monorepo-vs-polyrepo: Monorepo vs. polyrepo: architecture for source code management (SCM) version…
Monorepo vs. polyrepo: architecture for source code management (SCM) version control systems (VCS) - joelparkerhenderson/monorepo-vs-polyrepo
Forwarded from Дашбордец
Котятки🐱
В Билайне удалось выстроить очень удачный онбординг для аналитиков из бизнеса, - они очень плавно вливаются во внутреннее сообщество Qlik, даже не зная на этапе входа модного слова self-service.
Мне это рассказывали, что называется, "на правах очевидца и участника событий", но тогда, в 2020, верилось мне с трудом.
Теперь прояснилось, - смотрим видео, кайфуем, перенимаем:
https://youtu.be/jhQ2NVgLCu4
В Билайне удалось выстроить очень удачный онбординг для аналитиков из бизнеса, - они очень плавно вливаются во внутреннее сообщество Qlik, даже не зная на этапе входа модного слова self-service.
Мне это рассказывали, что называется, "на правах очевидца и участника событий", но тогда, в 2020, верилось мне с трудом.
Теперь прояснилось, - смотрим видео, кайфуем, перенимаем:
https://youtu.be/jhQ2NVgLCu4
YouTube
Qlik Sense в Вымпелком: 400 self-service разработчиков
Владимир Бакланов, руководитель BI-департамента в "Вымпелком" рассказывает, как за полгода удалось удвоить число self-service разработчиков аналитики - с 200 до 400, как в компании обучают и развивают пользователей аналитики.
01:03 - data-driven стратегия…
01:03 - data-driven стратегия…
Мы подготовили ещё один крутейший и главное полезный вебинар. Абсолютные гуру👨🚀🥷 Product Management из booking.com расскажут о своей работе, чтобы вы лучше смогли понимать как они взаимодействуют с командами аналитиками и измеряют продукты.
🦥Тема: Data science и Product Management
🦦Описание: Владимир Калмыков (Group Tech PM booking.com) и Андрей Менде (PM DataScience booking.com) расскажут, в чем особенности работы PM в Data Science командах, и как датасаентисту эффективно построить работу со своим PM. Разберем, какие ошибки совершают PM'ы у которых еще нет опыта работы с ML командами. Володя может также поделиться своим опытом о том, как перейти в Tech/DS PM-ы, если вы чувствуете, что готовы рулить процессом в том числе на уровне бизнеса.
🎰Дата: Вечер 29 апреля.
🤩Доклад must have для всех!
https://youtu.be/XvFVzeZcVGc
🦥Тема: Data science и Product Management
🦦Описание: Владимир Калмыков (Group Tech PM booking.com) и Андрей Менде (PM DataScience booking.com) расскажут, в чем особенности работы PM в Data Science командах, и как датасаентисту эффективно построить работу со своим PM. Разберем, какие ошибки совершают PM'ы у которых еще нет опыта работы с ML командами. Володя может также поделиться своим опытом о том, как перейти в Tech/DS PM-ы, если вы чувствуете, что готовы рулить процессом в том числе на уровне бизнеса.
🎰Дата: Вечер 29 апреля.
🤩Доклад must have для всех!
https://youtu.be/XvFVzeZcVGc
Microsoft Azure показывает очень крутые результаты продаж. Возможно пандемия помогла клиентам переместиться в облако. AWS продолжает выпускать новые продукты и фичи буквально еженедельно, а вот про GCP как-то нечего сказать, так как они не так популярны в моей ленте🤗
Msn
Microsoft Beats Q3 Earnings Estimates, Sees Azure Revenue Up 50%
Technology giant Microsoft Corporation (NASDAQ: MSFT) reported fiscal third-quarter earnings after market close Tuesday.
6 Мая Tableau проведет онлайн мероприятие на весь день - Tableau Live. Будет много интересного.
Если вам интересно с чего начинается история cloud computing - то вот она. В 1961 году профессор John McCarthy сказал в MIT: “Computing may someday be organized as a public utility just as the telephone system is a public utility, Each subscriber needs to pay only for the capacity he actually uses, but he has access to all programming languages characteristic of a very large system … Certain subscribers might offer service to other subscribers … The computer utility could become the basis of a new and important industry.”
#datalearn модуль 5.2 все еще в процессе🥸
#datalearn модуль 5.2 все еще в процессе🥸
MIT Technology Review
The Cloud Imperative
Treating computing as a utility, like electricity, is an old idea. But now it makes financial sense—a historic shift that is reshaping the IT industry.
Self-service это north star для любого крупного аналитического проекта. Хочется, чтобы инженеры и аналитики создавали дата продукты, а пользователи самостоятельно ими пользовались. На практике это работает редко. Еще один взгляд на эту проблему Why is self-serve still a problem?
benn.substack
Why is self-serve still a problem?
We’re not going to solve it until we define it.
Статья “An Offline to Online Data Pipeline at WePay” про real time data pipelines на Google Cloud Platform и использование Airflow и Kafka. https://wecode.wepay.com/posts/an-offline-to-online-data-pipeline-at-wepay
Через 1,5 часа стартует вебинар с ребятами и booking.com про product management. Мне самому очень интересно послушать так как аналитика и управление продуктами это как data science и data engineering, должны работать вместе и иметь одну цель.
YouTube
Data science и Product Management / Booking / Владимир Калмыков / Андрей Менде
Владимир Калмыков (Group Tech PM booking.com) и Андрей Менде (PM DataScience booking.com) расскажут, в чем особенности работы PM в Data Science командах, и как датасаентисту эффективно построить работу со своим PM. Разберем, какие ошибки совершают PM'ы у…
мы начинаем:
https://youtu.be/XvFVzeZcVGc
https://youtu.be/XvFVzeZcVGc
YouTube
Data science и Product Management / Booking / Владимир Калмыков / Андрей Менде
Владимир Калмыков (Group Tech PM booking.com) и Андрей Менде (PM DataScience booking.com) расскажут, в чем особенности работы PM в Data Science командах, и как датасаентисту эффективно построить работу со своим PM. Разберем, какие ошибки совершают PM'ы у…
11 мая snowflake расскажет про data ops практики. Врятли вам нужен snowflake, но возможно они расскажут что нибудь дельное про DevOps для хранилища данных.
Snowflake
Canada Data Experts: Implementing DataOps with Snowflake - Snowflake
Now that Snowflake has made #TrueDataOps a reality, everyone wants to understand how the DevOps and CI/CD paradigms can be applied to the data world.
Distributing the data team to boost innovation reliably - Integrating Analytics Engineers into all cross-functional teams: a key success factor to scale a data platform efficiently and reliably
Building Nubank
How we scale our data platform efficiently and reliably - Building Nubank
Integrating Analytics Engineers into all cross-functional teams: a key success factor to scale a data platform efficiently and reliably
Вы слышали про Data Gateway? Можете познакомиться Data Gateways in the Cloud Native Era
InfoQ
Data Gateways in the Cloud Native Era
Data Gateways act like API Gateways but focus on access to the data aspect. A Data Gateway offers abstractions, security, scaling, federation, and contract-driven development features. There are many types of Data Gateways, from the traditional data virtualization…
Знаете, где тусит народ из gaming компаний по пятницам во время пандемии?
Они собираются в Gather Town. Очень классная идея, как будто играем в денди, но можно поговорить с народом и даже познакомиться с коллегами, которых никогда не видел. Кстати бесплатно до 25 пользователей, попробуйте для онлайн team building.
Они собираются в Gather Town. Очень классная идея, как будто играем в денди, но можно поговорить с народом и даже познакомиться с коллегами, которых никогда не видел. Кстати бесплатно до 25 пользователей, попробуйте для онлайн team building.
www.gather.town
Gather | Virtual Workspace for Remote Teams
Bring your remote team closer together. Communicate, collaborate, and feel more connected in a persistent space that reflects your unique team culture.
Намечатеся маркетинговое мероприятие The State of Data Cloud https://pages.matillion.com/webinar_the-state-of-the-cloud-panel-discussion