В общем качество данных это не шутка! Поэтому у бизнеса и у нас должны быть высокие ожидание про качества данных, что есть Great Expectations!

А еще, неплохо бы не изобретать велосипед, а использовать готовый framework для обеспечения качества данных, можно например использовать Deequ для Spark (Scala или Pyspark), а можно посмотреть на новый популярный инструмент, который работает без спарка - Great Expectations.

Вот вам аж целых 3 поста про них!
https://greatexpectations.io/blog/maximizing-productivity-of-analytics-teams-pt1/

https://greatexpectations.io/blog/maximizing-productivity-of-analytics-teams-pt2/

https://greatexpectations.io/blog/maximizing-productivity-of-analytics-teams-pt3/

Great Expectations writes a three-part series on maximizing the productivity of the analytics team, focusing on the debugability of the dashboards, reducing the technical debt on the data pipeline, and the role of Great Expectations in the data engineering process.

Что может быть общего подхода по моделированию данных Data Vault и Python? Оказывается есть - diepvries is the name of a Python library. It automates the data loading process for Data Vault and avoids the maintenance of repetitive SQL queries for ETL jobs.

https://blog.picnic.nl/releasing-diepvries-a-data-vault-framework-for-python-3f01a5d46f84

Через 40 минут начинаем:
https://youtu.be/-ZgzpQXsxi0

Погнали:
https://youtu.be/-ZgzpQXsxi0

"As data people, we definitely have a lot of tools. In 2017, Y Combinator—an incubator of both startups and the Silicon Valley zeitgeist—funded 15 analytics, data engineering, and AI and ML companies. In 2021, they funded 100.² It’s impossible to make sense of this many tools, much less manage even a fraction of them in a single stack."

Все так - кол-во инструментов (tools) для работы с данными растет в геометрической прогрессии. Свеже испеченным дата профессионалом будет очень сложно понять разницу в инструментах, их назначении и различии. 🙄

Новички, как собираетесь решать проблему? Всего не перепробовать и не выучить, и концов не найти. Как в песне:

Data может, data может
Все что угодно....

Специально нашел soundtracks Tableau Conference 2019, раз уж про песни заговорил, https://open.spotify.com/playlist/5mohLACrVKdX6zxCfagScw

Все помнят что сегодня в 20:00 по мск вебинар :
https://youtu.be/DmqGfdQWP94

Через пол часа начинаем:
https://youtu.be/DmqGfdQWP94

Через 2 минуты начинаем кстати гоу в зум кому в кайф:
Подключиться к конференции Zoom
https://us02web.zoom.us/j/89848486805?pwd=THg0UHRGdTBxZml6ZjNtZnF3VFVCdz09

Идентификатор конференции: 898 4848 6805
Код доступа: 996986
Одно касание на мобильном телефоне
+13017158592,,89848486805#,,,,*996986# Соединенные Штаты Америки (Washington DC)
+13126266799,,89848486805#,,,,*996986# Соединенные Штаты Америки (Chicago)

Набор в зависимости от местоположения
+1 301 715 8592 Соединенные Штаты Америки (Washington DC)
+1 312 626 6799 Соединенные Штаты Америки (Chicago)
+1 346 248 7799 Соединенные Штаты Америки (Houston)
+1 669 900 6833 Соединенные Штаты Америки (San Jose)
+1 929 205 6099 Соединенные Штаты Америки (New York)
+1 253 215 8782 Соединенные Штаты Америки (Tacoma)
Идентификатор конференции: 898 4848 6805
Код доступа: 996986
Найдите свой местный номер: https://us02web.zoom.us/u/kd2F7vdGeS

Вы уже знакомы с TPC benchmarking (модуль 6.2)? Вот и Databricks сделал свои тесты https://databricks.com/product/databricks-sql-2

У кого есть возможность, можете оставить отзыв Роман Зыков на Amazon про его книну: Roman's Data Science: How to monetize your data

Amazon.ca
Amazon.com
Или на вашем амазоне, например в Европе.

А если вы были на автограф сессии, ваша фотография может быть на Амазоне!)

И снова хорошие новости, Табло конференция будет 9-12 ноября ( прям на мое др) и поэтому она бесплатна для вас, хотя она и так бесплатна, так как 100% онлайн. Уверен будет много интересного. https://www.tableau.com/events/conference?utm_campaign=PowerBI

Свежая статья про FeatureStore. Никто не хочет рассказать про него на вебинаре? Отличие от хранилища данных, архитектура, и тп.

Хотите разобраться в облачных технологиях?
19 и 20 сентября присоединяйтесь к онлайн-курсу от Microsoft, посвящённому облачным решениям Azure (200+ решений на одной платформе).

Специалисты Microsoft расскажут, как облачные сервисы решают проблему безопасности и конфиденциальности данных пользователей. Покажут, как быстро, безопасно и эффективно интегрировать Azure с существующими сетями.

На курсе вы сможете подготовиться к сертификационному экзамену по Azure и попробовать его сдать бесплатно.
Регистрируйтесь, чтобы не пропустить: https://bit.ly/3C1KEBD

PS Microsoft поддержал фонд.

Power BI
for Intermediates
A step-by-step training guide - 80 страниц

It's designed to give you a meaningful structure but also to let you add your own
notes (that's why the empty boxes are there). It starts from the absolute basics
(SELECT * FROM table_name;) and guides you to the intermediate level (JOIN,
HAVING, subqueries). I added everything that you will need as a data analyst/
scientist.

The ideal use case of this cheat sheet is that you print it in color and keep it next to
you while you are learning and practicing SQL on your computer.