This repo contains a few peculiar things I've learned about pandas that have made my life easier and my code faster. This post isn't a friendly tutorial for beginners, but a friendly introduction to pandas weirdness.
GitHub
just-pandas-things/just-pandas-things.ipynb at master · chiphuyen/just-pandas-things
An ongoing list of pandas quirks. Contribute to chiphuyen/just-pandas-things development by creating an account on GitHub.
Forwarded from Дашбордец
Несмотря на наличие большого числа инструментов для профилирования данных, многие до сих пор делают это руками.
Я уже давно привыкла использовать Power BI вместо того же SasDQ.
Что может?
1) Быстрое профилирование по 3м направлениям с помощью column distribution, column quality, column profile в режиме Power Query.
3) Функция Table.Profile: даёт возможность вывести результаты профилирования сразу в отдельную таблицу и построить отчет.
3) Exception Reporting -полноценный отчет об ошибках, который позволяет понять, что не так с вашим датасетом.
Линк по Exception Reporting и как это правильно использовать:
https://radacad.com/exception-reporting-in-power-bi-catch-the-error-rows-in-power-query
P. S. Подробно про работу средств профилирования: https://docs.microsoft.com/ru-ru/power-query/data-profiling-tools
Я уже давно привыкла использовать Power BI вместо того же SasDQ.
Что может?
1) Быстрое профилирование по 3м направлениям с помощью column distribution, column quality, column profile в режиме Power Query.
3) Функция Table.Profile: даёт возможность вывести результаты профилирования сразу в отдельную таблицу и построить отчет.
3) Exception Reporting -полноценный отчет об ошибках, который позволяет понять, что не так с вашим датасетом.
Линк по Exception Reporting и как это правильно использовать:
https://radacad.com/exception-reporting-in-power-bi-catch-the-error-rows-in-power-query
P. S. Подробно про работу средств профилирования: https://docs.microsoft.com/ru-ru/power-query/data-profiling-tools
RADACAD
Exception Reporting in Power BI: Catch the Error Rows in Power Query
To build a robust BI system, you need to cater for errors and handle errors carefully. If you build a reporting solution that the refresh of that fails everytime an error occurs, it is not a robust system. Errors can happen by many reasons, In this post,…
Forwarded from Дашбордец
Немного про артефакты Data lineage в Power BI:
https://docs.microsoft.com/en-us/power-bi/collaborate-share/service-data-lineage
https://docs.microsoft.com/en-us/power-bi/collaborate-share/service-data-lineage
Docs
Data lineage - Power BI
Learn how data lineage view helps you understand the flow of data from the data source to its destination.
https://www.datagaps.com/data-testing-concepts/database-testing/
https://www.datagaps.com/data-testing-concepts/etl-testing/
https://www.datagaps.com/data-testing-concepts/etl-testing/
Datagaps | Automated Cloud Data Testing | ETL, BI & BigData
Database Testing: Concepts, Challenges and 7 Types of DB Testing
Comprehensive guide to db testing concepts. Explore how to automate database testing, 7 types of database testing techniques and challenges.
Forwarded from L̶u̵m̶i̵n̷o̴u̶s̶m̶e̵n̵B̶l̵o̵g̵
Let's talk about a couple of core concepts in data space and how they relate to each other and how they started.
⚡️ACID vs BASE: Comparison of two Design Philosophies
⚡️CAP and PACELC theorems in plain English
⚡️ACID vs BASE: Comparison of two Design Philosophies
⚡️CAP and PACELC theorems in plain English
Blog | iamluminousmen
ACID vs BASE: Comparison of two Design Philosophies
Discover the differences between ACID and BASE design philosophies - from strong consistency to eventual consistency. Find out which suits your project better!
Оказывается, если задавать оконную функцию через
https://mode.com/sql-tutorial/sql-window-functions/#defining-a-window-alias
WINDOW, то её можно вызвать внутри другой функции https://mode.com/sql-tutorial/sql-window-functions/#defining-a-window-alias
ThoughtSpot
SQL Window Functions | Advanced SQL | ThoughtSpot
This SQL tutorial explores SQL window functions like ROW_NUMBER(), NTILE, LAG, LEAD, SUM, COUNT & AVG for advanced analytics using SQL window functions.
Forwarded from Big data world
🖥 Этот график помогает лучше понять чувствительность и специфичность графически.
Forwarded from SQLite на практике
Вижу подзапрос → меняю на CTE
Многие студенты (да и не только студенты) обожают многоуровневые SQL-запросы. Пожалуйста, пожалуйста, пожалуйста, не пишите их. Используйте табличные выражения: https://antonz.ru/cte/
Многие студенты (да и не только студенты) обожают многоуровневые SQL-запросы. Пожалуйста, пожалуйста, пожалуйста, не пишите их. Используйте табличные выражения: https://antonz.ru/cte/