Немножко мыслей про open-source Apache Superset
Из моего небольшого опыта работы с этим BI могу дать следующую обратную связь:
- Довольно зрелая система с хорошим набором фич.
- Многое описано в официальной доке, либо на github в отдельных реквестах. Но без технического бекграунда будет ОЧЕНЬ сложно.
- Это простая рисовалка графиков без ETL и модели данных внутри. Инструмент хорошо применим только для 1 готового датасета (прямая таблица, не схема звезда и уж подавно не снежинка). Поэтому могу смело утверждать, что построить сложные приложения, как например, в Qlik Sense или Power BI точно не выйдет. Либо придется костылять, придумывать технические приемы. Что в принципе возможно.
- В Apache Superset можно добавлять custom plugins, но этот процесс ОЧЕНЬ трудоемкий и состоит из множества этапов, которые придется освоить (docker, npm, react, js, typescript).
- Чтобы заменить Power BI или Qlik Sense этим инструментом, придется развернуть целый зоопарк других инструментов для data management & data delivery.
- В команде желательно иметь devops, который бы помог все это поднять и настроить.
- Довольно хорошо развивается, т.к. под крылом Apache.
- Вероятно из-за санкций получит большее распространение в России, что приведет к появлению большего числа доступных визуализаций и фич (правда вопрос насколько сообщество разработчиков будет в свои ряды принимать российских контрибьютеров после текущих событий).
- В отличие от Enterprise решений - можно добавить в функционал свою фичу (любую) и возможно даже отправить MR.
- Любые найденные баги - ваша головная боль.
#superset
Из моего небольшого опыта работы с этим BI могу дать следующую обратную связь:
- Довольно зрелая система с хорошим набором фич.
- Многое описано в официальной доке, либо на github в отдельных реквестах. Но без технического бекграунда будет ОЧЕНЬ сложно.
- Это простая рисовалка графиков без ETL и модели данных внутри. Инструмент хорошо применим только для 1 готового датасета (прямая таблица, не схема звезда и уж подавно не снежинка). Поэтому могу смело утверждать, что построить сложные приложения, как например, в Qlik Sense или Power BI точно не выйдет. Либо придется костылять, придумывать технические приемы. Что в принципе возможно.
- В Apache Superset можно добавлять custom plugins, но этот процесс ОЧЕНЬ трудоемкий и состоит из множества этапов, которые придется освоить (docker, npm, react, js, typescript).
- Чтобы заменить Power BI или Qlik Sense этим инструментом, придется развернуть целый зоопарк других инструментов для data management & data delivery.
- В команде желательно иметь devops, который бы помог все это поднять и настроить.
- Довольно хорошо развивается, т.к. под крылом Apache.
- Вероятно из-за санкций получит большее распространение в России, что приведет к появлению большего числа доступных визуализаций и фич (правда вопрос насколько сообщество разработчиков будет в свои ряды принимать российских контрибьютеров после текущих событий).
- В отличие от Enterprise решений - можно добавить в функционал свою фичу (любую) и возможно даже отправить MR.
- Любые найденные баги - ваша головная боль.
#superset
Fundamentals_of_Data_Engineering_Third_Early_Release_by_Joe_Reis.pdf
6.3 MB
Fundamentals of Data Engineering (Third Early Release) by Joe Reis Matt Housley 2022.pdf
Записи конференции Smart Data 2021 на Youtube
Материалы конференции
Apache Airflow, DWH как продукт, Каталог и озеро данных на базе MongoDB, ClickHouse, MLOps, Self-service BI, Apache Spark
☮️
Материалы конференции
Apache Airflow, DWH как продукт, Каталог и озеро данных на базе MongoDB, ClickHouse, MLOps, Self-service BI, Apache Spark
☮️
Появилась интеграция между Airbyte и Clickhouse 🥳
https://clickhouse.com/docs/integrations/airbyte-and-clickhouse
#airbyte #clickhouse
https://clickhouse.com/docs/integrations/airbyte-and-clickhouse
#airbyte #clickhouse
Не знаю насколько практичный гайд (не успел погрузиться), оставлю тут, вдруг кому пригодится
Superset Administrator Guide
#superset
Superset Administrator Guide
#superset
Websoft9
快速入门 | Websoft9
Apache Superset 是一个开源的数据探查与可视化平台（曾用名 Panoramix、Caravel ），该工具在可视化、易用性和交互性上非常有特色，用户可以轻松对数据进行可视化分析。Superset 也是一款企业级商业智能 Web 应用程序。
Practical Python Data Wrangling and Data Quality (en).epub
5.4 MB
Practical Python: Data Wrangling and Data Quality
1. Introduction to Data Wrangling and Data Quality
2. Introduction to Python
3. Understanding Data Quality
4. Working with File-Based and Feed-Based Data in Python
5. Accessing Web-Based Data
6. Assessing Data Quality
7. Cleaning, Transforming, and Augmenting Data
8. Structuring and Refactoring Your Code
9. Introduction to Data Analysis
10. Presenting Your Data
11. Beyond Python
https://github.com/PracticalPythonDataWranglingAndQuality/data_wrangling_exercises - This repo contains draft coding exercises for the early-release version of the book Practical Python: Data Wrangling and Data Quality to be published by O'Reilly Media in 2021.
1. Introduction to Data Wrangling and Data Quality
2. Introduction to Python
3. Understanding Data Quality
4. Working with File-Based and Feed-Based Data in Python
5. Accessing Web-Based Data
6. Assessing Data Quality
7. Cleaning, Transforming, and Augmenting Data
8. Structuring and Refactoring Your Code
9. Introduction to Data Analysis
10. Presenting Your Data
11. Beyond Python
https://github.com/PracticalPythonDataWranglingAndQuality/data_wrangling_exercises - This repo contains draft coding exercises for the early-release version of the book Practical Python: Data Wrangling and Data Quality to be published by O'Reilly Media in 2021.
Forwarded from Data Coffee
В новом выпуске подкаста мы обсудили нового главу всея твиттера (а пропустить мы это не могли) и то, что теперь можно легально (правда, пока только в США) скрейпить данные и обучать свои нейроболталки (чтобы потом сделать стартап и войти в сотню самых интересных Big Data компаний).
Помимо дел бизнеса, обсудили современную хирургию, несовременный шутер и неожиданную объединяющую ведущих любовь к дирижаблям.
Все это в новом свежем новостном эпизоде подкаста Data Coffee🎙
#datacoffee #data #podcast #данные #подкаст
https://anchor.fm/data-coffee/episodes/46-S2E4----Mute--Twitter----etc-e1hrnkf
Помимо дел бизнеса, обсудили современную хирургию, несовременный шутер и неожиданную объединяющую ведущих любовь к дирижаблям.
Все это в новом свежем новостном эпизоде подкаста Data Coffee🎙
#datacoffee #data #podcast #данные #подкаст
https://anchor.fm/data-coffee/episodes/46-S2E4----Mute--Twitter----etc-e1hrnkf
Spotify for Podcasters
46 (S2E4). Дирижабли, кнопка Mute, Twitter Илона Маска, etc. by Data Coffee
Ведущие подкаста "Data Coffee" обсуждают новости и делятся своими мыслями!
Shownotes:
00:31 Mute работает или все же нет
09:10 Легализация web scraping
13:16 Илон Маск всея Твиттера
18:55 Перчатки для обучения хирургов
23:15 Top 100 big data companies
25:45…
Shownotes:
00:31 Mute работает или все же нет
09:10 Легализация web scraping
13:16 Илон Маск всея Твиттера
18:55 Перчатки для обучения хирургов
23:15 Top 100 big data companies
25:45…
How to Add Value as a Data Analyst | by Cassie Kozyrkov | May, 2022 | Towards Data Science
https://towardsdatascience.com/how-to-add-value-as-a-data-analyst-8a6ae900b82a
https://towardsdatascience.com/how-to-add-value-as-a-data-analyst-8a6ae900b82a
Medium
How to Add Value as a Data Analyst
The journey to becoming a “real” data analyst
Forwarded from Инжиниринг Данных (Dmitry)
Сегодня по расписанию будет - Python Environments and Best Practices
- Using the command line and command line applications
- How to set up projects using virtual environments
- Sharing code via git and GitHub
- Using IDE features for debugging, refactoring, and navigating Python code
В приложении презентация, ссылка на git, и reference document.
- Using the command line and command line applications
- How to set up projects using virtual environments
- Sharing code via git and GitHub
- Using IDE features for debugging, refactoring, and navigating Python code
В приложении презентация, ссылка на git, и reference document.
Forwarded from Инжиниринг Данных (Dmitry)