Forwarded from Инжиниринг Данных (Dmitry)
МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
Apache Spark является самым популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать их в оперативной памяти с использованием распределенного вычисления (distributed computing).
В этом видео:
📌 Узнаем история Apache Spark
📌 Посмотрим примеры архитектур с использованием Spark
📌 Разберемся когда его можно использовать
📌 Узнаем про основные компоненты
📌 Узнаем, обозначает термин Unified Analytics
Apache Spark является самым популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать их в оперативной памяти с использованием распределенного вычисления (distributed computing).
В этом видео:
📌 Узнаем история Apache Spark
📌 Посмотрим примеры архитектур с использованием Spark
📌 Разберемся когда его можно использовать
📌 Узнаем про основные компоненты
📌 Узнаем, обозначает термин Unified Analytics
YouTube
DATALEARN | DE - 101 | МОДУЛЬ 7-2 ЧТО ТАКОЕ APACHE SPARK
Apache Spark является самый популярным инструментом среди инженеров данных, аналитиков и инженеров машинного обучения. Его главная задача это обработка данных. С помощью Spark можно подключаться к любому источнику данных, читать большие данные и обрабатывать…
Подборочка дизайнов dashboards, charts, admin panels & analytics
https://search.muz.li/inspiration/dashboard-inspiration
https://search.muz.li/inspiration/dashboard-inspiration
Muzli
500+ Dashboards, admin panels &apm; analytics design inspiration - Muzli
Constantly-updated list of well designed dashboards both for web and mobile, from the always-fresh Muzli inventory, to inspire you in your design process.
Всё про Apache Superset здесь https://t.me/apache_superset_bi
Telegram
Apache Superset BI
? 👉 @iv_shamaev 🧑💻
Apache Superset — это 📊 ПО с открытым исходным кодом для исследования и визуализации данных. Это готовое к использованию бизнес-веб-приложение. Superset способен обрабатывать данные петабайтного масштаба и подключаться к любым DB
Apache Superset — это 📊 ПО с открытым исходным кодом для исследования и визуализации данных. Это готовое к использованию бизнес-веб-приложение. Superset способен обрабатывать данные петабайтного масштаба и подключаться к любым DB
Forwarded from Инжиниринг Данных (Dmitry)
Сегодня узнал, что если в github .com заменить на .dev то откроется Visual Code в браузере!
👏7🤔1
📈 A curated list of awesome data visualization libraries and resources.
https://github.com/javierluraschi/awesome-dataviz
https://github.com/javierluraschi/awesome-dataviz
GitHub
GitHub - hal9ai/awesome-dataviz: :chart_with_upwards_trend: A curated list of awesome data visualization libraries and resources.
:chart_with_upwards_trend: A curated list of awesome data visualization libraries and resources. - hal9ai/awesome-dataviz
Forwarded from Apache Superset BI
📋 Просмотр модели permission в Superset средствами Qlik Sense
https://telegra.ph/Prosmotr-modeli-permission-v-Superset-sredstvami-Qlik-Sense-06-09
❗️Присоединяйтесь к каналу 👉🏿 Apache Superset BI 😊
https://telegra.ph/Prosmotr-modeli-permission-v-Superset-sredstvami-Qlik-Sense-06-09
❗️Присоединяйтесь к каналу 👉🏿 Apache Superset BI 😊
Telegraph
Просмотр модели permission в Superset средствами Qlik Sense
В этой статье будет кратко описана модель выдачи прав доступа для Superset. Вы можете ее реализовать в другом инструменте, просто мне удобнее смотреть в Qlik Sense. Присоединяйтесь к каналу https://t.me/apache_superset_bi - только тут будет публиковаться…
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
Создание современной платформы для работы с данными с помощью Open-Source-решений
https://habr.com/en/company/vk/blog/671642/
https://habr.com/en/company/vk/blog/671642/
Habr
Создание современной платформы для работы с данными с помощью Open-Source-решений
Команда VK Cloud Solutions перевела краткий конспект с Open Source Data Stack Conference . Конференция была посвящена созданию платформ для работы с данными на базе Open-Source-решений —докладчики...
Forwarded from Reveal the Data
Мокапы дашбордов
Сделал удобный набор графиков для макетирования дашбордов. Он сильно ускоряет разработку макетов. Я давно пользуюсь схожим набором, и часто прямо на встречах с заказчиками собираю макет вместе с ними. Это быстро и наглядно.
Версии
— В виде PPTX презентации: самый быстрый вариант, можно копировать элементы просто перенося их с зажатым Ctrl/Cmd и гибко настраивать картинки.
— В виде книги в Табло: можно тонко настроить графики, они лучше заполняют пространство и картинка получается приближенная к финальному результату.
— На доске в Miro: удобно шерить и обсуждать, добавлять идеи и замечания, но не очень удобно работать с картинками.
Графики сделаны в нейтральном стиле, чтобы не отвлекать от бизнес задачи и подчеркнуть, что это мокап. Удобно поверх картинок писать ярким цветом идеи, реальные названия метрик и т.п. Если у вас есть свой стайлгайд или другая BI, сделайте такие же инструменты на своих графиках, просто наскринив и нарезав существующие дашборды.
@revealthedata
Сделал удобный набор графиков для макетирования дашбордов. Он сильно ускоряет разработку макетов. Я давно пользуюсь схожим набором, и часто прямо на встречах с заказчиками собираю макет вместе с ними. Это быстро и наглядно.
Версии
— В виде PPTX презентации: самый быстрый вариант, можно копировать элементы просто перенося их с зажатым Ctrl/Cmd и гибко настраивать картинки.
— В виде книги в Табло: можно тонко настроить графики, они лучше заполняют пространство и картинка получается приближенная к финальному результату.
— На доске в Miro: удобно шерить и обсуждать, добавлять идеи и замечания, но не очень удобно работать с картинками.
Графики сделаны в нейтральном стиле, чтобы не отвлекать от бизнес задачи и подчеркнуть, что это мокап. Удобно поверх картинок писать ярким цветом идеи, реальные названия метрик и т.п. Если у вас есть свой стайлгайд или другая BI, сделайте такие же инструменты на своих графиках, просто наскринив и нарезав существующие дашборды.
@revealthedata
Канал про Apache Superset. Здесь периодически публикуются свежие материалы и новости по Open-Source продукту.
Подписывайтесь 😉👍
https://t.me/apache_superset_bi
#реклама
Подписывайтесь 😉👍
https://t.me/apache_superset_bi
#реклама
Telegram
Apache Superset BI
? 👉 @iv_shamaev 🧑💻
Apache Superset — это 📊 ПО с открытым исходным кодом для исследования и визуализации данных. Это готовое к использованию бизнес-веб-приложение. Superset способен обрабатывать данные петабайтного масштаба и подключаться к любым DB
Apache Superset — это 📊 ПО с открытым исходным кодом для исследования и визуализации данных. Это готовое к использованию бизнес-веб-приложение. Superset способен обрабатывать данные петабайтного масштаба и подключаться к любым DB
Manage data like a product to unlock full value | McKinsey
https://www.mckinsey.com/business-functions/quantumblack/our-insights/how-to-unlock-the-full-value-of-data-manage-it-like-a-product
https://www.mckinsey.com/business-functions/quantumblack/our-insights/how-to-unlock-the-full-value-of-data-manage-it-like-a-product
McKinsey & Company
How to unlock the full value of data? Manage it like a product
Creating reusable data products and patterns for piecing together data technologies enables companies to derive value from data today and tomorrow.
👍1
Forwarded from Data Engineering / Инженерия данных / Data Engineer / DWH
The State of Data Engineering 2022 - LakeFS
https://lakefs.io/the-state-of-data-engineering-2022/
https://lakefs.io/the-state-of-data-engineering-2022/
Git for Data - lakeFS
The State of Data Engineering 2022 - Git for Data - lakeFS
Discover the latest tools and trends in data engineering for 2022. Get insights on advancements in Git for Data and how to stay ahead in the industry.
👍1
Всем привет! Хочу сделать две голосовалки.
#1 - Используете ли вы в компании системы для управления источниками данных и описания источников данных?
#1 - Используете ли вы в компании системы для управления источниками данных и описания источников данных?
Anonymous Poll
7%
Используем наподобие CKAN, DataHub Project, Google Data Catalog, Qlik Catalog, Azure, etc.
16%
Используем самописное решение/БД
17%
Храним описание в Excel/Google Sheet
38%
Описываем в Confluence/Wiki
1%
Описываем в локальных документах аля Microsoft Doc
14%
Ничего нет, нигде не описываем источники
6%
Другое
👍1
# Используете ли Вы внутри компаний системы для описания метрик (как метрики считаются, в каких дашбордах используются, и т.п.)
Anonymous Poll
7%
Используем стороннее решение
14%
Свое самописное решение (система, бд)
34%
Excel/Google Sheet/Wiki/MS Word/Etc.
41%
Не используем
4%
Другое
Luxoft Tableau Style Guide
byAlex Barakov
https://public.tableau.com/app/profile/alexandr.barakov/viz/LuxoftTableauStyleGuide6/Hello
byAlex Barakov
https://public.tableau.com/app/profile/alexandr.barakov/viz/LuxoftTableauStyleGuide6/Hello
Tableau Public
Luxoft Tableau Style Guide
Hi Creator!
This is our #Luxoft Tableau Corporate #styleguide - the collection of our strict rules and our general thoughts about how we see good #design should look like.
This is our #Luxoft Tableau Corporate #styleguide - the collection of our strict rules and our general thoughts about how we see good #design should look like.
👍1