Опять про DWH vs DataLake
Сегодня опять обратимся к теме отличия Data Warehouse от Data Lake, на что натолкнула статья по ссылке ниже.
В ней, как во многих других подобных сравнениях, делается попытка сравнения по таким параметрам как “тип данных: структурированный/несруктуированный”, “пользователи” и тп
Но, один из критериев мне показался самым правильным и фундаментальным - цель!
Помните, как в Матрице, “у каждой программы должна быть цель”? Каждая система написана для чего то, и именно цель определяет средства и технические особенности реализации системы.
У DWH цель - дать пользователям возможность принятия решений на основе данных, у DL - обеспечить максимально дешевое хранение данных с возможностью их дальнейшей утилизации.
И у каждой организации, которая имплементирует то, или иное решение, могут уже индивидуально определятся и структурирование/неструктурированые данные, роли пользователей, кейсы работы с данными и ETL схемы, объемы и источники данных. Главное - правильно понимать цель создания решения по хранению и обработке данных.
Статья по ссылке:
https://www.smartdatacollective.com/differentiating-between-data-lakes-and-data-warehouses/?utm_source=feedburner&utm_medium=feed&utm_campaign=Smart+Data+Collective+%28all+posts%29
Сегодня опять обратимся к теме отличия Data Warehouse от Data Lake, на что натолкнула статья по ссылке ниже.
В ней, как во многих других подобных сравнениях, делается попытка сравнения по таким параметрам как “тип данных: структурированный/несруктуированный”, “пользователи” и тп
Но, один из критериев мне показался самым правильным и фундаментальным - цель!
Помните, как в Матрице, “у каждой программы должна быть цель”? Каждая система написана для чего то, и именно цель определяет средства и технические особенности реализации системы.
У DWH цель - дать пользователям возможность принятия решений на основе данных, у DL - обеспечить максимально дешевое хранение данных с возможностью их дальнейшей утилизации.
И у каждой организации, которая имплементирует то, или иное решение, могут уже индивидуально определятся и структурирование/неструктурированые данные, роли пользователей, кейсы работы с данными и ETL схемы, объемы и источники данных. Главное - правильно понимать цель создания решения по хранению и обработке данных.
Статья по ссылке:
https://www.smartdatacollective.com/differentiating-between-data-lakes-and-data-warehouses/?utm_source=feedburner&utm_medium=feed&utm_campaign=Smart+Data+Collective+%28all+posts%29
SmartData Collective
Data Lake Vs. Data Warehouse: What Is The Difference?
When it comes to the question of data lake vs. data warehouse, it's often forgotten that they're very different components with varied roles.
20 октября будет, кажется, интересное мероприятие на английском языке – Data Leaders Europe Virtual Event. Хороший шанс послушать об опыте коллег из Европы. Среди тем заявлены, например такие:
- Keynote Panel: Defining the role of the future CDO post pandemic: What skillsets and capabilities does the modern CDO need to best influence business strategy and successfully cultivate a data-driven culture?
- Panel: How can you best structure your data division to work effectively with evolving business requirements and enable agile data delivery?
Будет также и интересный кейс для любителей Формулы 1:
- Case Study: Advancing data strategies to inform decision making: Exploring how the FI are leveraging machine learning and image recognition tools to optimise track signage and maximise exposure for sponsors amidst a global pandemic
С полной программой можно ознакомиться по ссылке. Там же – пройти регистрацию.
https://www.wbresearch.com/events-data-leaders-eu-october-2020
- Keynote Panel: Defining the role of the future CDO post pandemic: What skillsets and capabilities does the modern CDO need to best influence business strategy and successfully cultivate a data-driven culture?
- Panel: How can you best structure your data division to work effectively with evolving business requirements and enable agile data delivery?
Будет также и интересный кейс для любителей Формулы 1:
- Case Study: Advancing data strategies to inform decision making: Exploring how the FI are leveraging machine learning and image recognition tools to optimise track signage and maximise exposure for sponsors amidst a global pandemic
С полной программой можно ознакомиться по ссылке. Там же – пройти регистрацию.
https://www.wbresearch.com/events-data-leaders-eu-october-2020
Всем добрый день!
Рады анонсировать следующее мероприятие в рамках Клуба CDO. 💫
Когда: 29 октября, 19:00-20:30
Тема: «Как выстроить эффективные процессы управления качеством данных? Теория и практика»
Спикер: Светлана Бова, Управляющий директор, Вице-президент Департамента трансформации ПАО «ВТБ»
Сохраняйте в календаре, ссылку на zoom пришлем ближе к ивенту.
Рады анонсировать следующее мероприятие в рамках Клуба CDO. 💫
Когда: 29 октября, 19:00-20:30
Тема: «Как выстроить эффективные процессы управления качеством данных? Теория и практика»
Спикер: Светлана Бова, Управляющий директор, Вице-президент Департамента трансформации ПАО «ВТБ»
Сохраняйте в календаре, ссылку на zoom пришлем ближе к ивенту.
Всем привет! Хочу поделиться книжкой, если вдруг кто-то думает что почитать: не книга, а восторг, особенно первая половина про 50-70 годы и зарождение автоматизации. Если в приводимым там цитатах пионеров кибернетики чуть-чуть поменять слова, то вообще не будет ничем отличаться ситуация от того, что пишут про ИИ и роботов в современной прессе :))
вот так оно все и начиналось
https://www.litres.ru/tomas-rid-18380362/rozhdenie-mashin-neizvestnaya-istoriya-kibernetiki/
вот так оно все и начиналось
https://www.litres.ru/tomas-rid-18380362/rozhdenie-mashin-neizvestnaya-istoriya-kibernetiki/
ЛитРес
Рождение машин. Неизвестная история кибернетики – Томас Рид
Альтернативная история кибернетики, проливающая свет на процессы и силы, на самом деле стоявшие за компьютерными разработками. Начиная с 40-х годов XX века и заканчивая нашими днями, автор приводит полные, достоверные, а поро…
Всем привет! Сегодня небольшой обзор полезной тулы.
Важным элементом управления данными в организации является орагнизация функции Discovery - то есть обеспечение доступности данных с точки зрения следующих вопросов:
- Эти данные существуют? Где это находится? Каков источник достоверности этих данных? Есть ли у меня к нему доступ?
- Кто и/или какая команда является владельцем? Кто обычные пользователи?
- Могу ли я использовать существующие работы для своих задач?
- Могу ли я доверять этим данным?
Для того чтобы пользователи могли отвечать на эти вопросы, в организации необходимо создать управление meta-данными и для этого обычно используют специализированные решения типа Data Catalog.
На рынке появляются все больше решений такого рода и одно из них показалось мне интересным. Это open-source продукт Amundsen, созданный компанией Lyft.
Проект написан на Python, поставляется в удобном Docker-контейнере, имеет довольно много интеграций с популярными системами обработки данных.
Рекомендую обратить внимание:
https://www.amundsen.io
Важным элементом управления данными в организации является орагнизация функции Discovery - то есть обеспечение доступности данных с точки зрения следующих вопросов:
- Эти данные существуют? Где это находится? Каков источник достоверности этих данных? Есть ли у меня к нему доступ?
- Кто и/или какая команда является владельцем? Кто обычные пользователи?
- Могу ли я использовать существующие работы для своих задач?
- Могу ли я доверять этим данным?
Для того чтобы пользователи могли отвечать на эти вопросы, в организации необходимо создать управление meta-данными и для этого обычно используют специализированные решения типа Data Catalog.
На рынке появляются все больше решений такого рода и одно из них показалось мне интересным. Это open-source продукт Amundsen, созданный компанией Lyft.
Проект написан на Python, поставляется в удобном Docker-контейнере, имеет довольно много интеграций с популярными системами обработки данных.
Рекомендую обратить внимание:
https://www.amundsen.io
www.amundsen.io
Amundsen, the leading open source data catalog
Всем привет! Меня тут один товарищ попросил поделиться с ним материалами по теме Distributed systems. Я какое-то время назад проходил соответствующий курс, и у меня такие материалы накопились с тех пор, я их немного систематизировал и структурировал.
Может быть, кому-то тут эти материалы могут быть также полезны и интересны, поэтому решил поделиться.
Что внутри:
Во-первых, файл ddms.xml, в котором собрано оглавление темы в целом: какие надо знать и понимать термины и определения, основные алгоритмы, примеры систем и платформ, устройство и функционирование которых надо понимать в деталях любому инженеру, который имеет дело с распределенными системами обработки данных, что сегодня равно вообще всему понятию BigData в частности.
Во-вторых, сами материалы: книги, статьи, научные публикации, лекции, презентации + мои собственные заметки по теме.
Все материалы взяты из открытых источников и каждый по отдельности можно найти в Интернете, тут они просто собраны в одно место.
Ну и если у кого то есть чем дополнить этот сет – буду рад добавлениям.
https://www.dropbox.com/sh/ypg2vuhi04uocvk/AAC41ojyts9tsaIqJsxTwOZUa?dl=0
Может быть, кому-то тут эти материалы могут быть также полезны и интересны, поэтому решил поделиться.
Что внутри:
Во-первых, файл ddms.xml, в котором собрано оглавление темы в целом: какие надо знать и понимать термины и определения, основные алгоритмы, примеры систем и платформ, устройство и функционирование которых надо понимать в деталях любому инженеру, который имеет дело с распределенными системами обработки данных, что сегодня равно вообще всему понятию BigData в частности.
Во-вторых, сами материалы: книги, статьи, научные публикации, лекции, презентации + мои собственные заметки по теме.
Все материалы взяты из открытых источников и каждый по отдельности можно найти в Интернете, тут они просто собраны в одно место.
Ну и если у кого то есть чем дополнить этот сет – буду рад добавлениям.
https://www.dropbox.com/sh/ypg2vuhi04uocvk/AAC41ojyts9tsaIqJsxTwOZUa?dl=0
Dropbox
DDMS
Shared with Dropbox
Forwarded from Ivan Begtin (Ivan Begtin)
Emerging Architectures for Modern Data Infrastructure [1] весьма интересно изложенный отчет от Andreessen Horowitz о том как устроена современная архитектура работы с данными в зависимости от задач для которых она проектируется.
По сути - это такой универсальный канвас который можно использовать в любом хорошем инструменте рисования диаграмм. Для типовых задач бизнеса или госструктур вполне подходит и весьма продуманно структурировано (не буду утверждать что идеально, надо смотреть более детально через призму своих задач). Особенно стоит обратить внимание на сдвиги в технологиях Например, Data Flow automation вместо Workflow Management и ELT вместо ETL, а также нового типа озёра данных вместо Hadoop.
Ссылки:
[1] https://a16z.com/2020/10/15/the-emerging-architectures-for-modern-data-infrastructure/
#data #bigdata #report
По сути - это такой универсальный канвас который можно использовать в любом хорошем инструменте рисования диаграмм. Для типовых задач бизнеса или госструктур вполне подходит и весьма продуманно структурировано (не буду утверждать что идеально, надо смотреть более детально через призму своих задач). Особенно стоит обратить внимание на сдвиги в технологиях Например, Data Flow automation вместо Workflow Management и ELT вместо ETL, а также нового типа озёра данных вместо Hadoop.
Ссылки:
[1] https://a16z.com/2020/10/15/the-emerging-architectures-for-modern-data-infrastructure/
#data #bigdata #report
Всем добрый день!
❗️Перенос даты мероприятия.
Когда: 5 ноября, 19:00-20:30
Тема: «Как выстроить эффективные процессы управления качеством данных? Теория и практика»
Спикер: Светлана Бова, Управляющий директор, Вице-президент Департамента ИТ-архитектуры ПАО «ВТБ»
Сохраняйте в календаре, ссылку на zoom пришлем ближе к ивенту.
Изменения внесли в связи с проведением профильного мероприятия, которое вам может быть интересно 🙂
https://cdosummit.ru/?yclid=6307659164335509826
❗️Перенос даты мероприятия.
Когда: 5 ноября, 19:00-20:30
Тема: «Как выстроить эффективные процессы управления качеством данных? Теория и практика»
Спикер: Светлана Бова, Управляющий директор, Вице-президент Департамента ИТ-архитектуры ПАО «ВТБ»
Сохраняйте в календаре, ссылку на zoom пришлем ближе к ивенту.
Изменения внесли в связи с проведением профильного мероприятия, которое вам может быть интересно 🙂
https://cdosummit.ru/?yclid=6307659164335509826
cdosummit.ru
II Российский Саммит и Премия CDTO 2021 | 17 ноября 2021 | Москва
Конференция, посвященная обсуждению лучших digital-продуктов, практик, стратегий и бизнес моделей, которые позволяют современным компаниям отвечать вызовам цифровой экономики.
Всем добрый день!
Напоминаем про завтрашний онлайн ивент в рамках Клуба CDO.
Когда: 5 ноября, 19:00-20:30
Тема: «Как выстроить эффективные процессы управления качеством данных? Теория и практика»
Спикер: Светлана Бова, Управляющий директор, Вице-президент Департамента ИТ-архитектуры ПАО «ВТБ»
Ссылку на zoom запостим здесь завтра днём.
Напоминаем про завтрашний онлайн ивент в рамках Клуба CDO.
Когда: 5 ноября, 19:00-20:30
Тема: «Как выстроить эффективные процессы управления качеством данных? Теория и практика»
Спикер: Светлана Бова, Управляющий директор, Вице-президент Департамента ИТ-архитектуры ПАО «ВТБ»
Ссылку на zoom запостим здесь завтра днём.
❗️Друзья, нашу конференцию атаковали, мы вынуждены были прервать выступление Светланы.
Выступление перенесем на следующую неделю.
Если у вас есть предложения, как обезопаситься от атак, пожалуйста, напишите в комментариях.
Видимо, нам придется отказаться от размещения ссылки здесь, в публичном канале, чтобы больше такого не повторялось.
Светлана, сожалеем, что так произошло, будем искать более надежные варианты проведения онлайн ивента.
Выступление перенесем на следующую неделю.
Если у вас есть предложения, как обезопаситься от атак, пожалуйста, напишите в комментариях.
Видимо, нам придется отказаться от размещения ссылки здесь, в публичном канале, чтобы больше такого не повторялось.
Светлана, сожалеем, что так произошло, будем искать более надежные варианты проведения онлайн ивента.
Forwarded from Цифровая экономика
🔺Организация «Цифровая экономика» и Gartner 9 ноября 2020 года с 13:00 до 15:00 (мск) проведут онлайн-встречу с лидерами цифровой трансформации.
🔺В ходе мероприятия предусмотрена трансляция из Барселоны сессии «Gartner Opening Keynote: Seize the Moment to Compose a Resilient Future» и обсуждение топ-10 технологических трендов 2021 года.
🔺Вместе с CDO ведущих компаний и государства мы обсудим тренды цифровой трансформации в мире и в России в 2021 году.
🔺К участию в дискуссии приглашены ведущие лидеры цифровой трансформации России, а также представители федеральных органов исполнительной власти.
🔺Модераторы встречи: Евгений Ковнир, генеральный директор организации «Цифровая экономика», и Максим Григорьев, исполнительный партнер Gartner.
👉Посмотреть прямую трансляцию можно по ссылке (https://bit.ly/353cM9J) на YouTube-канале «Цифровая экономика».
#цифроваяэкономика
#цифроваясреда
🔺В ходе мероприятия предусмотрена трансляция из Барселоны сессии «Gartner Opening Keynote: Seize the Moment to Compose a Resilient Future» и обсуждение топ-10 технологических трендов 2021 года.
🔺Вместе с CDO ведущих компаний и государства мы обсудим тренды цифровой трансформации в мире и в России в 2021 году.
🔺К участию в дискуссии приглашены ведущие лидеры цифровой трансформации России, а также представители федеральных органов исполнительной власти.
🔺Модераторы встречи: Евгений Ковнир, генеральный директор организации «Цифровая экономика», и Максим Григорьев, исполнительный партнер Gartner.
👉Посмотреть прямую трансляцию можно по ссылке (https://bit.ly/353cM9J) на YouTube-канале «Цифровая экономика».
#цифроваяэкономика
#цифроваясреда
YouTube
CDO Leaders Meeting
Тренды цифровой трансформации от Gartner в мире и в России в 2021 году.Вместе с CDO ведущих компаний и государства мы обсудим тренды цифровой трансформации в...
Всем привет! Не могу не отметить оффтопик, но близкую мне новость 🙂
Проект “Цифровой профиль” стал лауреатом премии CNews AWARDS в номинации «Цифровой сервис года»
https://www.cnews.ru/news/line/2020-11-11_mintsifry_i_rt_labs_poluchili
Проект “Цифровой профиль” стал лауреатом премии CNews AWARDS в номинации «Цифровой сервис года»
https://www.cnews.ru/news/line/2020-11-11_mintsifry_i_rt_labs_poluchili
CNews.ru
Минцифры и «РТ Лабс» получили приз за лучший цифровой сервис года
Сервис запущен в мае 2020 г. совместно с Банком России
Я уже ранее писал про один из инструментов управления meta данными от компании Lyft и вот еще интересный обзор похожего инструмента от компании LinkedIn.
Не буду тут повторять то, что хорошо описано в статье, но замечу, что управление meta данными является важнейшей частью процесса управления данными в целом и обеспечивает возможность повторного использования данных, их систематизацию, dicoverability и тд.
Инструменты, подобные Amudsen и DataHub замечены практически в любой крупной компании. Четко видно, что “единороги” сами разрабатывают такие инструменты под себя, в то время как традиционные корпорации выбирают известных вендоров, по типу Informatica, лидеров Gartner и тд.
https://habr.com/ru/post/520930/
Не буду тут повторять то, что хорошо описано в статье, но замечу, что управление meta данными является важнейшей частью процесса управления данными в целом и обеспечивает возможность повторного использования данных, их систематизацию, dicoverability и тд.
Инструменты, подобные Amudsen и DataHub замечены практически в любой крупной компании. Четко видно, что “единороги” сами разрабатывают такие инструменты под себя, в то время как традиционные корпорации выбирают известных вендоров, по типу Informatica, лидеров Gartner и тд.
https://habr.com/ru/post/520930/
Хабр
DataHub: универсальный инструмент поиска и обнаружения метаданных
DataHub: универсальный инструмент поиска и обнаружения метаданных. Как оператор крупнейшей в мире профессиональной сети и экономического графика, отдел данных Li...
CDO Award 2020 - Платформа больших данных
Началась публикация серии интервью номинантов премии CDO Award и первый материал от Банка ВТБ и Ростелеком о совместном проекте “Платформа Больших Данных” (ПБД).
Пока информации относительно проделанной работы и достигнутых результатов крайне мало. Самым значимым результатом является намерение об инвестиции 1 млрд р в данное СП со стороны основных акционеров. Пока у СП нет выручки, защищенной стратегии (она разрабатывается в течении этого года) и конкретных продуктов. Так же нет информации, собственно, об “управлении данными”, методиках, практиках и результатах.
Из интересных планов можно отметить: ПБД это в первую очередь “бизнес”, а не “технология” (что бы не смущало слово Платформа в названии) и основная задача - генерация выручки в областях рекламы, геомаркетинга, финансовых продуктов и облачных сервисов. Есть планы по разработке платформы обмена данными и маркетплейса моделей.
В качестве технологий будут ориентироваться на OpenStack, такие как Apache Kafka, Airflow, Hadoop, HBASE, Kudu, Ignite, Tableu и прочие (хотя Tableau проприетарный продукт).
Продолжаем следить за развитием событий и ждем основных результатов в 2021 году!
https://www.computerworld.ru/cio/articles/061120-Platforma-bolshih-dannyh-tandem-VTB-i-Rostelekoma-na-rynke-big-data?fbclid=IwAR0oKyueXB5pH-S1KpSMfn1ffdXBSlZcWaJoUedn4Ayohm-0isypgZaWTaI
Началась публикация серии интервью номинантов премии CDO Award и первый материал от Банка ВТБ и Ростелеком о совместном проекте “Платформа Больших Данных” (ПБД).
Пока информации относительно проделанной работы и достигнутых результатов крайне мало. Самым значимым результатом является намерение об инвестиции 1 млрд р в данное СП со стороны основных акционеров. Пока у СП нет выручки, защищенной стратегии (она разрабатывается в течении этого года) и конкретных продуктов. Так же нет информации, собственно, об “управлении данными”, методиках, практиках и результатах.
Из интересных планов можно отметить: ПБД это в первую очередь “бизнес”, а не “технология” (что бы не смущало слово Платформа в названии) и основная задача - генерация выручки в областях рекламы, геомаркетинга, финансовых продуктов и облачных сервисов. Есть планы по разработке платформы обмена данными и маркетплейса моделей.
В качестве технологий будут ориентироваться на OpenStack, такие как Apache Kafka, Airflow, Hadoop, HBASE, Kudu, Ignite, Tableu и прочие (хотя Tableau проприетарный продукт).
Продолжаем следить за развитием событий и ждем основных результатов в 2021 году!
https://www.computerworld.ru/cio/articles/061120-Platforma-bolshih-dannyh-tandem-VTB-i-Rostelekoma-na-rynke-big-data?fbclid=IwAR0oKyueXB5pH-S1KpSMfn1ffdXBSlZcWaJoUedn4Ayohm-0isypgZaWTaI
Вестник цифровой трансформации | «Директор информационной службы»
«Платформа больших данных»: тандем ВТБ и «Ростелекома» на рынке big data
Максим Коновалихин, старший вице-президент, руководитель департамента анализа данных и моделирования банка «ВТБ», номинант премии CDO Award 2021, — о совместном предприятии с «Ростелекомом», его перспективах на рынке больших данных и о потенциальных возможностях…