#проITсистемы #пополочкам #mdm #etl #мирвокруг
Очень крутой комментарий был мне написан под постом про MDM- системы, что мол есть же еще ETL. Я задумалась, да так сильно, что как типичный аналитик пошла спрашивать своих знакомых экспертов-архитекторов, и читать статьи. Что же из этого получилось?)))
Итак, предлагаю разобраться в понятие ETL - расшифровка на английском Extract, Transform, Load - то есть, извлечение, преобразование, загрузка. Это системы, которые обеспечивают транспорт к хранилищу компании. ETL-процесс это термин, который приходит из Business Intelligence среды, и помогает в сборе и очистки данных для создания аналитической базы данных.
Всё очень похоже по описанию с MDM системой, и всё крутится вокруг интеграции, чем меня сильно путает)))
В англоговорящих источниках различие между ETL и MDM описывают с точки зрения целей. Что да, они могут друг друга дополнять, и ETL можно использовать как механизм доставки и преобразования информации, а MDM как механизм создания эталонной записи, дедупликация, версионирование данных, то есть первые за данные с точки зрения транспорта и очистки, а вторые с точки зрения бизнеса и логики. То есть получается, что и MDM и ETL участвуют в создание EIM - Enterprise Information Management- управление корпоративной информацией.
Уж не знаю, что появилось раньше, но похоже, что ETL как основной механизм работы с данными, далее его стало не хватать и пришел на помощь MDM, который при коллизиях информации спрашивает у человека, как поступать с эталонной "золотой" записью?
Картинка, которая мне понравилась показывает эволюцию хранилищ, где ETL есть и есть Data Quality Management, но потом появляется и MDM.
Источники:
Картинка вот отсюда - https://otr.ru/projects/univ/mdm/
https://chernobrovov.ru/articles/etl-chto-takoe-zachem-i-dlya-kogo.html
https://sourceforge.net/software/compare/Informatica-MDM-vs-SDTM-ETL/
https://www.cmswire.com/cms/information-management/forrester-links-structured-and-unstructured-information-in-new-eim-framework-021868.php
https://blog.semarchy.com/etl-vs-mdm
Очень крутой комментарий был мне написан под постом про MDM- системы, что мол есть же еще ETL. Я задумалась, да так сильно, что как типичный аналитик пошла спрашивать своих знакомых экспертов-архитекторов, и читать статьи. Что же из этого получилось?)))
Итак, предлагаю разобраться в понятие ETL - расшифровка на английском Extract, Transform, Load - то есть, извлечение, преобразование, загрузка. Это системы, которые обеспечивают транспорт к хранилищу компании. ETL-процесс это термин, который приходит из Business Intelligence среды, и помогает в сборе и очистки данных для создания аналитической базы данных.
Всё очень похоже по описанию с MDM системой, и всё крутится вокруг интеграции, чем меня сильно путает)))
В англоговорящих источниках различие между ETL и MDM описывают с точки зрения целей. Что да, они могут друг друга дополнять, и ETL можно использовать как механизм доставки и преобразования информации, а MDM как механизм создания эталонной записи, дедупликация, версионирование данных, то есть первые за данные с точки зрения транспорта и очистки, а вторые с точки зрения бизнеса и логики. То есть получается, что и MDM и ETL участвуют в создание EIM - Enterprise Information Management- управление корпоративной информацией.
Уж не знаю, что появилось раньше, но похоже, что ETL как основной механизм работы с данными, далее его стало не хватать и пришел на помощь MDM, который при коллизиях информации спрашивает у человека, как поступать с эталонной "золотой" записью?
Картинка, которая мне понравилась показывает эволюцию хранилищ, где ETL есть и есть Data Quality Management, но потом появляется и MDM.
Источники:
Картинка вот отсюда - https://otr.ru/projects/univ/mdm/
https://chernobrovov.ru/articles/etl-chto-takoe-zachem-i-dlya-kogo.html
https://sourceforge.net/software/compare/Informatica-MDM-vs-SDTM-ETL/
https://www.cmswire.com/cms/information-management/forrester-links-structured-and-unstructured-information-in-new-eim-framework-021868.php
https://blog.semarchy.com/etl-vs-mdm
Chernobrovov.ru
ETL: что такое, зачем и для кого - Алексей Чернобровов