Наташа Косинова. Варю айти СУП
2.3K subscribers
57 photos
3 videos
8 files
316 links
Я системный аналитик, тимлид, ментор, тренер и автор айти курсов. Работаю в айти сфере с 2006 года. Мой канал про айти, без лапши успешного успеха. Варю айти СУП здорового человека)

Мои услуги:
https://nkosinova.taplink.ws

Написать мне @tasha_kvitka
Download Telegram
#проITсистемы #пополочкам #mdm #etl #мирвокруг

Очень крутой комментарий был мне написан под постом про MDM- системы, что мол есть же еще ETL. Я задумалась, да так сильно, что как типичный аналитик пошла спрашивать своих знакомых экспертов-архитекторов, и читать статьи. Что же из этого получилось?)))

Итак, предлагаю разобраться в понятие ETL - расшифровка на английском Extract, Transform, Load - то есть, извлечение, преобразование, загрузка. Это системы, которые обеспечивают транспорт к хранилищу компании. ETL-процесс это термин, который приходит из Business Intelligence среды, и помогает в сборе и очистки данных для создания аналитической базы данных.

Всё очень похоже по описанию с MDM системой, и всё крутится вокруг интеграции, чем меня сильно путает)))
В англоговорящих источниках различие между ETL и MDM описывают с точки зрения целей. Что да, они могут друг друга дополнять, и ETL можно использовать как механизм доставки и преобразования информации, а MDM как механизм создания эталонной записи, дедупликация, версионирование данных, то есть первые за данные с точки зрения транспорта и очистки, а вторые с точки зрения бизнеса и логики. То есть получается, что и MDM и ETL участвуют в создание EIM - Enterprise Information Management- управление корпоративной информацией.

Уж не знаю, что появилось раньше, но похоже, что ETL как основной механизм работы с данными, далее его стало не хватать и пришел на помощь MDM, который при коллизиях информации спрашивает у человека, как поступать с эталонной "золотой" записью?

Картинка, которая мне понравилась показывает эволюцию хранилищ, где ETL есть и есть Data Quality Management, но потом появляется и MDM.

Источники:
Картинка вот отсюда - https://otr.ru/projects/univ/mdm/

https://chernobrovov.ru/articles/etl-chto-takoe-zachem-i-dlya-kogo.html

https://sourceforge.net/software/compare/Informatica-MDM-vs-SDTM-ETL/

https://www.cmswire.com/cms/information-management/forrester-links-structured-and-unstructured-information-in-new-eim-framework-021868.php

https://blog.semarchy.com/etl-vs-mdm