​​#проITсистемы #mdm #мойопыт #капитаночевидность #мирвокруг

Про MDM - системы

Так, так, так, обещала писать про классы информационных систем и замоталась. 🙈 Исправляюсь!

Сегодня про MDM - системы, то есть Master Data Management, а не Московский дом молодежи 😂

Или система управления мастер-данными. Что же такое мастер-данные? Это бизнес-критичные данные. Какие такие критичные?) Данные о том, что нам приносит деньги. Если бы говорим про b2c, это конечно данные о клиентах, и всё вокруг их, если b2b может быть, что угодно персонал, материалы, производство и т.п.

В основе лежат данные об объектах бизнеса и вокруг них справочные данные, которые помогают описывать объекты.

Почему я от CRM перешла к MDM? Да потому что CRM нам даёт возможность выстраивать отношения с клиентами, а MDM хранить эталонные данные о клиентах.

Эволюция пошла в сторону MDM систем, по причине того, что данные о клиентах начали размазываться по всем ИТ-системам в ландшафте компании и в какой-то момент бизнес, по отчётам из той же CRM, не смогли принимать решения. Данные с большой погрешностью. И часто в компаниях возникают ситуации, когда даже посчитать количество клиентов невозможно, происходит задвоение, затроение.

Тут как раз и помогает MDM-система, которая не только собирает и накапливает данные о клиентах, но и очищает их, запуская процессы проверки наличия задвоения или затроения. Но это ещё не всё! В MDM-системах есть механизм выверки данных за счёт алгоритмов! Приведу пример работы одного из алгоритмов. Например, я звоню в колл-центр, и меня спрашивают ваше имя, я говорю Натася)))) Или просто оператор опечатался, и бабац вроде как должен появиться новый клиент Натася, живущий, например, в МАскве, по улице тардовского))) Алгоритмы MDM системы, поймут, что я Наташа из Москвы с улицы Твардовского. Поищут мою карточку, и убьют непонятные данные и пропишут все нужные связи со справочной информацией, в том числе и с КЛАДР. То есть мы получим эталонные данные по клиенту. Вжух и магия!!!

Мой любимый вопрос архитекторам, чем MDM система отличается от обычной учётной системы, или от хранилища так называемого НСИ? Ключевое отличие, это как раз наличие механизмов чистки данных, их выверки и развития умных алгоритмов. Обычная учетка, просто собирает, складирует, обновляет и раздаёт данные. А на что это всё похоже?))) Конечно на интеграционную шину. Не прямо конечно, а косвенно. Шина всё таки должна получить, обогатить, или изменить данные и передать. А MDM становится центром для всех других систем, раздаёт и принимает данные.

Когда я изучала тему рынка MDM систем, увидела такую штуку, что многие из них выросли как раз из интеграционных решений, например Talend MDM. Душе внутри Talend по своей админке напоминает интеграцию. Я не могу экспертно говорить о лидерах MDM решений, скажу то, что многие организации не понимают зачем они нужны им? И роют себе яму на самом старте, когда не только не собирают данные, но и не чистят их. Но при этом покупают крутые движки для отчётов))) А то что такие отчёты будут показывать информацию с большой погрешностью, мало кто думает, только на зрелом этапе развития компании, появляется подобная потребность. Если говорить про b2b, то часто заказчик, особенно госзаказчик не понимает зачем им MDM, им и справочников с учёткой вполне достаточно)
Но! Это кстати крутой показатель! 1С в своей линейке продуктов имеет MDM! Каково)))

#проITсистемы #пополочкам #mdm #etl #мирвокруг

Очень крутой комментарий был мне написан под постом про MDM- системы, что мол есть же еще ETL. Я задумалась, да так сильно, что как типичный аналитик пошла спрашивать своих знакомых экспертов-архитекторов, и читать статьи. Что же из этого получилось?)))

Итак, предлагаю разобраться в понятие ETL - расшифровка на английском Extract, Transform, Load - то есть, извлечение, преобразование, загрузка. Это системы, которые обеспечивают транспорт к хранилищу компании. ETL-процесс это термин, который приходит из Business Intelligence среды, и помогает в сборе и очистки данных для создания аналитической базы данных.

Всё очень похоже по описанию с MDM системой, и всё крутится вокруг интеграции, чем меня сильно путает)))
В англоговорящих источниках различие между ETL и MDM описывают с точки зрения целей. Что да, они могут друг друга дополнять, и ETL можно использовать как механизм доставки и преобразования информации, а MDM как механизм создания эталонной записи, дедупликация, версионирование данных, то есть первые за данные с точки зрения транспорта и очистки, а вторые с точки зрения бизнеса и логики. То есть получается, что и MDM и ETL участвуют в создание EIM - Enterprise Information Management- управление корпоративной информацией.

Уж не знаю, что появилось раньше, но похоже, что ETL как основной механизм работы с данными, далее его стало не хватать и пришел на помощь MDM, который при коллизиях информации спрашивает у человека, как поступать с эталонной "золотой" записью?

Картинка, которая мне понравилась показывает эволюцию хранилищ, где ETL есть и есть Data Quality Management, но потом появляется и MDM.

Источники:
Картинка вот отсюда - https://otr.ru/projects/univ/mdm/

https://chernobrovov.ru/articles/etl-chto-takoe-zachem-i-dlya-kogo.html

https://sourceforge.net/software/compare/Informatica-MDM-vs-SDTM-ETL/

https://www.cmswire.com/cms/information-management/forrester-links-structured-and-unstructured-information-in-new-eim-framework-021868.php

https://blog.semarchy.com/etl-vs-mdm