Master Data Management в сетях данных

Если даннык для вас действительно важны, рассмотрите возможность использования MDM

Предприятия, использующие сетчатую архитектуру данных, обычно имеют большое множество доменов, каждый со своими собственными системами и данными. Это означает повышенную сложность, поскольку данные разбросаны по всему миру и может существовать несколько версий одних и тех же данных. Интеграция, например, обеспечивающая 360-градусный обзор ваших клиентов, следовательно, требует больше усилий, поскольку требует от вас интеграции и согласования всех различных независимых частей одних и тех же данных из разных доменов. Другая проблема заключается в том, что данные могут быть противоречивыми в контекстах между различными областями, и могут быть различия в уровнях качества данных. Чтобы решить эти проблемы, вам следует применить управление основными данными (MDM) в рамках вашей архитектуры сетки данных.

Управление основными данными в доменно-ориентированной архитектуре работает по-другому из-за его распределенной природы. Согласованности добиться сложнее, потому что вы полагаетесь на управление основными данными в своих доменах.

Если данные быстрые и изменчивые, разбейте их на более мелкие части и оставьте на усмотрение доменов. Если данные стабильны и это действительно важно, рассмотрите возможность использования MDM.

Master Data Management, ориентированное на предметную область

Хотя многие решения MDM могут управлять как справочными, так и основными данными, я рекомендую четко разграничивать их. Справочные данные ‐ это данные, используемые для определения, классификации, организации, группировки или категоризации других данных (или иерархии значений, например, связей между продуктовыми и географическими иерархиями). Основные данные, напротив, касаются основных концепций. Каждый тип обычно управляется по-разному.
Справочные данные

Один из подходов к обеспечению согласованности данных между доменами заключается в том, чтобы при распространении информационных продуктов ваши домены соответствовали справочным данным, управляемым централизованно. Коды валют, коды стран или коды продуктов часто являются обычными подозреваемыми. Эти списки справочных данных публикуются, например, в главном хранилище данных или центральном хранилище. Когда какой-либо из ваших доменов распространяет продукты данных между другими доменами, то есть на другие домены, домены используют корпоративные ссылочные идентификаторы из корпоративных справочных данных для классификации данных. Сопоставление локальных данных с корпоративными данными позволяет другим доменам быстро распознавать обработанные данные в продуктах обработки данных. Эта операция сопоставления также означает, что доменам необходимо выполнять поиск или обмен централизованно управляемыми справочными данными, чтобы знать, какие локальные данные необходимо сопоставить с центральными основными данными.

Основные данные

Для основных данных подход немного отличается. Важным аспектом основных данных являются основные идентификационные номера, которые связывают основные данные и данные из ваших доменов вместе. Эти элементы данных имеют решающее значение для отслеживания того, какие данные были обработаны и что относится друг к другу. Идентификация уникальных данных и присвоение основных идентификаторов могут выполняться только централизованно, а не локально внутри систем. Это требует объединения ваших основных данных из разных систем в решение MDM.

Master Data Management Domain https://trust-space.ru/glossary/master-data-management-mdm/

При группировании действий MDM и использовании основного хранилища данных в качестве централизованных хранилищ вы также можете создавать новые домены MDM. Такой домен MDM относится к конкретному субъекту данных, на котором сосредоточена идентификация и управление основными данными. Хорошо известными примерами являются клиенты, продукты, географическое местоположение, финансы и риски, а также данные о сотрудниках. Ожидается, что обработанные данные из этих доменов MDM найдут свой путь обратно в домены.

Распределение этих данных аналогично тому, как распределяются информационные продукты.

Вы могли бы расширить сферу управления основными данными и разрешить различные подходы к распределению продукта данных. Например, некоторые продукты данных в пределах определенной области не обязательно должны соответствовать основным данным предприятия, в то время как продукты данных, распространяемые за пределами области, должны соответствовать. Или вы применяете этот шаблон наоборот: только в пределах определенной области требуется строгое соблюдение.

Основные идентификационные номера

Выявление и поддержание взаимосвязей важны для понимания не только того, какие данные были обработаны, но и того, какие данные можно быстро связать с другими данными. Если локальные (доменные) ключи в операционной системе изменяются, единственным элементом, который связывает все вместе, будет главный идентификатор. Таким образом, рекомендуется также создать циклы обратной связи от вашего решения MDM к вашим местным администрациям.

При распространении основных идентификаторов рекомендуется не экстраполировать основные идентификаторы MDM на все исходные системы, что может привести к проблемам несогласованности. Только приложения или системы, на которые распространяется область управления основными данными, должны получать главный идентификатор из концентратора MDM. Системы, на которые не распространяется MDM, должны использовать свою собственную локальную (доменную) целостность.

Master Data Management на уровне домена

Когда вы ищете перекрывающиеся данные, вы, скорее всего, обнаружите разную степень перекрытия. Некоторые данные являются общими и охватывают множество доменов; другие данные имеют ограниченное перекрытие и охватывают лишь несколько доменов. Чтобы определить важность и степень перекрытия, вы также можете расширить MDM до MDM на уровне домена, создав частичные представления основных данных в определенной области. Это полезно для данных, которые совместно используются некоторыми, но не всеми доменами.

Domain-level Master Data Management (Credits: Piethein Strengholt)

Для перекрывающихся доменов важно управлять своими данными, но не иметь централизованной зависимости. Решения MDM в этом отношении лучше всего предлагать в качестве услуги. Абстрагирование инфраструктуры и предоставление MDM в качестве сервиса для ваших доменов может значительно упростить использование. Если вы используете централизованную инфраструктуру MDM, рекомендуется применять отдельные представления для каждого из ваших отдельных доменов или областей.
Достижение согласованности MDM с помощью повторно используемых компонентов

Другим способом совместной работы и повторного использования основных данных является совместное использование кода. Здесь совместно используются не основные данные, а базовый код (фрагменты и скрипты) для генерации выходных данных и содействия эффективному повторному использованию. Этот код хранится в центральном и открытом репозитории, включая управление версиями, что позволяет командам домена вносить свой вклад и улучшать то, что было опубликовано.

Преимущество этой модели заключается в том, что бизнес-логика применяется только в пределах доменов, что позволяет командам отклоняться, вносить улучшения или использовать слегка оптимизированные версии логики по своему усмотрению. Кроме того, эти выходные данные могут быть восстановлены по мере того, как улучшения от сообщества попадают в центральное хранилище кода. Одним из недостатков этой модели является согласованность, поскольку разрешение командам изменять свой код может затруднить сравнение результатов между командами.

Следующие шаги

Важность управления основными данными очевидна: пользователи могут принимать правильные решения только в том случае, если используемые ими данные являются последовательными и правильными. MDM обеспечивает согласованность и качество на междоменном уровне. Организациям необходимо найти баланс. Введение слишком большого количества областей основных данных или эталонных значений приведет к слишком большому междоменному выравниванию. Отсутствие корпоративных данных вообще делает невозможным сравнение каких-либо результатов.

Практический способ начать внедрение MDM в вашей организации - начать с самого простого способа управления основными данными: внедрения хранилища. С помощью репозитория вы можете быстро повысить ценность, узнав, какие данные необходимо выровнять или имеют плохое качество, без настройки какой-либо из ваших доменных систем.

Следующим шагом будет настройка более четкой области действия. Не попадайте в ловушку объединения корпоративных данных, выбирая все данные. Начните с объектов, которые приносят наибольшую ценность, таких как клиенты, контракты, организационные подразделения или продукты. Выберите только самые важные поля для освоения. Количество атрибутов должно исчисляться десятками, а не сотнями. После того, как вы пришли к соглашению со своими доменами, согласуйте процессы и управление. Сделайте ваши соглашения о сроках и отзывах понятными для всех доменов. Также работайте с метаданными, чтобы основные данные были каталогизированы, домены знали, какие элементы данных из каких исходных систем являются кандидатами, и как эти элементы проходят через конвейеры данных.

Последний шаг, который является конечной целью, заключается в достижении сосуществования: когда улучшения поступают непосредственно обратно в ваши домены. Этот шаг является самым сложным, поскольку он требует многих изменений в архитектуре. Домены должны быть способны обрабатывать исправления и улучшения, поступающие от централизованно управляемого решения MDM.

Источник: towardsdatascience.com

Комментарии: