Data Mesh ist ein neuer Ansatz fürs Datenmanagement, der auf Domain-Driven Design basiert. Es behebt Schwachstellen, die in Data Warehouses und Data Lakes zu Fehlern geführt haben.

In Datenlandschaften von Unternehmen werden heute immer mehr Daten generiert. Gleichzeitig wächst der Wunsch, den Wert von Daten für grundlegende und erweiterte Analytics-Anwendungen nutzbar zu machen. Datenorganisationen und Datenarchitekturen werden den neuen Anforderungen im Bereich Data Analytics und Data Science jedoch noch nicht gerecht. Durch die Komplexität und Größe von Unternehmen ist eine Situation entstanden, in der die Agilität und Immunität, mit der Unternehmen aus Daten Wert schaffen können, abnimmt – sofern der Datenmanagement-Ansatz nicht geändert wird.

Einschränkungen etablierter Datenplattform-Architekturen

Datenplattform-Architekturen folgen seit Jahrzehnten monolithischen Mustern wie etwa Data Warehouses, komplexen Data Lakes oder Data Lakehouses. All dies wird normalerweise von einem Team von Spezialisten verwaltet, die sich um die Datenlandschaft und ihre Pipelines kümmern. Dieses Team von Datenspezialisten muss sich mit Data Ownern, Experten aus den Fachabteilungen und Personen, die Anforderungen stellen, abstimmen, um bestimmte Datensätze bereitzustellen. Die Mitglieder dieses Teams haben ein sehr spezifisches Profil: Sie müssen Daten verstehen, sich mit den Experten aus den Fachabteilungen austauschen und in der Lage sein, die Data Pipelines und -strukturen in das spezifische System zu implementieren. Genau hier liegt der Engpass in der heutigen Datenorganisation. Außerdem führt die Zentralisierung von Daten in der Data-Warehousing-Schicht oft zu komplexen Datenstrukturen, die immer schwieriger zu pflegen und zu verwalten sind, je länger diese Schicht besteht.

Schichten einer traditionellen zentralisierten Data-Warehouse-ArchitekturAbbildung 1: Schichten einer traditionellen zentralisierten Data-Warehouse-Architektur

Was ist das Data Mesh?

Das Konzept des Data Mesh bricht mit bestehenden Mustern, um zu verhindern, dass nicht (ausreichend) gemanagte, vernachlässigte und überladene Data Lakes, sogenannte Datensümpfe, entstehen (mehr dazu in diesem Artikel). Die monolithischen zentralisierten Datenarchitekturen werden nach einem Ansatz neu organisiert, der auf Domain-Driven Design basiert. Um dies zu erreichen, wird die Ownership für die Daten dezentralisiert und Domänen zugewiesen, deren Teams mit den Daten am besten vertraut sind; sie kontrollieren die Daten ab der Entstehung. Andere Parteien im Unternehmen können die ihnen von der verantwortlichen Domäne zur Verfügung gestellten Daten gebrauchsfertig als Datenprodukte konsumieren. Es ist die Aufgabe der funktionsübergreifenden Domänenteams, die Datenprodukte aus Geschäftssicht zu definieren, Data Pipelines zu implementieren und skalierbare Endpunkte bereitzustellen, die über modulare Schnittstellen zugänglich sind. Auf diese Weise wird der Prozess effizienter, denn die Funktionalität der etablierten Pipelines zwischen den datenerzeugenden operativen Ebenen, zentralisierten Datenbanken und der analytischen Schicht wird in die Verantwortlichkeit der Domänen verlagert.

Beispiel: Domänenarchitektur für ein Pharmaunternehmen

Abbildung 2 zeigt beispielhaft, wie eine Domänenarchitektur für ein Pharmaunternehmen aussehen könnte. Beispielsweise war die kaufmännische Domäne bisher für die operative Funktionalität „Sales Distribution“ im ERP-System zuständig und somit bereits vor der Data-Mesh-Implementierung mit den Kundenauftragsdaten vertraut. Im Kontext des Data Mesh wird die Verantwortung der Domäne erweitert, um ihre Daten anderen Verbrauchern im gesamten Unternehmen als Datenprodukte zur Verfügung zu stellen, z.B. das „Sales Order Data Product“. Es wird ein oder mehrere Teams geben, die dafür verantwortlich sind, die Datenprodukte durch definierte Datenendpunkte (in Abb. 2 mit „A“ gekennzeichnet) mit einem definierten Servicelevel und einer definierten Qualität bereitzustellen. Andererseits könnte beispielsweise die Fertigungsdomäne das „Sales Forecast Data Product“ verwenden, um ihr „Material Planning“ in das ERP-System einzuspeisen und eine Materialprognose zu erstellen, die dann als „Material Forecast Data Product“ verfügbar gemacht wird.

Beispiel einer Domänenarchitektur für ein PharmaunternehmenAbbildung 2: Beispiel einer Domänenarchitektur für ein Pharmaunternehmen

Datenprodukte unterteilen die Datenarchitektur in unabhängig einsetzbare Teilmengen, die die folgenden Aspekte umfassen:

  1. Code, der die Daten des Datenprodukts transformiert, bereitstellt und
  2. Polyglot Data“ und ihre Metadaten, also Daten, die je nach Quelle und Typ in verschiedenen Formaten (relationale Tabellen, Grafiken, Ereignisse usw.) vorliegen können, wobei die gleiche Semantik beibehalten wird.
  3. Infrastruktur, die das Erstellen, Bereitstellen und Ausführen des Codes, der Speicherung und des Zugriffs auf Big Data und Metadaten des Datenprodukts ermöglicht.

Daten als Produkt können nur dann Mehrwert generieren und die Verwendung durch ihre Nutzer (z.B. Datenanalysten, Datenwissenschaftler) erleichtern, wenn sie auffindbar, adressierbar, vertrauenswürdig, selbstbeschreibend, interoperabel und sicher sind. Daher braucht es eine Self-Service-Datenplattform, mit der Produkt Owner ein hohes Maß an Interoperabilität und Interkonnektivität zwischen Datenprodukten herstellen können. Gleichzeitig verbirgt diese zentralisierte Plattform die Komplexität der zugrunde liegenden Infrastruktur vor den Domänenteams. Dies ist von entscheidend, da sich die Technologiestacks von Big Data einerseits und operativen Plattformen andererseits auseinanderentwickelt haben. Schließlich muss ein neuer gemeinschaftlicher Ansatz etabliert werden, der die Einigung auf globale Regeln und Richtlinien unterstützt. Damit bleiben verteilte Daten sicher, kontrolliert und interoperabel. Gleichzeitig müssen Unternehmen versuchen, die Autonomie der Domäne bei der Entscheidungsfindung zu wahren.

Data Mesh: Data als Product, nicht nur als Asset

Zusammenfassend lässt sich sagen, dass das Konzept des Data Mesh Daten als Produkt und nicht als Vermögenswert interpretiert. Dadurch werden Daten wertvoller und im gesamten Unternehmen nutzbar. Zudem ermöglicht das Data Mesh folgende Verschiebungen zwischen den unterschiedlichen Unternehmensdimensionen:

  • Organisatorisch findet ein Übergang von einem zentralisierten Eigentum an den Daten zu einer dezentralisierten Data-Ownership-Struktur statt. Damit ermöglicht das Data Mesh den direkten Peer-to-Peer-Austausch von Analytics-Daten, sodass Benutzer die Daten aus der Ursprungsdomäne direkt durchsuchen und verwenden können.
  • Architektonisch umgeht das Data Mesh die monolithischen Data Lakes und Data Warehouses und verbindet Daten über ein verteiltes Netz, das auf mehreren unabhängig voneinander einsetzbaren und über Fernzugriffsprotokolle verbundenen Einheiten basiert.
  • Technologisch werden Lösungen Daten zunehmend als eine lebendige, autonome Einheit behandeln, anstatt sie als Nebenprodukt des laufenden Pipeline-Codes zu sehen.
  • Operativ ändert das Data Mesh die Datenverwaltung von einem zentralisierten Top-down-Modell zu einem föderalen Modell mit globalen Richtlinien.

Wie profitiert Ihr Unternehmen vom Data Mesh?

Wann ist es sinnvoll, Data Mesh in Ihre Datenlandschaft einzubinden? Wie oben erwähnt, besteht der Ansatz von Data Mesh darin, mit der kontinuierlich steigenden Datenmenge und Komplexität von Organisationen mitzuhalten. Ihr Unternehmen sollte so operieren, dass die Dezentralisierung das Potenzial hat, Ihre Datenarchitektur zu verbessern, und nicht zu unnötiger Komplexität führt. Eine multi-heterogene verstreute Systemlandschaft, zunehmend komplexe Datenstrukturen, große Datenmengen (wie Sensordaten) und eine vielfältige Gruppe von Datenkonsumenten können Ergebnisse der Veränderung sein, die Daten „at scale“ zugänglich macht. Darüber hinaus müssen Sie mit erheblichen Betriebskosten für die Erstellung prozessübergreifender Erkenntnisse rechnen.

Beim Zusammenführen von Process und Data Governance kann Data Mesh Ihr Unternehmen unterstützen, indem es die Komplexität durch Zerlegung der Architektur in kleinere Teile reduziert. Priorität für eine Datendemokratisierung und das Streben nach Data Governance als Kernaktivität tragen dazu bei, Datensilos in Ihrem Unternehmen zugänglich zu mache. Sie könnten den Wechsel zum Data Mesh auch in Betracht ziehen, wenn der Informationszyklus in Monaten oder Wochen statt in Tagen oder Stunden gemessen wird.

Kenntnisse und Fähigkeiten zur Implementierung von Data Mesh

Ein Data Mesh behebt die Problempunkte und die zugrunde liegenden Merkmale, die bei älteren Generationen von Data Warehouses und Data Lakes zu Fehlern geführt haben. Daher schlagen wir vor, auf dieses völlig neue Architekturmuster umzusteigen. Die Implementierung in jede bestehende Datenlandschaft (und auch beim Rollout im Greenfield) erfordert ein tiefes Verständnis und eine gut bestückte Toolbox. Diese Technologien und ihre richtige Kombination für jedes einzelne Unternehmen erfordern Wissen und Know-how auf höchstem Niveau. Sie legen die Grundlage, um Daten in Wert zu verwandeln.

 

 

S/HANA Studie Banner

SAP S/4: Studie zur Transformation

Die Studie „Erwartungen an S/4HANA in 2022" von techconsult und CamelotITLab zeigt Stolpersteine der Migration und wie sie vermieden werden können. Mit Daten von 200 Unternehmen aus Deutschland.

Hier geht es zum Download

Empfohlene Artikel

New Now in Organizations

Automatierungshindernisse im Einkauf überwinden

Dass der Einkauf seit den 90er Jahren zunehmend als strategische Einheit betrachtet wird, die über Kosteneinsparungen hinaus Mehrwert generieren kann, haben …

weiterlesen
Supply Chain Management

Der Digitale Zwilling in der Supply Chain: Technische Grundlagen und Umsetzungshürden

Was benötigen produzierende Unternehmen, um Digitale Zwillinge in ihrer Supply Chain umsetzen zu können? Und welche Fallstricke gibt es …

weiterlesen
MDG

AI in SAP MDG: Revolution im Master Data Management

Während Laien mit künstlicher Intelligenz (KI) meist Roboter in Fabrikhallen verbinden, vollzieht sich im Stammdatenmanagement eine schleichende Revolution. Als …

weiterlesen

Denken Sie Ihre Value Chain neu mit uns

Kontaktieren Sie uns