Migration des Data Warehouse ermöglicht dezentrale Datenarchitektur
Ziel der GLS ist es, datengetrieben richtige Entscheidungen im Sinne des Kunden zu treffen. Um dieses Ziel erreichen zu können, musste zunächst die BI-Plattform umgestellt werden. Hierbei hat die GLS sich an drei zentralen Leitlinien orientiert:
- Cloud ist der Enabler: Aufbau einer Cloud-basierten Architektur beginnend mit der DWH-Migration zu Snowflake, einer Cloud-Lösung für Data Warehouses
- Daten sind der Treiber: Erweiterung der bestehenden großen Datengrundlage hin zu Near-Realtime-Daten
- AI macht den Unterschied: Gewinnung neuer Erkenntnisse und optimierte Entscheidungsfindung mithilfe von AI-basierten Predictions
Die Wahl des richtigen Tools stellt dabei für die GLS einen wesentlichen Erfolgsfaktor dar. Durch die Umstellung des Data Warehouse zu Snowflake konnte die Zuverlässigkeit und Performance der Datenplattform deutlich erhöht werden. Aufgrund des stark verringerten Wartungsaufwands steht nun mehr Kapazität für die Entwicklung neuer Features zur Verfügung. Auch die Betriebskosten konnten unter anderem durch den verringerten Betriebsaufwand reduziert werden.
Zudem wurde die Sicherheit der Infrastruktur durch eine bessere Verschlüsselung und zentrale Sicherheitsupdates von Snowflake erhöht. Es ist außerdem möglich, Snowflake mit verschiedenen Cloud-Plattformen zu nutzen und über APIs andere Systeme anzubinden. Eine verteilte Datenpipeline kann über die Daten-Streaming-Plattform Apache Kafka angebunden werden. Insgesamt konnte ein stabileres, effizienteres sowie flexibleres Data Warehouse realisiert werden, dass GLS schließlich den Aufbau einer dezentralen Datenarchitektur ermöglichte.
Data Mesh-Ansatz bildet Rahmen für dezentrale Analytics-Landschaft
Die Analytics-Landschaft der GLS basiert auf der Kombination von den drei Ansätzen Platform-as-a-Product, Team Topologies und Data Mesh, die sich zur GLS-spezifischen Data Mesh-Ausprägung (DataMesh@GLS) zusammenfügen.
Das Data Mesh-Konzept hat das Ziel, die Agilität im Umgang mit Daten zu erhöhen und Bottlenecks zu vermeiden. Es beinhaltet die Idee, dass die Verantwortung für Daten dezentral auf einzelne Domänen aufgeteilt ist. Die Datenplattform stellt Funktionen bereit, die es den Domänen-Teams ermöglicht, unter Einhaltung von zentralen Standards und Best Practices eigenständig Datenprodukte zu entwickeln und zu pflegen. Zudem werden Daten als Produkt gesehen ("Data-as-a-product"), sodass der Mehrwert der Daten für den Kunden bzw. Nutzer in den Vordergrund gerückt wird.
Data Mesh lässt sich effektiv mit dem Team Topologies-Ansatz verbinden, an dem sich GLS für die Organisation ihres BI-Teams orientiert. Hierbei entwickeln cross-funktionale Produktteams möglichst autark und in hoher Geschwindigkeit Lösungen für ihre internen Kunden. Durch diesen Ansatz soll die Deployment-Frequenz erhöht, die Teamkultur gefördert und die Zusammenarbeit zwischen den Teams und Abteilungen verbessert werden (vgl. hierzu obige Grafik).
BI-Plattform bei GLS
Die Komponenten der BI-Plattform werden bei GLS als Produkte verstanden. Die Plattform ermöglicht den Nutzern, ihre Arbeit autonom durch Self-Service und wiederverwendbare Funktionen zu erledigen, wobei die Zusammenarbeit auf die Bereitstellung und Nutzung zuverlässiger Services reduziert ist. Bei der Weiterentwicklung des Service-Portfolios ist eine enge Kollaboration notwendig. Das Plattform-Team unterstützt die Nutzung der Plattform-Services durch "Enabling" bei fehlenden Skills und Kompetenzen.
Technisch basiert das DataMesh@GLS auf einer verteilten Architektur. Die zentrale "Raw Data Platform" wird mit Daten aus unterschiedlichen Quellsystemen befüllt. Die dezentralen Team-Datenbanken der Self-Serve-Datenplattform werden wiederum aus der "Raw Data Platform" gespeist und bilden die Grundlage für die Datenprodukte der Produktteams, die in einem Datenkatalog registriert werden. Die Machine Learning-Plattform ist sowohl an die "Raw Data Platform" als auch an die Team-Datenbanken angebunden.
DataMesh@GLS ermöglicht eine agile und effektive Datennutzung und stellt die Skalierungsfähigkeit der Datenlandschaft sicher. Zudem ebnet die dezentrale Analytics-Landschaft den Weg für eine gewinnbringende Nutzung von Künstlicher Intelligenz bei der GLS.
GenAI ermöglicht das "Sprechen" mit den Daten
Als Nutzer-Schnittstelle zu den Daten kann bei GLS der GenAI-basierte Chat-Bot "Dot." genutzt werden. Statt mühsam eine Datenabfrage zu schreiben und eine passende Visualisierung zu erstellen, können Nutzer nun beispielsweise unmittelbar fragen: "Wie viele Pakete wurden in den letzten 3 Monaten täglich in Deutschland zugestellt?". Basierend auf den GLS-Daten antwortet "Dot." direkt mit einer passenden Auswertung.
Um die richtigen Antworten auf Fragen dieser Art zu liefern, musste "Dot." jedoch zunächst für GLS konfiguriert werden. Hierzu wurden die zugrundeliegenden Modelle an die GLS-Domäne angepasst und mit GLS-Daten nachtrainiert. Alle Daten verbleiben bei GLS und werden innerhalb des Systems abgefragt.
Mensch, Plattform und AI müssen zusammenwirken
Bei GLS konnte die Data Performance im Unternehmen durch die Einführung einer dezentralen Analytics-Landschaft deutlich gesteigert werden. Außerdem kann man nun durch den GLS-Chatbot tatsächlich mit Daten "sprechen". Entscheidend für diesen Erfolg ist aus Sicht des Unternehmens eine verlässliche Datenplattform, die wenig Wartungsaufwand bedarf.
Zudem ist für GLS klar, dass Data Mesh nur dann in der Praxis funktionieren kann, wenn die Grundsätze Self-Service, dezentrale Ownership und Data-as-a-Product nicht nur festgeschrieben sondern auch gelebt werden.
Bei der Arbeit mit AI-Tools ist für GLS wichtig, dass Mensch und AI zusammenwirken. AI kann effizient wertvolle Erkenntnisse liefern, jedoch sollten die Ergebnisse auch kritisch hinterfragt werden. Außerdem sollte auch außerhalb von AI-Methoden nach Problemlösungen gesucht werden, denn nicht für jede Aufgabe ist AI oder GenAI das richtige Werkzeug.
Über den Referenten:
Dirk Herzog ist Senior Manager im Product Management Business Analytics bei der GLS IT Services GmbH
