Anonymer Versicherungskonzern
Tätigkeit: Versicherungs- und Finanzlösungen für Privatpersonen und Unternehmen
Branche: Banken & Versicherungen
Mitarbeiterzahl: rund 114.000

Fachbereich: IT & Business Intelligence

vollständige
Success Story

HOME > BUSINESS CASE > IT & Business Intelligence

Skalierbare und automatisierte Datenpipeline für Versicherungskonzern

Die Projektherausforderung

Ein führendes Versicherungsunternehmen sah sich mit der Herausforderung konfrontiert, den täglichen Transfer von Daten aus dem bestehenden Data Warehouse in eine Snowflake-Umgebung zu meistern. Die Daten sollten automatisiert angereichert, geprüft und im JSON-Format an ein zentrales Empfangssystem übermittelt werden – unter Einhaltung gesetzlicher Anforderungen gemäß Geldwäschegesetz (GwG). 

Zusätzlich sollte eine Rückverarbeitung erfolgen: Eingehende Rückmeldungen des Empfängers sollten automatisiert interpretiert und direkt in Jira-Aufgaben überführt werden. Eine strukturierte Migration von 13 Monaten historischer Daten war ebenso Teil des Projekts. Besonders herausfordernd waren dabei die hohe Komplexität der noch im Aufbau befindlichen Systemlandschaft, die enge Projektlaufzeit und die sich während des Projekts verändernden Anforderungen. 

Unser Vorgehen

Zur Lösung dieser Anforderungen wurde eine skalierbare und automatisierte Datenpipeline innerhalb der Snowflake-Plattform entwickelt. Die Umsetzung erfolgte in mehreren Schritten: 

  • Architekturdesign & Technologieauswahl: Entwicklung der Architektur in enger Abstimmung mit dem Plattformteam.
  • Datenintegration & Transformation: Zusammenführung der DWH-Daten mit weiteren Quellen mittels Transformationsprozessen innerhalb von Snowflake.
  • Automatisierte Prozesssteuerung: Entwicklung von Steuerungsmechaniken und Scheduling der Prozesse zur Dateierstellung und -versand.
  • Implementierung von Konsistenzprüfungen: Direkte Integration der vom Versicherer definierten Prüflogiken in die Verarbeitungsstrecken.
  • JSON-Export & OpenShift-Integration: Implementierung des Exports über OpenShift und Generierung der JSON-Dateien.
  • Verarbeitung von Empfänger-Metadaten: Automatisierte Interpretation der Rückmeldungen des Empfängers zur Erstellung von Jira-Tasks.
  • Datenmigration: Einmalige Umwandlung historischer Daten (13 Monate) in die neue Zielstruktur.
  • Testing & Qualitätssicherung: Umfassende Tests aller entwickelten Komponenten und Prozesse zur Sicherstellung der Datenqualität.

Das Projekt erforderte umfassende Erfahrung im Bereich Cloud Data Warehousing sowie in der Entwicklung skalierbarer Datenprozesse. Zum Einsatz kamen unter anderem: 

  • Snowflake: Zentrale Plattform zur Speicherung, Transformation und Verarbeitung der Daten. 
  • JavaScript-Prozeduren in Snowflake: Implementierung der komplexen Logik zur Steuerung der Datenpipeline. 
  • Metadatenmodell: Automatische Generierung von Tabellenobjekten und Prozessen zur flexiblen Erweiterbarkeit. 
  • OpenShift: Schnittstelle zur Bereitstellung der JSON-Dateien und zur Generierung von Jira-Tasks. 
  • Jira: Automatisierte Erstellung von Aufgaben basierend auf den Rückmeldungen des Empfängers. 

 

Expertise

Ergebnis und Nutzen für den Kunden

Im Rahmen des Projekts wurde eine vollautomatisierte Datenlösung etabliert, die eine tägliche, zuverlässige und qualitätsgesicherte Übermittlung von angereicherten Daten an einen externen Empfänger ermöglicht. Die automatisierten Prozesse sorgen für eine hohe Effizienz und reduzieren manuelle Aufwände erheblich. 

Durch den Einsatz eines flexiblen Metadatenmodells ist die Lösung langfristig skalierbar und kann bei veränderten Anforderungen einfach erweitert werden. Integrierte Konsistenz- und Qualitätsprüfungen stellen sicher, dass ausschließlich valide Daten verarbeitet und versendet werden. Fehlerhafte Datensätze werden automatisch identifiziert, ausgeschlossen und separat behandelt. 

Die Rückmeldungen des Empfängers werden systematisch ausgewertet und direkt in strukturierte Aufgaben überführt, die über Jira in den internen Bearbeitungsprozess einfließen. Das verbessert die Reaktionsfähigkeit und schafft Transparenz in der Bearbeitung.  

Technologie-Übersicht

Erfolgreiche Business Cases

Lassen Sie uns gemeinsam starten!

Wir konzipieren maßgeschneiderte
Lösungen für Ihre Bedürfnisse.

Wir begleiten Sie mit vielfältigen und maßgeschneiderten Lösungen auf dem Weg zur data driven company.
Lassen Sie uns gemeinsam herausfinden, wo Sie mit Ihrer Organisation stehen und wie wir sie bestmöglich unterstützen können

Scott Scott Nelson

CCO

+49 151 29163643

scott.nelson@areto.de