Der World of Data 2025
Erlebe DAS Datenevent des Jahres!
Von On-Premises zu AWS Redshift: Erfolgreiche DWH-Migration mit Weitblick
EOS Technology Solutions (TS) ist der interne IT-Dienstleister der EOS-Gruppe. Das Unternehmen der OTTO Group ist im Bereich Forderungsmanagement tätig. Als zentrale Servicegesellschaft bietet EOS TS den Unternehmen der deutschen EOS-Tochter (EOS-DID) eine Datenplattform. Diese Plattform umfasst neben einem Data Lake ein DWH, ein ETL-Tool, eine BI-Lösung und auch Data-Science-Services. Ziel dieses Projekts war die Migration der On-Premises-Datenplattform in die Cloud.
Dieses Vorhaben umfasste dabei alle drei Phasen eines Migrationsprojekts, von einer Assess-Phase über die Mobilize-Phase bis hin zu der letztlichen Migration:
Für jeden funktionalen Baustein der Datenplattform wurden unterschiedliche Migrationsstrategien verfolgt:
Im Folgenden wird auf die Ablösung der Exasol-Datenbank durch AWS Redshift genauer eingegangen.
Eine DWH-Migration ist in jedem Fall ein komplexes Unterfangen, wenn man sich gegen eine Lift- und Shift-Strategie entscheidet und wie in diesem Fall ein Refactoring auf eine neue Datenbank-Engine verfolgt. Hierbei sind folgende Anforderungen zu erfüllen:
Hierbei war insbesondere auch die Speicherlimitierung des bestehenden DWH auf Exasol (Lizenz und Hardwareausstattung On-Premises-Server) ein wesentlicher Treiber dafür, eine Ablösung durch Redshift in Erwägung zu ziehen.
Die Entscheidung gegen einen Lift- und Shift-Ansatz war zu Beginn des Projekts nicht klar. In einem ersten Schritt wurde mit vergleichbaren Datenvolumina und konkreten EOS-SQL-Abfragen ein Benchmark durchgeführt, der eine erste Aussage zu einem adäquaten Sizing von Redshift ermöglichte. Hierbei stellte sich heraus, dass sich Redshift mit etwa halb so großer Hardwareausstattung (CPU und Hauptspeicher) mit der Exasol-Datenbank messen lassen kann.
Zu diesem Zeitpunkt war auch bereits klar, dass Teile der bestehenden SQL-Skripte und Views auf der Redshift-Datenbank optimiert werden müssten, um hier eine mit der Exasol-DB vergleichbare Performance zu realisieren. Dies ist primär durch architekturelle Unterschiede in den beiden Datenbanken zu erklären (z. B. Sort Keys statt Indices oder auch unterschiedliches Verhalten der Query-Optimizer). Eine größere Auslegung der Redshift-DB war aus Kostengründen keine Option, und in der Regel empfiehlt sich in solchen Fällen erst eine Optimierung der Software (der SQLs). Nachdem eine Recherche nach Automatisierungstools für die Migration von Exasol nach Redshift zu keinen befriedigenden Ergebnissen geführt hatte, wurde entschieden, die Migration „von Hand“ durchzuführen, und zwar in folgenden Schritten:
Eine DWH-Migration ist ein komplexes Projekt, bei dem wir (b.telligent und EOS) einiges gelernt haben:
Solche Migrationen lassen sich zwar in Standardvorgehen packen (Assess, Mobilize, Migrate & Modernize), letztlich sind es aber die Details des bestehenden Systems und Abhängigkeiten zwischen funktionalen Bausteinen, die jeweils besondere Aufmerksamkeit benötigen und Aufwandstreiber darstellen.
Cloud Migration Strategy
Entwicklung einer maßgeschneiderten Migrationsstrategie in drei Phasen – Assess, Mobilize, Migrate
DWH Refactoring
Manuelle SQL-Übersetzung und Optimierung für Redshift inklusive Testframework
CI/CD & Infrastructure as Code
Aufbau der kompletten Infrastruktur per Terraform (IaC) inkl. VPC, IAM & Co
ETL-Modernisierung
Migration und Optimierung von ETL-Prozessen (AbInitio, DMS) und Einführung eines neuen Frameworks
BI-Neuausrichtung
Ablösung von MicroStrategy durch Power BI inkl. Datenmodellanpassung
Datensicherheit & Governance
Integration von Protegrity auf AWS, Abstimmung mit ISO & Governance-Teams
Performance-Boost: Lade- und Abfrageprozesse laufen auf Redshift rund 30 % schneller als zuvor.
Signifikante Kostenreduktion: Die Cloud-Infrastruktur senkt die laufenden Kosten um etwa 50 %.
Cloud-Readiness: Aufbau einer skalierbaren, sicheren und agilen Datenplattform als Basis für die internationale Weiterentwicklung.
Nach einem sehr intensiven Zeitraum von 8 Monaten waren sämtliche ETL-Prozesse (2.500 SQL-Skripte/Views) auf Redshift umgestellt, und die Tagesverarbeitung auf Redshift war um ca. 30 % schneller, wobei die Kosten der Infrastruktur (Exasol on AWS vs. Redshift) um ca. 50 % niedriger sind. Mit dieser Lösung hat EOS nun eine DWH-Lösung mit folgenden Merkmalen:
Ein DWH ist nie wirklich fertig, das bedeutet hier sind nach einer Migration mit einer eher geringen Weiterentwicklung nun unter anderem folgende Punkte auf der Roadmap:
Jetzt im Podcast erleben!
Als Advanced Partner von AWS unterstützt b.telligent seine Kunden bei der Migration und Einrichtung von Datenplattformen in der AWS-Cloud. Mehr Infos hier!
Du möchtest unsere Success Story als druckbaren Flyer? Für Dich, oder um Deinem Team das Projekt vorstellen zu können?
Dann lade Dir einfach hier die ganze Erfolgsstory als pdf herunter.
Viel Spaß beim Lesen!
Du findest unsere Success Stories spannend? Du hast eine ähnliche Herausforderung rund um die Themen Data, Analytics & AI und wünschst Dir professionelle Unterstützung? Dann melde Dich gern bei uns. In einem unverbindlichen Beratungsgespräch können wir schnell klären, wie wir Dir am besten helfen können.