Bereitstellung einer Datenplattformlösung für einen weltweit führenden Anbieter der GCP-Branche, um einen ganzheitlichen Überblick über jeden Kunden nahezu in Echtzeit zu ermöglichen
Challenge
Das Ziel des Kunden bestand darin, Datensilos zu überwinden und einen einheitlichen Datalake zu erstellen, der als zuverlässige und verlässliche Datenquelle für Kampagnen und Planung dient. Die gewünschte Lösung musste kostengünstig, sicher und zuverlässig sein und gleichzeitig die Standards für die Datenverwaltung einhalten. Der Kunde hatte hohe Erwartungen an die nahtlose Integration mit mehreren Drittanbietern von Daten und die Implementierung skalierbarer, vollständig verwalteter ETL-Lösungen, die über die Google Cloud Platform verfügbar sind.
Our approach
Um diese Ziele zu erreichen, haben wir eine umfassende Reihe von Integrationsprozessen entwickelt, die eine effiziente Datenaufnahme, -transformation und -speicherung gewährleisten. Unser Ansatz beinhaltete die Erstellung und Planung von mehr als 100 Pipelines in Composer und nutzte dabei die Leistungsfähigkeit von DataProc-Clustern, Google Cloud Storage-Buckets und BigQuery. Wir haben historische Datenpakete mithilfe spezieller Datenübertragungstools nahtlos migriert. Um ein Höchstmaß an Datensicherheit zu gewährleisten, haben wir Secret Manager implementiert und gleichzeitig Logging eingesetzt, um die Prozesse sorgfältig zu überwachen.
The outcome
Die nahtlose Migration in die Cloud ermöglichte die effiziente Verarbeitung von Daten in großem Umfang, der ein Petabyte überstieg. Im Laufe von sechs Monaten haben wir die erfolgreiche Migration von rund 1,5 PB an historischen Daten durchgeführt, zahlreiche Aufnahmeprozesse neu strukturiert und optimierte Pipelines auf der Google Cloud Platform orchestriert. Folglich sanken die Kosten für Datenspeicherung und Datenverarbeitung um etwa 30% Die pünktliche und fehlerfreie Bereitstellung von Daten ermöglicht eine Vielzahl interner Anwendungen und kommt mehr als 50 Marken, die in über 100 Märkten tätig sind, erheblich zugute.