FMCG

Bereitstellung einer Datenplattformlösung für einen weltweit führenden Anbieter der GCP-Branche, um einen ganzheitlichen Überblick über jeden Kunden nahezu in Echtzeit zu ermöglichen

Data Analysis

Data Migration

Data Engineering

Client

Globales FMCG//CPG-Unternehmen

Date

Services

Datenanalysedienste, Datenmigration, Datentechnik

Technologies

Google Cloud-Produkte: DataProc, BigQuery

Challenge

Das Ziel des Kunden bestand darin, Datensilos zu überwinden und einen einheitlichen Datalake zu erstellen, der als zuverlässige und verlässliche Datenquelle für Kampagnen und Planung dient. Die gewünschte Lösung musste kostengünstig, sicher und zuverlässig sein und gleichzeitig die Standards für die Datenverwaltung einhalten. Der Kunde hatte hohe Erwartungen an die nahtlose Integration mit mehreren Drittanbietern von Daten und die Implementierung skalierbarer, vollständig verwalteter ETL-Lösungen, die über die Google Cloud Platform verfügbar sind.

‍

Our approach

Um diese Ziele zu erreichen, haben wir eine umfassende Reihe von Integrationsprozessen entwickelt, die eine effiziente Datenaufnahme, -transformation und -speicherung gewährleisten. Unser Ansatz beinhaltete die Erstellung und Planung von mehr als 100 Pipelines in Composer und nutzte dabei die Leistungsfähigkeit von DataProc-Clustern, Google Cloud Storage-Buckets und BigQuery. Wir haben historische Datenpakete mithilfe spezieller Datenübertragungstools nahtlos migriert. Um ein Höchstmaß an Datensicherheit zu gewährleisten, haben wir Secret Manager implementiert und gleichzeitig Logging eingesetzt, um die Prozesse sorgfältig zu überwachen.

‍

The outcome

Die nahtlose Migration in die Cloud ermöglichte die effiziente Verarbeitung von Daten in großem Umfang, der ein Petabyte überstieg. Im Laufe von sechs Monaten haben wir die erfolgreiche Migration von rund 1,5 PB an historischen Daten durchgeführt, zahlreiche Aufnahmeprozesse neu strukturiert und optimierte Pipelines auf der Google Cloud Platform orchestriert. Folglich sanken die Kosten für Datenspeicherung und Datenverarbeitung um etwa 30% Die pünktliche und fehlerfreie Bereitstellung von Daten ermöglicht eine Vielzahl interner Anwendungen und kommt mehr als 50 Marken, die in über 100 Märkten tätig sind, erheblich zugute.

‍

Business Impact

Die Einführung der Google Cloud Platform führte zu erheblichen Kosteneinsparungen für das Unternehmen. Darüber hinaus verbesserte die implementierte Lösung die Datenqualität, Verfügbarkeit und Sicherheit deutlich. Durch die Optimierung der Verarbeitung von Millionen von täglichen Ereignissen im Petabyte-Bereich konnten wir erhebliche Kostensenkungen erzielen. Im Vergleich zur vorherigen Hadoop-Lösung ermöglichte der Einsatz von BigQuery die Verarbeitung ähnlicher Abfragen mit mindestens 15-mal höherer Geschwindigkeit, wodurch präzisere Ergebnisse erzielt wurden.