Migration von Datenpipelines und Datenbankstrukturen von Cloudera zu GCP-Diensten für ein weltweit führendes Unternehmen in der Konsumgüterindustrie
Challenge
Mehrere Datenquellen enthielten verschiedene halbstrukturierte Datentypen und litten unter Datenqualitätsproblemen. Ziel war es, die Kosteneffizienz von Kampagnen in linearen TV-Planungs- und Einkaufsprozessen durch den Bau von Pipelines mithilfe von Kubeflow-Diensten zu verbessern. Dieser Ansatz zielte darauf ab, die Gesamtsystemleistung zu optimieren, die Zuverlässigkeit der Datentransformation zu erhöhen und Python-basierte Werbeverfahren zu optimieren.
Our approach
Die aktuellen Datenpipelines wurden auf DataProc, GCS und Composer migriert. Um die Skalierbarkeit zu verbessern, haben wir den Python-Code zur Anzeigenoptimierung containerisiert, sodass wir erweiterbare Aufgaben auf Kubeflow ausführen können, das in GKE gehostet wird. Durch die Verwendung von Kubeflow-Pipelines und Knotenpools können wir Auftragsressourcen effizient verwalten und dabei die unterschiedlichen Anforderungen an Hardwareressourcen in verschiedenen Szenarien berücksichtigen. Dieser Ansatz ermöglicht es uns, die Ressourcennutzung zu optimieren und eine bessere Anpassung an die jeweils erforderlichen Workloads sicherzustellen.
The outcome
Cloudera-Datenpipelines wurden erfolgreich auf die GCP-Plattform migriert. Die neuen Datenpipelines wurden verbessert, um Kosteneffizienz und Wartungsfreundlichkeit zu gewährleisten. Schnelle Reaktionszeiten werden durch die Verwendung des BigQuery-Caches garantiert. Durch die Nutzung von GKE-, Kubeflow- und Docker-Images können Jobs auf verschiedenen Codeversionen und Hardwareressourcen ausgeführt werden. Der Prozess der Initiierung von Optimierungsjobs wurde durch die Nutzung von Cloud-Funktionen optimiert.