FMCG

Migracja rurociągów danych i struktur baz danych z Cloudera do usług GCP dla światowego lidera w branży dóbr konsumenckich

Data Migration

Client

Globalna firma FMCG/CPG

Date

Services

Migracja danych

Technologies

Produkty Google Cloud: DataProc, BigQuery, Google Kubernetes Engine

Challenge

Wiele źródeł danych zawierało różne półstrukturalne typy danych i cierpiało na problemy z jakością danych. Celem było zwiększenie efektywności kosztowej kampanii w procesach planowania i zakupów telewizji liniowej poprzez budowę rurociągów wykorzystujących usługi Kubeflow. Podejście to miało na celu usprawnienie ogólnej wydajności systemu, zwiększenie niezawodności transformacji danych i optymalizację procedur reklamowych opartych na Pythonie.

‍

Our approach

Obecne pociągi danych zostały przeniesione do DataProc, GCS i Composer. Aby zwiększyć skalowalność, skonteneryzowaliśmy kod optymalizacji reklam Python, umożliwiając nam wykonywanie rozszerzalnych zadań na Kubeflow hostowanym w GKE. Wykorzystując rurociągi Kubeflow i pule węzłów, możemy efektywnie zarządzać zasobami pracy, biorąc pod uwagę różnorodne zapotrzebowanie na zasoby sprzętowe w różnych scenariuszach. Takie podejście pozwala nam zoptymalizować wykorzystanie zasobów i zapewnić lepsze dopasowanie do określonych wymaganych obciążeń.

‍

The outcome

Rurociągi danych Cloudera zostały pomyślnie przeniesione na platformę GCP. Nowe rurociągi danych zostały ulepszone, aby zapewnić opłacalność i łatwość konserwacji. Szybki czas reakcji jest gwarantowany dzięki wykorzystaniu pamięci podręcznej BigQuery. Wykorzystując obrazy GKE, Kubeflow i Docker, zadania mogą być wykonywane na różnych wersjach kodu i zasobach sprzętowych. Proces inicjowania zadań optymalizacji został usprawniony dzięki wykorzystaniu funkcji w chmurze.

‍

Business Impact

Migracja do GCP zakończyła się sukcesem, co zaowocowało zwiększoną wydajnością, łatwiejszą konserwacją i poprawą niezawodności danych. Osiągnięcie to stało się możliwe dzięki wykorzystaniu niezawodnych usług natywnych w chmurze. Dzięki Kubeflow hostowanemu na GKE czas opracowywania zadań optymalizacyjnych został znacznie skrócony. W rezultacie ostateczne zadania optymalizacji działają teraz w środowisku, które jest zarówno elastyczne, jak i solidne, a jednocześnie jest zoptymalizowane pod względem kosztów.

‍