FMCG

Dostarczanie rozwiązania Data Platform dla światowego lidera w branży GCP, aby umożliwić całościowy obraz każdego klienta w czasie rzeczywistym

Data Analysis

Data Migration

Data Engineering

Client

Globalna firma FMCG/CPG

Date

Services

Usługi analizy danych, Migracja danych, Inżynieria danych

Technologies

Produkty Google Cloud: DataProc, BigQuery

Challenge

Celem klienta było przezwyciężenie silosów danych i zbudowanie zunifikowanego Datalake, który służy jako wiarygodne i wiarygodne źródło danych do kampanii i planowania. Pożądane rozwiązanie musiało być opłacalne, bezpieczne i niezawodne, przy jednoczesnym przestrzeganiu standardów zarządzania danymi. Klient miał wysokie oczekiwania co do bezproblemowej integracji z wieloma zewnętrznymi dostawcami danych oraz wdrożenia skalowalnych, w pełni zarządzanych rozwiązań ETL dostępnych za pośrednictwem Google Cloud Platform.

‍

Our approach

Aby osiągnąć te cele, opracowaliśmy kompleksowy zestaw procesów integracyjnych, które gwarantują efektywne pobieranie, transformację i przechowywanie danych. Nasze podejście polegało na tworzeniu i planowaniu ponad 100 pociągów w programie Composer, wykorzystując moc klastrów DataProc, koszyków Google Cloud Storage i BigQuery. Bezproblemowo migrowaliśmy historyczne pakiety danych za pomocą specjalistycznych narzędzi do przesyłania danych. Aby zapewnić najwyższe bezpieczeństwo danych, wdrożyliśmy Secret Manager, a także zastosowaliśmy Logging do pilnego monitorowania procesów.

‍

The outcome

Bezproblemowa migracja do chmury ułatwiła efektywne przetwarzanie danych na masową skalę, przekraczając petabajt. W ciągu 6 miesięcy udało się przeprowadzić migrację około 1,5 PB danych historycznych, zrestrukturyzowaliśmy liczne procesy pobierania i zaaranżowaliśmy usprawnione rurociągi na platformie Google Cloud Platform. W konsekwencji koszty przechowywania danych i obliczeń zmniejszyły się o około 30%. Punktualne i bezbłędne dostarczanie danych umożliwia wiele aplikacji wewnętrznych i znacząco przynosi korzyści ponad 50 markom działającym na ponad 100 rynkach.

‍

Business Impact

Wprowadzenie platformy Google Cloud zaowocowało znacznymi oszczędnościami dla firmy. Dodatkowo wdrożone rozwiązanie znacznie poprawiło jakość danych, dostępność i bezpieczeństwo. Dzięki optymalizacji przetwarzania milionów codziennych zdarzeń w skali petabajtów osiągnęliśmy znaczną redukcję kosztów. W porównaniu do poprzedniego rozwiązania Hadoop wykorzystanie BigQuery umożliwiło przetwarzanie podobnych zapytań z co najmniej 15 razy większą szybkością, zapewniając tym samym bardziej precyzyjne wyniki.