Dostarczanie rozwiązania Data Platform dla światowego lidera w branży GCP, aby umożliwić całościowy obraz każdego klienta w czasie rzeczywistym
Challenge
Celem klienta było przezwyciężenie silosów danych i zbudowanie zunifikowanego Datalake, który służy jako wiarygodne i wiarygodne źródło danych do kampanii i planowania. Pożądane rozwiązanie musiało być opłacalne, bezpieczne i niezawodne, przy jednoczesnym przestrzeganiu standardów zarządzania danymi. Klient miał wysokie oczekiwania co do bezproblemowej integracji z wieloma zewnętrznymi dostawcami danych oraz wdrożenia skalowalnych, w pełni zarządzanych rozwiązań ETL dostępnych za pośrednictwem Google Cloud Platform.
Our approach
Aby osiągnąć te cele, opracowaliśmy kompleksowy zestaw procesów integracyjnych, które gwarantują efektywne pobieranie, transformację i przechowywanie danych. Nasze podejście polegało na tworzeniu i planowaniu ponad 100 pociągów w programie Composer, wykorzystując moc klastrów DataProc, koszyków Google Cloud Storage i BigQuery. Bezproblemowo migrowaliśmy historyczne pakiety danych za pomocą specjalistycznych narzędzi do przesyłania danych. Aby zapewnić najwyższe bezpieczeństwo danych, wdrożyliśmy Secret Manager, a także zastosowaliśmy Logging do pilnego monitorowania procesów.
The outcome
Bezproblemowa migracja do chmury ułatwiła efektywne przetwarzanie danych na masową skalę, przekraczając petabajt. W ciągu 6 miesięcy udało się przeprowadzić migrację około 1,5 PB danych historycznych, zrestrukturyzowaliśmy liczne procesy pobierania i zaaranżowaliśmy usprawnione rurociągi na platformie Google Cloud Platform. W konsekwencji koszty przechowywania danych i obliczeń zmniejszyły się o około 30%. Punktualne i bezbłędne dostarczanie danych umożliwia wiele aplikacji wewnętrznych i znacząco przynosi korzyści ponad 50 markom działającym na ponad 100 rynkach.
Business Impact
Wprowadzenie platformy Google Cloud zaowocowało znacznymi oszczędnościami dla firmy. Dodatkowo wdrożone rozwiązanie znacznie poprawiło jakość danych, dostępność i bezpieczeństwo. Dzięki optymalizacji przetwarzania milionów codziennych zdarzeń w skali petabajtów osiągnęliśmy znaczną redukcję kosztów. W porównaniu do poprzedniego rozwiązania Hadoop wykorzystanie BigQuery umożliwiło przetwarzanie podobnych zapytań z co najmniej 15 razy większą szybkością, zapewniając tym samym bardziej precyzyjne wyniki.
Porozmawiajmy
o Twoim biznesie
Skontaktujemy się z Tobą w ciągu 4 godzin w dni robocze (od poniedziałku do piątku, od 9:00 do 17:00 CET).
Service Delivery Partner