Dostarczanie rozwiązania Data Platform dla światowego lidera w branży GCP, aby umożliwić całościowy obraz każdego klienta w czasie rzeczywistym
Challenge
Celem klienta było przezwyciężenie silosów danych i zbudowanie zunifikowanego Datalake, który służy jako wiarygodne i wiarygodne źródło danych do kampanii i planowania. Pożądane rozwiązanie musiało być opłacalne, bezpieczne i niezawodne, przy jednoczesnym przestrzeganiu standardów zarządzania danymi. Klient miał wysokie oczekiwania co do bezproblemowej integracji z wieloma zewnętrznymi dostawcami danych oraz wdrożenia skalowalnych, w pełni zarządzanych rozwiązań ETL dostępnych za pośrednictwem Google Cloud Platform.
Our approach
Aby osiągnąć te cele, opracowaliśmy kompleksowy zestaw procesów integracyjnych, które gwarantują efektywne pobieranie, transformację i przechowywanie danych. Nasze podejście polegało na tworzeniu i planowaniu ponad 100 pociągów w programie Composer, wykorzystując moc klastrów DataProc, koszyków Google Cloud Storage i BigQuery. Bezproblemowo migrowaliśmy historyczne pakiety danych za pomocą specjalistycznych narzędzi do przesyłania danych. Aby zapewnić najwyższe bezpieczeństwo danych, wdrożyliśmy Secret Manager, a także zastosowaliśmy Logging do pilnego monitorowania procesów.
The outcome
Bezproblemowa migracja do chmury ułatwiła efektywne przetwarzanie danych na masową skalę, przekraczając petabajt. W ciągu 6 miesięcy udało się przeprowadzić migrację około 1,5 PB danych historycznych, zrestrukturyzowaliśmy liczne procesy pobierania i zaaranżowaliśmy usprawnione rurociągi na platformie Google Cloud Platform. W konsekwencji koszty przechowywania danych i obliczeń zmniejszyły się o około 30%. Punktualne i bezbłędne dostarczanie danych umożliwia wiele aplikacji wewnętrznych i znacząco przynosi korzyści ponad 50 markom działającym na ponad 100 rynkach.