FMCG

Usprawnienie operacji związanych z danymi za pomocą bazy danych Lakehouse opartej na metadanych na platformie Azure

Data Engineering

Client

Globalna firma FMCG/CPG

Date

Services

Inżynieria danych

Technologies

Databricks, Python, Azure, Spark, CI/CD (Azure DevOps/ GitHub)

Challenge

Firma z listy Fortune 500 FMCG zmagała się ze swoim istniejącym rozwiązaniem Azure Databricks data lake, które było nękane złożonością, zduplikowanymi zestawami danych i brakiem struktury. Wymagały one usprawnionego rozwiązania w celu uproszczenia operacji z danymi, poprawy jakości danych i poprawy możliwości wykrywania danych, a wszystko to przy jednoczesnej optymalizacji kosztów.

Our approach

Nasz zespół uruchomił transformacyjny projekt migracji jeziora danych Azure Databricks klienta do jeziora danych opartego na metadanych przy użyciu architektury medalionu. Wykorzystując Databricks, Python, Azure i Spark, wdrożyliśmy skalowalne i zorganizowane rozwiązanie, które wymusiło strukturę medalionu i poprawiło jakość danych bez zakłócania przepływów pracy użytkowników.

Kluczowe składniki rozwiązania obejmowały:

Struktura oparta na metadanych do automatyzacji pociągu danych, obejmująca takie funkcje, jak automatyczne wyodrębnianie danych, archiwizacja i obsługa obciążenia przyrostowego.
Bezszwowe egzekwowanie struktury medalionu, które zachowało przyjazną dla użytkownika elastyczność.
Integracja wielkich oczekiwań w zakresie zautomatyzowanych kontroli jakości danych i walidacji.

‍

The outcome

Migracja do bazy danych opartej na metadanych przyniosła znaczne ulepszenia w zakresie wykrywalności i użyteczności danych. Architektura medalionu zapewniła przejrzystą strukturę, umożliwiając programistom obywatelskim bezpośrednie angażowanie się w zbiory danych, sprzyjając samoobsługowej analityce i innowacjom.

Dodatkowo funkcje automatyzacji, w tym wyodrębnianie danych, archiwizacja i obciążenia przyrostowe, znacznie obniżyły koszty rurociągów i zwiększyły wydajność operacyjną. Integracja Great Expectations zapewniła integralność i niezawodność danych, spełniając standardy wysokiej jakości.

‍

Business Impact

Projekt zrewolucjonizował operacje danych klienta, usprawniając procesy i usprawniając zarządzanie danymi. To skalowalne i wydajne rozwiązanie umożliwiło klientowi wykorzystanie pełnego potencjału zasobów danych, zwiększając samoobsługowe analizy, oszczędności kosztów operacyjnych i szybsze podejmowanie decyzji w konkurencyjnej branży FMCG.