Optymalizacja magazynu funkcji i wykonywania modelu dla Kpler

Data Engineering

MLOps

Client

Kpler

Date

Services

MLOP, Inżynieria danych

Technologies

AWS, Kubernetes, EKS, ARGO CD

Challenge

Kpler, lider w dziedzinie analiz rynkowych i analizy danych, stanął przed wyzwaniami w zakresie optymalizacji swoich Funkcja Przechowuj proces połykania a przepływy pracy wykonywania modelu. Istniejący system ucierpiał długi czas przetwarzania danych, problemy z połączeniem z bazą danych i brak obserwowalności w treningu modelowym. Te nieefektywności doprowadziły do przepływy pracy wymagające dużej ilości zasobów i wąskie gardła operacyjne, utrudniające podejmowanie decyzji opartych na danych w czasie rzeczywistym.

Our approach

Aby sprostać tym wyzwaniom, DS Stream skoncentrował się na optymalizacji wykorzystania Feature Store firmy Kpler, przeprojektowaniu jego architektury i ulepszaniu przepływów pracy związanych z wykonywaniem modeli. Najpierw przeprowadziliśmy kompleksowy przegląd istniejącego procesu przyjmowania, identyfikując nieefektywność i wdrażając narzędzia monitorujące do śledzenia przepływów danych. Dostęp do bazy danych został ulepszony dzięki rozwiązaniu wyczerpania puli połączeń i skonfigurowaniu repliky odczytu we współpracy z zespołem DevOps firmy Kpler. Aby zapewnić niezawodność, wprowadziliśmy testy jednostkowe i mechanizmy zarządzania awariami.

Następnie przeanalizowaliśmy interakcję interfejsu API Feature Store z różnymi modelami i zaproponowaliśmy ulepszenia w celu zwiększenia wydajności i skalowalności. Wdrożono nowe ramy, zapewniające lepszą integrację z rurociągami danych i upraszczające dostęp do modelu. Na koniec zweryfikowaliśmy cały proces realizacji modelu, wprowadzając rozwiązania zapobiegające utracie dzienników i optymalizując przepływy pracy szkoleń w celu poprawy identyfikowalności i wydajności.

‍

The outcome

Współpraca pomiędzy DS Stream i Kpler spowodowała znaczną transformację przepływów pracy danych. Proces przyjmowania Feature Store, niegdyś podatny na nieefektywność, został usprawniony, co doprowadziło do dramatycznego skrócenia czasu przetwarzania danych z czterech godzin do zaledwie dziesięciu minut. Stabilność systemu poprawiła się wraz z eliminacją problemów z połączeniem z bazą danych, zapewniając płynniejsze i bardziej niezawodne działanie. Nowy framework Feature Store zapewniał ustandaryzowane podejście, sprawiając, że integracja modeli jest bardziej płynna i usprawniająca współpracę między zespołami MLOP i Data Science. Dodatkowo wykonanie modelu stało się bardziej identyfikowalne, zapobiegając utracie dzienników i zwiększając ogólną niezawodność. Te ulepszenia pozwoliły firmie Kpler uzyskać bardziej wydajny, skalowalny i przejrzysty system przetwarzania danych.

‍

Business Impact

Działania optymalizacyjne doprowadziły do znacznych oszczędności kosztów i lepszego wykorzystania zasobów, umożliwiając firmie Kpler bardziej wydajną pracę. Dzięki bardziej niezawodnej i skalowalnej infrastrukturze firma może szybciej generować informacje, co prowadzi do lepszego podejmowania decyzji i zwiększenia elastyczności biznesowej. Wzmocniona współpraca między zespołami danych, wspierana przejrzystą dokumentacją i lepszą obserwacyjnością, ułatwiła płynniejsze operacje i ulepszono automatyzację przepływu pracy. W rezultacie firma Kpler rozszerzyła współpracę z firmą DS Stream w celu dalszego udoskonalenia i automatyzacji procesów szkoleniowych modeli, wzmacniając długoterminowe zaangażowanie w doskonałość opartą na danych.