Optymalizacja magazynu funkcji i wykonywania modelu dla Kpler
Challenge
Kpler, lider w dziedzinie analiz rynkowych i analizy danych, stanął przed wyzwaniami w zakresie optymalizacji swoich Funkcja Przechowuj proces połykania a przepływy pracy wykonywania modelu. Istniejący system ucierpiał długi czas przetwarzania danych, problemy z połączeniem z bazą danych i brak obserwowalności w treningu modelowym. Te nieefektywności doprowadziły do przepływy pracy wymagające dużej ilości zasobów i wąskie gardła operacyjne, utrudniające podejmowanie decyzji opartych na danych w czasie rzeczywistym.
Our approach
Aby sprostać tym wyzwaniom, DS Stream skoncentrował się na optymalizacji wykorzystania Feature Store firmy Kpler, przeprojektowaniu jego architektury i ulepszaniu przepływów pracy związanych z wykonywaniem modeli. Najpierw przeprowadziliśmy kompleksowy przegląd istniejącego procesu przyjmowania, identyfikując nieefektywność i wdrażając narzędzia monitorujące do śledzenia przepływów danych. Dostęp do bazy danych został ulepszony dzięki rozwiązaniu wyczerpania puli połączeń i skonfigurowaniu repliky odczytu we współpracy z zespołem DevOps firmy Kpler. Aby zapewnić niezawodność, wprowadziliśmy testy jednostkowe i mechanizmy zarządzania awariami.
Następnie przeanalizowaliśmy interakcję interfejsu API Feature Store z różnymi modelami i zaproponowaliśmy ulepszenia w celu zwiększenia wydajności i skalowalności. Wdrożono nowe ramy, zapewniające lepszą integrację z rurociągami danych i upraszczające dostęp do modelu. Na koniec zweryfikowaliśmy cały proces realizacji modelu, wprowadzając rozwiązania zapobiegające utracie dzienników i optymalizując przepływy pracy szkoleń w celu poprawy identyfikowalności i wydajności.
The outcome
Współpraca pomiędzy DS Stream i Kpler spowodowała znaczną transformację przepływów pracy danych. Proces przyjmowania Feature Store, niegdyś podatny na nieefektywność, został usprawniony, co doprowadziło do dramatycznego skrócenia czasu przetwarzania danych z czterech godzin do zaledwie dziesięciu minut. Stabilność systemu poprawiła się wraz z eliminacją problemów z połączeniem z bazą danych, zapewniając płynniejsze i bardziej niezawodne działanie. Nowy framework Feature Store zapewniał ustandaryzowane podejście, sprawiając, że integracja modeli jest bardziej płynna i usprawniająca współpracę między zespołami MLOP i Data Science. Dodatkowo wykonanie modelu stało się bardziej identyfikowalne, zapobiegając utracie dzienników i zwiększając ogólną niezawodność. Te ulepszenia pozwoliły firmie Kpler uzyskać bardziej wydajny, skalowalny i przejrzysty system przetwarzania danych.