Optimierung des Feature-Speichers und der Modellausführung für Kpler

Data Engineering

MLOps

Client

Köpler

Date

Services

MLOps, Datentechnik

Technologies

AWS, Kubernetes, EKS, ARGO CD

Challenge

Kpler, ein führendes Unternehmen für Marktinformationen und Datenanalysen, stand vor Herausforderungen bei der Optimierung seiner Feature Store-Aufnahmevorgang und Workflows zur Modellausführung. Das bestehende System litt unter lange Datenverarbeitungszeiten, Probleme mit der Datenbankverbindung und mangelnde Beobachtbarkeit im Modelltraining. Diese Ineffizienzen führten zu ressourcenintensive Workflows und betriebliche Engpässe, die datengestützte Entscheidungsfindung in Echtzeit behindern.

Our approach

Um diesen Herausforderungen zu begegnen, konzentrierte sich DS Stream darauf, die Feature Store-Aufnahme von Kpler zu optimieren, die Architektur neu zu gestalten und die Workflows zur Modellausführung zu verbessern. Zunächst führten wir eine umfassende Überprüfung des bestehenden Aufnahmeprozesses durch, identifizierten Ineffizienzen und implementierten Überwachungstools zur Verfolgung der Datenflüsse. Der Datenbankzugriff wurde verbessert, indem die Überlastung des Connection Pools behoben und in Zusammenarbeit mit dem DevOps-Team von Kpler eine Read Replica eingerichtet wurde. Um die Zuverlässigkeit zu gewährleisten, haben wir Komponententests und Fehlermanagementmechanismen eingeführt.

Als Nächstes analysierten wir, wie die Feature Store-API mit verschiedenen Modellen interagierte, und schlugen Verbesserungen vor, um die Effizienz und Skalierbarkeit zu verbessern. Ein neues Framework wurde implementiert, das eine bessere Integration mit Datenpipelines gewährleistet und den Modellzugriff vereinfacht. Schließlich validierten wir den gesamten Modellausführungsprozess, führten Lösungen ein, um den Verlust von Protokollen zu verhindern, und optimierten die Trainingsabläufe, um die Rückverfolgbarkeit und Leistung zu verbessern.

‍

The outcome

Die Zusammenarbeit zwischen DS Stream und Kpler führte zu einer erheblichen Transformation ihrer Datenworkflows. Der Feature Store-Aufnahmeprozess, der einst anfällig für Ineffizienzen war, wurde optimiert, was zu einer dramatischen Reduzierung der Datenverarbeitungszeit von vier Stunden auf nur zehn Minuten führte. Die Systemstabilität verbesserte sich, da Probleme mit der Datenbankverbindung beseitigt wurden, wodurch ein reibungsloserer und zuverlässigerer Betrieb gewährleistet wurde. Das neue Feature Store-Framework bot einen standardisierten Ansatz, der die Modellintegration reibungsloser gestaltete und die Zusammenarbeit zwischen MLOps- und Data-Science-Teams verbesserte. Darüber hinaus wurde die Modellausführung besser rückverfolgbar, was Protokollverluste verhinderte und die allgemeine Zuverlässigkeit erhöhte. Diese Verbesserungen ermöglichten es Kpler, ein effizienteres, skalierbareres und transparenteres Datenverarbeitungssystem zu entwickeln.

‍

Business Impact

Die Optimierungsbemühungen führten zu erheblichen Kosteneinsparungen und einer verbesserten Ressourcennutzung, sodass Kpler effizienter arbeiten konnte. Mit einer zuverlässigeren und skalierbareren Infrastruktur konnte das Unternehmen schneller Erkenntnisse gewinnen, was zu besseren Entscheidungen und einer erhöhten Geschäftsflexibilität führte. Die verstärkte Zusammenarbeit zwischen den Datenteams, unterstützt durch eine klare Dokumentation und verbesserte Beobachtbarkeit, ermöglichte einen reibungsloseren Betrieb und eine verbesserte Workflow-Automatisierung. Infolgedessen erweiterte Kpler seine Partnerschaft mit DS Stream, um seine Modelltrainingsprozesse weiter zu verfeinern und zu automatisieren und so sein langfristiges Engagement für datengestützte Exzellenz zu untermauern.