FMCG

MLOps-Plattform zur Skalierung von Deep-Learning-Modelltraining und Inferenzierung

MLOps

Client

Globales FMCG//CPG-Unternehmen

Date

Services

MLOPs

Technologies

Python, PyTorch, Docker, Kubernetes, Azure, CI/CD mit GitHub-Aktionen, PostgreSQL, ServiceBus, OpenTelemetry

Challenge

Der Kunde stand vor der Herausforderung, Deep-Learning-Modelle zu skalieren, um hohen Traffic und große Bilddatensätze effizient zu verwalten. Sie benötigten eine Lösung, die den Zugriff auf diese Modelle vereinfacht und es Datenwissenschaftlern ermöglicht, sie schnell zu testen und bereitzustellen und gleichzeitig die Komplexität des Infrastrukturmanagements zu vermeiden.

Our approach

Unser Team führte ein MLOps-Projekt durch, das sich auf die Bereitstellung einer Webanwendung auf Azure Kubernetes Service (AKS) konzentrierte, um den Zugriff auf Deep-Learning-Modelle zu demokratisieren. Wir nutzten die leistungsstarke Infrastruktur von Azure und entwickelten eine Lösung, die Datenwissenschaftlern Skalierbarkeit, Kosteneffizienz und Benutzerfreundlichkeit bot.

Zu den wichtigsten Komponenten der Lösung gehörten:

Automatisierte CI/CD-Prozesse, die den organisatorischen Standards und Best Practices entsprechen.
Horizontale und vertikale automatische Ressourcenskalierung zur Optimierung der Worker- und GPU-Auslastung.
Modellversionierung, Überwachung und Umschulung von Pipelines, um sicherzustellen, dass sich Modelle an Daten- und Konzeptänderungen anpassen.
Containerisierung trainierter ML-Modelle als Microservices zur Optimierung der Modellinferenz sowohl für Online- als auch für Batch-Vorhersagen.

‍

The outcome

Die Bereitstellung der Webanwendung auf AKS bot erhebliche Vorteile, darunter kostengünstige Skalierbarkeit und effiziente Handhabung von hohem Traffic und großen Datensätzen. Die Anpassung der automatischen Skalierung von Kubernetes bot eine kostengünstigere und flexiblere Alternative zu von Azure Machine Learning (AML) verwalteten Endpunkten. Durch die Optimierung der GPU-Nutzung konnten die Kosten weiter minimiert werden, da die Unterauslastung durch gemeinsame Nutzung des Speichers zwischen den Mitarbeitern reduziert wurde.

Darüber hinaus ermöglichte die Implementierung von CI/CD-Pipelines mit GitHub Actions ein nahtloses Testen, Validieren und Bereitstellen, sodass der Kunde schnell iterieren und seinen Benutzern einen Mehrwert bieten konnte.

‍

Business Impact

Die Lösung transformierte den Betrieb des Deep-Learning-Modells des Kunden, ermöglichte schnellere Entwicklungszyklen und senkte die Betriebskosten. Durch die Nutzung der Azure-Infrastruktur und modernster Technologien wie Docker, Kubernetes und PyTorch haben wir eine skalierbare und benutzerfreundliche Plattform bereitgestellt. Dieses Projekt unterstreicht unser Engagement für die Förderung von Innovationen und greifbaren Geschäftsergebnissen in der dynamischen FMCG-Branche.