Wenn Sie ein Datenorchestrierungstool verwenden, müssen Sie sowohl in der Lage sein, schnell zu lernen, wenn etwas nicht so funktioniert, wie es sollte, und eine gute Strategie haben, um Probleme zu beheben, wenn sie auftreten. Das Apache Airflow SLA (Service Level Agreement) enthält einen sehr nützlichen Benachrichtigungsmechanismus, der Sie über Ineffizienzen informieren kann. Warum ist es eine nützliche Lösung und wie benutzt man sie? Lesen Sie unseren Artikel, um mehr zu erfahren. Tatsächlich statten viele Dienstanbieter ihre Benutzer mit Standard-SLAs aus der Geschäftswelt aus, die ausdrücklich das Serviceniveau beschreiben, auf das sich beide Seiten des Vertrags geeinigt haben. Sie sollten sich jedoch bewusst sein, dass Airflow die Angelegenheit etwas anders angeht. Das SLA legt die Zeit fest, die eine Aufgabe oder DAG für die Ausführung benötigt. Airflow bietet Benutzern einen Mechanismus, der eine Benachrichtigung sendet, falls eine Aufgabe oder DAG den erwarteten Zeitplan für das SLA nicht einhält. Die Benachrichtigung muss natürlich keine E-Mail sein — sie kann auch an deinen Slack-Account gesendet werden. Aber fangen wir ganz am Anfang an...
Was ist ein SLA — Service Level Agreement?
In der Geschäftswelt ist ein Service Level Agreement (SLA) ein Dokument, das das von einem Kunden erwartete und vom Anbieter garantierte Serviceniveau enthält. In der Regel werden darin die Kennzahlen erwähnt, anhand derer beurteilt wird, ob der Service dem Vertrag entspricht. Das SLA beinhaltet auch Maßnahmen, die ergriffen werden sollten, wenn eine solche Konformität nicht erreicht wird, und die Sanktionen, die der Diensteanbieter verhängt, wenn das vereinbarte Serviceniveau nicht erreicht wird. Das SLA besteht hauptsächlich zwischen zwei verschiedenen Unternehmen (Geschäftspartnern oder einem Dienstleister und einem Kunden), kann aber auch zwischen zwei Abteilungen derselben Organisation geschlossen werden. Die beliebtesten SLA-Typen sind:
- Kunden-SLA — zwischen einem Anbieter und einem externen Kunden (einer Person oder Organisation, die nicht Teil des Unternehmens des Anbieters ist).
- Internes SLA — zwischen zwei Abteilungen derselben Institution.
- Mehrstufiges SLA — an dem viele Parteien beteiligt sind.
SLA-Vertragselemente
Service Level Agreements bestehen in der Regel aus zwei Hauptkomponenten, die Services und Management definieren. Jede dieser Komponenten sollte den Auftragnehmern wichtige Informationen an die Hand geben, sodass sie das vereinbarte Serviceniveau sicherstellen können. Das Serviceelement eines SLA-Vertrags beinhaltet die Einzelheiten der vom Anbieter angebotenen Dienstleistungen. Es ist eine gute Standardpraxis in einem SLA, auch zu erklären, was vom Service ausgeschlossen ist, damit kein Zweifel besteht. Ein Service Level Agreement ist ein ziemlich komplexes Dokument. Aus Gründen der Geschäftstransparenz sollten darin die Dienstleistungen detailliert beschrieben werden. Daher sollten die Bedingungen für die Verfügbarkeit der Dienste, die Verantwortlichkeiten aller Beteiligten, die Eskalationsverfahren und die zusätzlichen Kosten Teil eines solchen Vertrags sein. In dem Managementelement des SLA-Dokuments wird erläutert, wie das Serviceniveau gemessen werden sollte. Es sollten Kennzahlen aufgeführt werden, anhand derer die Parteien die Servicequalität beurteilen können. In diesem Teil des SLA-Vertrags sollten alle Methoden, Standards, Berichtsverfahren und die Häufigkeit der Leistungsbeurteilungen beschrieben werden. Darüber hinaus ist es ein Ort, an dem geklärt werden kann, wie das Streitbeilegungsverfahren gegebenenfalls durchgeführt werden sollte. Und natürlich dürfen Sie mögliche SLA-Updates, die möglicherweise erforderlich sind, nicht vergessen. Die Realität des Marktes ändert sich dynamisch, und Sie müssen den SLA-Vertrag möglicherweise an neue Bedingungen, Erwartungen oder Vorschriften anpassen. Die Methoden zur Aktualisierung des SLA sollten ebenfalls im SLA-Vertrag beschrieben werden.
Bedeutung der SLA-Berichterstattung
Jetzt verstehen Sie sicherlich, warum Sie ein SLA für die Dienste benötigen, die Sie in Ihrem Unternehmen nutzen möchten. Dies ist ein ziemlich wichtiger Teil eines Vertrags — insbesondere eines IT-Vertrags. Ein Service Level Agreement fasst wichtige Informationen zu Ihrem vertraglich vereinbarten Service zusammen. Aus dem SLA-Dokument erfahren Sie, was die garantierte Leistung einer Lösung ist, für die Sie bezahlen, und wie Sie überprüfen können, ob die Servicequalität nicht niedriger ist als vereinbart. Mit einem SLA müssen Sie keine eigenen Methoden und Strategien zur Leistungsmessung festlegen (aber natürlich können Sie zusätzliche Lösungen nutzen, um Ihre Neugier zu befriedigen oder dies noch einmal zu überprüfen). Der gesamte Prozess der Messung des Servicelevels, die Häufigkeit dieses Ereignisses und die zu verwendenden Tools und Metriken sind im SLA-Dokument für alle Parteien beschrieben. Es beinhaltet auch die Verantwortlichkeiten und Erwartungen sowohl des Anbieters als auch des Kunden (oder anderer Institutionen). Dank des SLA:
- Sie müssen Ihre Zeit nicht damit verschwenden, den Bewertungsprozess für einen neuen Service zu planen.
- Alle Zweifel an einem niedrigen Serviceniveau werden ausgeräumt, sodass es keine Meinungsverschiedenheiten zwischen den Parteien gibt.
- Alle Beteiligten sind durch eine komplexe Vereinbarung geschützt, die die wichtigsten Angelegenheiten abdeckt.
Service Level Agreement — Anwendungsbeispiele in der IT-Branche
Unternehmen auf der ganzen Welt bemühen sich, ihre Leistung, Sicherheit usw. zu messen. IT-Organisationen nutzen verschiedene Überwachungstools, um sicherzustellen, dass die Effizienz der genutzten Geschäfts- und Technologielösungen auf dem richtigen Niveau ist. Dennoch können diese Überwachungstools Benutzern nur Daten zur Bewertung der Produktivkapazitäten des Unternehmens liefern, aber sie können nicht wirklich dazu beitragen, dieses Niveau zu erhöhen. Fragen Sie sich genau, wofür SLA-Verträge in der IT verwendet werden? Ihr Zweck besteht hauptsächlich darin, Folgendes sicherzustellen:
- hohe Serviceverfügbarkeit — das Ziel des Dienstanbieters besteht darin, sicherzustellen, dass der jeweilige Dienst gemäß dem SLA verfügbar ist, wann er verfügbar sein sollte.
- niedrige Fehlerraten — das SLA beinhaltet die Anzahl oder den Prozentsatz der Fehler bei wichtigen Leistungen, die auftreten können, und der Anbieter sollte die tatsächliche Fehlerrate unter diesem Schwellenwert halten.
- Zuverlässigkeit — wenn ein Unternehmen in Unternehmenstools investiert, geht es davon aus, dass es Anwendungen mit all ihren Funktionen und ihrem vollen Potenzial nutzen kann, wenn der Service verfügbar sein sollte.
- Sicherheit — Aufgrund strenger behördlicher Anforderungen müssen Unternehmen sicherstellen, dass ihre Daten jederzeit sicher aufbewahrt werden. Daher muss sich der Dienstanbieter um Antiviren-Updates kümmern und moderne Cybersicherheitslösungen verwenden.
Service Level Agreement — Airflow
Also, was ist in der SLA für Airflow enthalten? Sie fragen sich vielleicht, wie Apache Airflow die Leistung der ausgeführten Aufgaben und DAGs überwacht. Das SLA wird als der Zeitpunkt verstanden, bis zu dem die Aufgaben/DAGs erfolgreich gewesen sein sollten. Wenn einige von ihnen nicht gemäß den Anforderungen (innerhalb der vordefinierten Zeit) ausgeführt werden, wird eine E-Mail-Benachrichtigung an den Benutzer gesendet. Wenn ein „SLA-Fehler“ vorliegt, bedeutet dies, dass eine bestimmte Aufgabe oder DAG die erwartete Abschlusszeit überschritten hat. Die Benachrichtigung wird Details zu Aufgaben enthalten, bei denen das SLA nicht eingehalten wurde. Darüber hinaus wird das Ereignis in der Datenbank aufgezeichnet, und Sie können es zusammen mit den Details in der Weboberfläche von Airflow einsehen. Die SLA-Überwachungsfunktion, die für das Senden einer Benachrichtigung verantwortlich ist, kann genutzt werden, nachdem Sie nur eine Codezeile in Ihrem Task-Operator hinzugefügt haben. Die Überprüfung auf potenzielle Verstöße erfolgt zu Beginn und am Ende der Aufgabe. Wird eine solche erkannt, wird nach Abschluss der Ausführung der Aufgabe eine E-Mail-Warnung gesendet. Sie sollten wissen, dass das auf Aufgabenebene definierte SLA die Zeit ab dem Beginn der DAG-Ausführung ist — nicht die Ausführung der Aufgabe (die Definition des SLA auf der Grundlage von Aufgaben ist optional).
Um es zusammenzufassen
Die E-Mail-Warnfunktion des SLA von Airflow ist sehr nützlich. Es erleichtert einfach Ihre tägliche Arbeit, da Sie sich der auftretenden Fehler bewusst sind und angemessen reagieren können. Auf diese Weise können Sie die höchste Effizienz Ihrer Datenpipelines sicherstellen. Zögern Sie nicht, uns zu kontaktieren, wenn Sie Hilfe bei der Einrichtung Ihrer SLAs benötigen. Wir geben Ihnen gerne weitere wertvolle Tipps zur Verwendung von Apache Airflow.
Ein effizienterer Scheduler zur Leistungssteigerung in Airflow 2.0
Die neue, neu gestaltete Benutzeroberfläche in Airflow 2.0
