Świat biznesu zmienia się dynamicznie. Wciąż powstają nowe pomysły, metody i narzędzia. Niedawno zespół Apache Airflow wprowadził nową wersję Airflow (2.0). Airflow to popularne oprogramowanie do zarządzania workflow, służące do tworzenia programów, planowania i monitorowania workflows. To narzędzie zostało znacząco zmodyfikowane i dodano nowe funkcje, w tym Airflow API REST — co może znacznie poprawić integrację aplikacji third-party. Nie można ocenić zalet nowego Airflow 2.0 bez jego zainstalowania. Stara wersja oprogramowania jest nadal dostępna, a jeśli jeszcze nie dokonałeś upgrade, z przyjemnością opowiemy Ci więcej o tym, jak ewoluowało to narzędzie do zarządzania workflow. W tym artykule skupimy się na Airflow REST API i jego zaletach dla business users Airflow 2.0.
Airflow version 2.0 — co nowego?
Każde oprogramowanie ma swoje wady. Ponieważ na rynku nie ma idealnego narzędzia, ważne jest, aby stale ulepszać produkty, aby pozostać konkurencyjnym. Firmy starają się, aby ich systemy były bardziej intuicyjne i łatwiejsze w obsłudze. Starają się również naprawiać najbardziej irytujące problemy, zwiększać ogólną efficiency i dodawać nowe funkcje, aby ich oprogramowanie było bardziej atrakcyjne dla klientów. Czy zespołowi Apache Airflow się to udało?
W rzeczywistości w nowej wersji Airflow zaszły istotne zmiany. Użytkownicy tego oprogramowania mają teraz do dyspozycji:
- Transparent user interface — nowy, przejrzysty UI z funkcją auto-refresh, która umożliwia łatwy dostęp i przeglądanie informacji o postępie workflow.
- Efficient scheduler — w poprzedniej wersji Airflow uruchamianie DAGs było czasochłonne. Na szczęście zespół Airflow poprawił jego performance.
- “Smarter” sensors — w nowej wersji Airflow wykorzystuje inną logikę, aby działać bardziej resource-efficiently.
- DAG serialization i DAG versioning — dzięki temu dodatkowemu wsparciu użytkownik może przechowywać wiele wersji serialized DAG representation w bazie danych, co ułatwia konfigurację Airflow i deployment DAGs.
- Powerful Airflow REST API — ta nowa funkcja upraszcza integrację third-parties.
Dzięki REST API Airflow może być świetnym narzędziem do zarządzania workflow. Chcesz wiedzieć, jak pełne REST API zmieniło to oprogramowanie?
SOAP API vs REST API
Zanim przejdziemy do tego, jak REST API zmieniło sposób działania Airflow, chcemy krótko wyjaśnić główne różnice między SOAP API i REST API. API (application programming interface) to po prostu oprogramowanie pośredniczące — a dokładniej zbiór reguł — które ściśle określa, jak dwie aplikacje powinny się ze sobą komunikować.
SOAP (Simple Object Access Protocol) został zaprojektowany jako pierwszy. Celem było stworzenie prostej metody wymiany danych dla programów zbudowanych na różnych platformach lub przy użyciu różnych języków programowania. REST (Representational State Transfer) to z kolei architectural pattern. Został stworzony, aby ułatwić pracę ze złożonymi komponentami.
Oba rozwiązania mają swoje wady i zalety i ważne jest, aby wiedzieć, w jakich sytuacjach należy ich używać. REST API staje się bardzo popularne, ponieważ w przeciwieństwie do SOAP pozwala na pracę z różnymi formatami danych, takimi jak Plain text, HTML, XML lub JSON, chociaż preferowanym formatem przesyłania danych jest nadal JSON. Jeśli jesteś zainteresowany dalszymi szczegółami, nie wahaj się zapytać.
Airflow’s API dawniej i dziś
REST API to unikalny i preferowany typ API, który ma wiele zastosowań. Nowa wersja Airflow powinna bardzo ucieszyć wszystkich użytkowników. Do tej pory to oprogramowanie oferowało tylko experimental solution w zakresie API, a Airflow’s experimental REST API miało ograniczoną funkcjonalność. Teraz Airflow w wersji 2.0 oferuje pełne REST API, które daje wiele możliwości. Airflow REST API łatwo wyzwala DAGs, pozwalając na sprawdzanie ich i płynne zarządzanie task instances — ale to tylko niewielki procent korzyści z REST API. To potężne API dostarcza użytkownikom informacji o istniejących connections, dzięki czemu można wykorzystać tę wiedzę podczas korzystania z innych systemów, a także oferuje metodę dodawania nowych connections i ich listowania. Dodatkowo nowe REST API pozwala na sprawdzanie scheduler health, co może być przydatne do monitorowania stanu Airflow i szybkiego reagowania w przypadku nieoczekiwanego shutdown, błędów itp. W Airflow 2.0 można odczytywać i modyfikować zmienne przechowywane w Airflow, a także Pools lub XCom, oraz znajdować wyniki niektórych tasks, gdy DAG jest jeszcze przetwarzany. Dzięki REST API zyskujesz lepszą kontrolę nad DAG execution i możesz wyświetlić prostą DAG representation.
Konfiguracja Airflow architecture dla Twojej firmy
Używanie Airflow do zarządzania workflow ma wiele zalet i zachęcamy do zainstalowania nowej wersji Airflow i sprawdzenia, jak REST API poprawi działanie Twojego oprogramowania. Utrzymanie tego systemu i wszystkich jego licznych komponentów nie jest jednak łatwe. Niestety, wymaga to pełnego dostępu do zasobów, aby zarządzać platformą i infrastrukturą. Brzmi skomplikowanie? Nie martw się. Firmy takie jak nasza istnieją po to, by wspierać i pomagać w uzyskaniu dostępu do potężnych narzędzi biznesowych, których organizacja potrzebuje, aby działać efektywnie i rozwijać się. Możemy pomóc w instalacji i konfiguracji Airflow. Oferujemy profesjonalne konsultacje w każdej sprawie związanej z korzystaniem z Airflow 2.0. Jeśli Twój zespół potrzebuje intensywnego szkolenia, z przyjemnością przygotujemy i przeprowadzimy szkolenie w Twojej firmie. Skontaktuj się z nami, aby dowiedzieć się więcej o naszych usługach związanych z Apache Airflow.
Snyk radzenie sobie z podatnosciami kodu
1000 zadan airflow w 5-min celery i kubernetes
Rest api w airflow 2-0-co musisz wiedziec
