Senior Data Engineer (Azure, Databricks)

Ta inicjatywa koncentruje się na dojrzałym High-Availability Data Hub, który został zaprojektowany i wdrożony w środowisku Azure Databricks z wykorzystaniem Unity Catalog, Spark Structured Streaming oraz Asset Bundles, aby zapewnić wysoką wydajność i solidne zarządzanie (governance). Rozwiązanie opiera się na Medallion Architecture Framework i stanowi skalowalny fundament, który jest obecnie rozwijany w celu włączania nowych źródeł danych – ich pobierania (ingestion), transformacji oraz płynnej integracji z istniejącym ekosystemem.

Twoje zadania:

• Tworzenie potoków danych (Databricks Pipelines) w PySpark / SQL.
• Pobieranie danych z interfejsów API.
• Utrzymanie i rozwój potoków Spark Structured Streaming.
• Projektowanie i zarządzanie obiektami w Unity Catalog zgodnie z zasadami Medallion Architecture.

Twój profil (przynajmniej jeden z poniższych punktów):

• Minimum 6 lat doświadczenia komercyjnego w obszarze Data Engineering, ze szczególnym naciskiem na Large Scale Data Pipelines.
• Udokumentowane sukcesy w wykorzystaniu zaawansowanych rozwiązań w Azure Cloud i Databricks.
• Wiedza z zakresu Spark Structured Streaming.
• Bardzo dobra znajomość Python i SQL.
• Umiejętność budowania potoków z wykorzystaniem GitHub lub podobnych narzędzi.

Co oferujemy:

• Możliwość pracy w 100% zdalnej z opcją korzystania z biura w Warszawie.
• Elastyczne godziny pracy i motywujące wydarzenia zespołowe.
• Dostęp do pakietów szkoleniowych Azure i GCP dla oficjalnych partnerów.
• Możliwość korzystania z wewnętrznego inkubatora do realizacji własnych projektów.
• Wspierającą społeczność ponad 50 Senior Data Consultantów z bogatym doświadczeniem w obszarze Data Warehouse i Big Data.
• ...i wiele więcej!

‍