Senior Data Engineer (Azure, Databricks)

Senior

Ta inicjatywa koncentruje się na dojrzałym High-Availability Data Hub, który został zaprojektowany i wdrożony w środowisku Azure Databricks z wykorzystaniem Unity Catalog, Spark Structured Streaming oraz Asset Bundles, aby zapewnić wysoką wydajność i solidne zarządzanie (governance). Rozwiązanie opiera się na Medallion Architecture Framework i stanowi skalowalny fundament, który jest obecnie rozwijany w celu włączania nowych źródeł danych – ich pobierania (ingestion), transformacji oraz płynnej integracji z istniejącym ekosystemem.

Twoje zadania:

Tworzenie potoków danych (Databricks Pipelines) w PySpark / SQL.
Pobieranie danych z interfejsów API.
Utrzymanie i rozwój potoków Spark Structured Streaming.
Projektowanie i zarządzanie obiektami w Unity Catalog zgodnie z zasadami Medallion Architecture.

Twój profil (przynajmniej jeden z poniższych punktów):

Minimum 6 lat doświadczenia komercyjnego w obszarze Data Engineering, ze szczególnym naciskiem na Large Scale Data Pipelines.
Udokumentowane sukcesy w wykorzystaniu zaawansowanych rozwiązań w Azure Cloud i Databricks.
Wiedza z zakresu Spark Structured Streaming.
Bardzo dobra znajomość Python i SQL.
Umiejętność budowania potoków z wykorzystaniem GitHub lub podobnych narzędzi.

Co oferujemy:

Możliwość pracy w 100% zdalnej z opcją korzystania z biura w Warszawie.
Elastyczne godziny pracy i motywujące wydarzenia zespołowe.
Dostęp do pakietów szkoleniowych Azure i GCP dla oficjalnych partnerów.
Możliwość korzystania z wewnętrznego inkubatora do realizacji własnych projektów.
Wspierającą społeczność ponad 50 Senior Data Consultantów z bogatym doświadczeniem w obszarze Data Warehouse i Big Data.
...i wiele więcej!

‍

Join us today:

Name*

Email*

Phone*

Position applying for *

Upload your CV & Other Testmonials (e.g Certificates) *
Upload your resume in PDF or Word format

Upload File

Uploading...

fileuploaded.jpg

Upload failed. Max size for files is 10 MB.

Additional information

How did you hear about us?

I also agree to the personal data processing by DS Stream sp. z o. o. for further recruitments.

I consent to the processing of my personal data provided through the application form and in the attached CV for recruitment purposes by DS Stream Sp. z o.o. with its registered seat in Warsaw (03 - 840), at Grochowska 306/308. The consent is freely given.

Consent for data processing can be withdrawn at any time, which will not affect the lawfulness of processing based on consent before its withdrawal. According to the article 13. (1) and (2) of General Data Protection Regulation (EU) 2016/679 – hereinafter referred to as the GDPR, please, be informed that:
• The data controller of your personal data is DS Stream sp. z o. o., with registered seat in Warsaw (03 – 840), at Grochowska 306/308;
• Your personal data will be processed with the purpose of recruitment process pursuant to the art. 6 (1)(a) GDPR, i.e. based on your freely given consent;
• Your personal data will be stored until the recruitment process is completed;
• You have the right to access your data and the right to rectify, delete, restrict the data processing, the right to data transfer, the right to object, the right to withdraw your consent to processing at any time The withdrawal of consent you shall send in writing to postal address of the data controller or by e-mail to the e-mail address career@dsstream.com;
• You have the right to file a complaint before Polish Data Protection Authority, if you think that the processing of your personal data violates the provisions of the GDPR;
• Sharing with us your personal data is voluntary, but necessary for the purposes related to the recruitment process.

Thank you! Your submission has been received!

Oops! Something went wrong while submitting the form.

Can’t find your ideal role?

No worries! You’re welcome to send us your resume, and we’ll reach out if a suitable position comes up. We believe we’ll find the right spot for you that matches your skills and aspirations.