CAREERS
Senior Data Engineer (Azure, Databricks)

Senior Data Engineer (Azure, Databricks)

Senior
Senior Data Engineer (Azure, Databricks)

Initiative: High-Availability Data Hub auf Azure Databricks

Diese Initiative konzentriert sich auf einen ausgereiften High-Availability Data Hub, der in der Azure Databricks-Umgebung mit Unity Catalog, Spark Structured Streaming und Asset Bundles entwickelt und implementiert wurde. Ziel ist es, höchste Leistung und starkes Data Governance sicherzustellen.

Das Lösungskonzept basiert auf dem Medallion Architecture Framework und bietet eine skalierbare Grundlage, die derzeit erweitert wird, um neue Datenquellen – von der Datenaufnahme (Ingestion) über Transformation bis hin zur nahtlosen Integration in das bestehende Ökosystem – aufzunehmen.

Deine Aufgaben

  • Entwicklung von Databricks Pipelines in PySpark und SQL.
  • Datenaufnahme aus APIs und externen Schnittstellen.
  • Wartung und Weiterentwicklung von Spark Structured Streaming Pipelines.
  • Design und Verwaltung von Objekten im Unity Catalog gemäß den Prinzipien der Medallion Architecture.

Dein Profil (mindestens eines der folgenden Punkte)

  • Mindestens 6 Jahre Berufserfahrung im Data Engineering, mit Schwerpunkt auf Large-Scale Data Pipelines.
  • Nachweisbare Erfolge beim Einsatz fortschrittlicher Lösungen in der Azure Cloud und in Databricks.
  • Fundierte Kenntnisse in Spark Structured Streaming.
  • Sehr gute Kenntnisse in Python und SQL.
  • Erfahrung im Aufbau von Pipelines mit GitHub oder ähnlichen Tools.

Unser Angebot

  • 100 % Remote-Arbeit mit der Möglichkeit der Nutzung unseres Büros in Warschau.
  • Flexible Arbeitszeiten und motivierende Team-Events.
  • Zugriff auf offizielle Azure- und GCP-Schulungen unserer Partner.
  • Nutzung eines internen Innovations-Inkubators für eigene Projekte.
  • Eine unterstützende Community mit über 50 Senior Data Consultants mit umfangreicher Erfahrung in Data Warehouse und Big Data.
  • ...und vieles mehr!

‍

Join us today:

Uploading...
fileuploaded.jpg
Upload failed. Max size for files is 10 MB.
Consent for data processing can be withdrawn at any time, which will not affect the lawfulness of processing based on consent before its withdrawal. According to the article 13. (1) and (2) of General Data Protection Regulation (EU) 2016/679 – hereinafter referred to as the GDPR, please, be informed that:
• The data controller of your personal data is DS Stream sp. z o. o., with registered seat in Warsaw (03 – 840), at Grochowska 306/308;
• Your personal data will be processed with the purpose of recruitment process pursuant to the art. 6 (1)(a) GDPR, i.e. based on your freely given consent;
• Your personal data will be stored until the recruitment process is completed;
• You have the right to access your data and the right to rectify, delete, restrict the data processing, the right to data transfer, the right to object, the right to withdraw your consent to processing at any time The withdrawal of consent you shall send in writing to postal address of the data controller or by e-mail to the e-mail address career@dsstream.com;
• You have the right to file a complaint before Polish Data Protection Authority, if you think that the processing of your personal data violates the provisions of the GDPR;
• Sharing with us your personal data is voluntary, but necessary for the purposes related to the recruitment process.
Thank you! Your submission has been received!
Oops! Something went wrong while submitting the form.

Can’t find your ideal role?

No worries! You’re welcome to send us your resume, and we’ll reach out if a suitable position comes up. We believe we’ll find the right spot for you that matches your skills and aspirations.
CONTACT US