Latest blog posts by Michal Milosz

Erfahren Sie, wie Sie den Celery Kubernetes Executor in Apache Airflow 2.0 einrichten und optimieren können, um Workflows effizient in Kubernetes-Clustern auszuführen.

Data Engineering entwickelt sich rasant weiter, angetrieben durch Innovationen wie data mesh, MLOps und den zunehmenden Einsatz von AI. In diesem Artikel beleuchten wir die wichtigsten Trends, die die Branche bis 2025 prägen werden.

Der Artikel vergleicht drei zentrale Datenarchitekturen: Data Warehouses für strukturierte Analysen, Data Lakes für flexible Speicherung von Rohdaten und Lakehouses als einheitliches Modell. Es werden ihre Stärken, Einschränkungen und die besten Einsatzmöglichkeiten für moderne Organisationen hervorgehoben.

Erfahren Sie, wie Sie mit Apache Airflow 2.0, CeleryExecutor und Kubernetes in kürzester Zeit eine skalierbare Umgebung aufbauen können, um bis zu 1000 parallele Tasks effizient auszuführen.

Erfahren Sie, wie sich Stream Processing und Batch Processing unterscheiden, welche Anwendungsfälle sie jeweils unterstützen und wie Sie die richtige Datenverarbeitungsstrategie für Ihre Anforderungen auswählen können.

Der Übergang von monolithischen Architekturen zu Microservices hat die Datenverarbeitung revolutioniert. Erfahren Sie, wie Sie Ihre Datenplattform skalierbarer, flexibler und wartungsfreundlicher gestalten können.

Die Art und Weise, wie Unternehmen Daten speichern und verwalten, hat sich in den letzten Jahrzehnten drastisch verändert. Von einfachen Excel-Tabellen bis hin zu modernen Data Lakes – dieser Artikel beleuchtet die Entwicklung der Datenspeicherung und erklärt, warum moderne Ansätze wie der Data Lake entscheidend für datengetriebene Organisationen sind.

Erfahren Sie, wie Sie mit Databricks eine föderierte Architektur für Ihr Lakehouse erstellen können. Dieser Leitfaden erklärt die Vorteile, Herausforderungen und Best Practices für die Integration von Datenquellen in einer skalierbaren Umgebung.