31 Jobs gefunden für data-engineer

Als Senior Data Infrastructure Engineer bist Du hands-on und federführend für die Verwaltung, Erstellung, Konzeption und Implementierung von Cloud- und Dateninfrastrukturen verantwortlich. Ganz konkret: Du integrierst neue Datenquellen nahtlos in Snowflake, stellst die Zuverlässigkeit und Effizienz unserer Datenimporte sicher, verwaltest und optimierst unsere bestehenden Datenquellen. Du sorgst dabei für eine effiziente Datenverarbeitung und bringst Dein Fachwissen in die Wartung und Optimierung des Kubernetes-Clusters ein. Kafka, Airflow, Terraform und Helm gehören hier zu Deinem Tech-Stack. Deine Expertise in Python kommt zum Einsatz, wenn Du in Airflow DAGs (Directed Acyclic Graphs) erstellst und aktualisierst. Außerdem kümmerst Du Dich um die Aktualisierung der Verarbeitungslogik, insbesondere für das Streaming von Change Data Capture, und sorgst so dafür, dass unsere Datenverarbeitung jederzeit up to date ist. Zu Deinen operativen Aufgaben gehört auch die Verwaltung des Kafka-Clusters für die Verarbeitung von Streaming-Daten und Du stellst sicher, dass es zuverlässig läuft, skalierbar und performant ist. Wir planen ein Infrastruktur-Migrationsprojekt (Cloud-zu-Cloud), das auch Änderungen am Technologie-Stack beinhaltet - auch hier stehst Du uns mit Rat und Tat zur Seite, sodass wir währenddessen unsere Team-Service-Level-Agreements geschmeidig erfüllen. Nicht zuletzt überwachst und optimierst Du unsere CI/CD-Pipelines in Azure DevOps und spielst dabei eine entscheidende Rolle in der kontinuierlichen Verbesserung und effizienten Bereitstellung unserer Dateninfrastruktur.