Databricks Developer

Im Allgemeinen

Dieses Projekt konzentriert sich auf die Konzeption und Implementierung eines durchgängigen ETL-Prozesses und die sichere Datenmigration über einen Proxy-Server in eine in Kanada gehostete SAP-Umgebung. Wir suchen einen erfahrenen Data Engineer, der eine Schlüsselrolle bei der Konzeption der Integrationsarchitektur und der Implementierung skalierbarer Datenpipelines mit Snowflake und Databricks übernimmt.

Mission

• Konzeption und Implementierung von End-to-End-ETL-Prozessen.
• Datenmigration über eine sichere Proxy-Infrastruktur in die SAP-Umgebung in Kanada.
• Entwicklung und Orchestrierung von Datenpipelines in Databricks und Snowflake.
• Programmierung der Transformationslogik in Python.
• Implementierung von Datenqualitätsprüfungen, Validierungs- und Plausibilitätsprüfungen.
• Protokollierung, Überwachung und Auditierbarkeit von Datentransfers.
• Performance-Optimierung.

Fähigkeiten

• Mindestens 2 Jahre Erfahrung mit Databricks.
• Nachweisbare Erfahrung in der Konzeption und Entwicklung von ETL-Pipelines.
• Fundierte Databricks-Kenntnisse und praktische Erfahrung mit Snowflake.
• Fortgeschrittene Python- und CI/CD-Kenntnisse.
• Erfahrung mit der Datenmigration nach SAP oder der Integration von Unternehmenssystemen.
• Kenntnisse der Sicherheitsprinzipien beim Datentransfer.
• Fokus auf Datenqualität, Auditierbarkeit und stabilen Produktionsbetrieb.
• Erfahrung mit komplexen ETL-Pipelines und Abfrageoptimierung hinsichtlich Performance und Kosten.
• Erfahrung im Lesen von Delta-Share-Tabellen.
• Erfahrung mit Enterprise GitHub Actions und JFrog.

Vorteile

• Tolles Team und flexible Arbeitszeiten.
• Karrierecoaching und persönliche Weiterentwicklung.
• Technische Schulungen und Workshops.
• Technische Ausstattung, Mac oder Windows.
• Firmenevents und Feiern.
• Betriebspsychologe für psychisches Wohlbefinden.
• Multisport-Karte.