Senior Data Engineer

Poszukujemy Data Engineera, który będzie odpowiadał za projektowanie i rozwój Data Platform oraz skalowalnych rozwiązań danych. To rola łącząca zaawansowaną inżynierię danych z realnym wpływem na architekturę platformy, standardy techniczne oraz kierunek jej rozwoju. Zakres obowiązków Projektowanie i rozwój Platformy Danych w architekturze Lakehouse. Udział w decyzjach architektonicznych dotyczących Data Platform i integracji danych. Projektowanie i rozwój procesów ELT na potrzeby raportowania, analityki oraz AI/ML. Tworzenie modeli danych i warstw analitycznych. Optymalizacja rozwiązań pod kątem wydajności, kosztów i skalowalności. Definiowanie standardów Data Engineering, automatyzacji oraz dobrych praktyk. Zapewnienie jakości, bezpieczeństwa i zgodności danych. Współpraca z biznesem, architektami i zespołami IT przy projektowaniu rozwiązań. Pełnienie roli technicznego lidera w inicjatywach Data Platform. Wymagania Minimum 3 lata doświadczenia w obszarze Data Engineering. Doświadczenie w projektowaniu i utrzymaniu produkcyjnych pipeline'ów danych. Bardzo dobra znajomość: Python, PySpark, SQL, Terraform, YAML, Databricks Asset Bundles. Doświadczenie z: Apache Spark, Databricks, Delta Lake, pracą z dużymi wolumenami danych. Bardzo dobra znajomość usług Microsoft Azure, w szczególności: Azure Data Factory, ADLS, Azure Databricks, Unity Catalog, Azure DevOps, Azure Event Hub. Doświadczenie z Apache Airflow, CI/CD (Azure DevOps Repos & Pipelines) oraz architekturą Lakehouse i Medallion Architecture. Znajomość zagadnień: Data Quality, Data Governance, modelowania danych oraz kontroli dostępu w Unity Catalog. Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne. Doświadczenie w code review, testowaniu, automatyzacji wdrożeń oraz dokumentowaniu rozwiązań. Gotowość do pełnienia roli technicznego lidera oraz wspierania zespołu w zakresie standardów i najlepszych praktyk. Mile widziane Doświadczenie z Databricks LakeFusion, Microsoft Fabric (Data Engineering). Znajomość Databricks DQX lub innych narzędzi do zarządzania jakością danych. Certyfikacje Databricks lub Data Engineering.