Azure Databricks Engineer

Dla klienta z USA poszukujemy Azure DataBricks Engineerów. Klient realizuje projekty głównie dla branży medycznej i finansowej, ale nie zamyka się na inne branże. Współpracowaliśmy już przy platformach do analizy danych z urządzeń medycznych, migracjach danych z platform takich jak JDE Job Master File i Yellowbrick oraz platformach usprawniających analizę krytycznych danych finansowych. Codzienne zadania Projektowanie, wdrażanie i utrzymanie skalowalnych Data Lakehouse w Databricks i Delta Lake według Bronze/Silver/Gold Tworzenie i optymalizacja pipeline’ów ETL/ELT w PySpark i DLT, dla przetwarzania batchowego oraz strumieniowego Udział w migracjach, np. YellowBrick → Databricks Refaktoryzacja logiki SSIS i Boomi do rozwiązań Spark/Python Wdrażanie governance i bezpieczeństwa: Unity Catalog, RBAC oraz Terraform Monitoring, tuning wydajności i automatyzacja pod SLA, w tym czterogodzinne okno odświeżania danych Współpraca z Data Scientistami, Data Engineerami i Architektami Udział w doborze narzędzi oraz integracjach ze Smartsheet i SailPoint Wymagania 8+ lat doświadczenia jako Data Engineer lub w rolach pokrewnych, w tym w projektach transformacyjnych i migracyjnych Minimum 3-4 lata doświadczenia z Databricks i Apache Spark: klastry, workspaces, bezpieczeństwo, migracje, ETL, integracje, PySpark i optymalizacja zapytań Bardzo dobra znajomość Pythona Delta Lake oraz Unity Catalog lub podobne rozwiązania governance Delta Live Tables lub podobne narzędzia Doświadczenie w Azure, np. Data Factory, Synapse, Logic Apps i Data Lake, i/lub AWS, np. Redshift, Athena i Glue SQL: projektowanie schematów, optymalizacja zapytań i implementacja logiki biznesowej Samodzielność i inicjatywa Angielski umożliwiający swobodną komunikację w zespole Mile widziane YellowBrick, SSIS, Boomi lub inne systemy legacy Terraform albo Pulumi DBT, SSIS, TimeXtender lub podobne narzędzia ETL/ELT