Databricks Engineer w Warszawa, Polska

Wymagane, Databricks, SQL, Python, Apache Spark, PySpark, Data Lake, Lakehouse, Delta Lake

Mile widziane, Microsoft Azure, Oracle, Azure Data Factory., Microsoft Fabric., Apache Kafka, GitHub Copilot

System operacyjny, Windows

O projekcie, Poszukujemy doświadczonego Databricks Engineera, który dołączy do projektu realizowanego dla jednego z największych ubezpieczycieli w Polsce., , Nasz klient rozwija nowoczesne rozwiązania technologiczne, inwestując w obszary Data & Analytics, automatyzację oraz sztuczną inteligencję., , W ramach współpracy będziesz uczestniczyć w rozwoju platformy danych, budowaniu procesów integracyjnych oraz wdrażaniu rozwiązań umożliwiających efektywne przetwarzanie i udostępnianie danych na potrzeby biznesu, analityki oraz kolejnych inicjatyw technologicznych.

Tak pracujemy, u klienta, agile

Twój zakres obowiązków, Projektowanie, tworzenie i rozwijanie procesów przetwarzania danych z wykorzystaniem Databricks., Budowanie i utrzymywanie pipeline'ów ETL/ELT oraz integracja danych pochodzących z różnych systemów., Tworzenie i optymalizacja procesów transformacji danych z wykorzystaniem Python, PySpark i SQL., Rozwój rozwiązań opartych na architekturze Data Lakehouse i Delta Lake., Praca z danymi w środowisku chmurowym oraz integracja rozwiązań cloud i on-premise., Monitorowanie jakości danych, wydajności i niezawodności procesów., Automatyzacja wdrożeń oraz rozwój procesów CI/CD., Współpraca z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.

Minimum 4 lata doświadczenia w obszarze Data Engineering., Praktyczna, bardzo dobra znajomość Databricks., Bardzo dobra znajomość SQL i Python., Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark., Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych., Znajomość architektury Data Lake/Lakehouse oraz Delta Lake., Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure., Znajomość Git oraz podstawowych praktyk DevOps i CI/CD., Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych., Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

Mile widziane, Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory., Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise., Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse., Doświadczenie z architekturą Medallion (Bronze / Silver / Gold)., Znajomość Microsoft Fabric., Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych., Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot., Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

To oferujemy, Długofalową współpracę w modelu B2B., Udział w rozwoju rozwiązań Data & Analytics dla jednej z największych organizacji z sektora ubezpieczeniowego w Polsce., Pracę z nowoczesnymi technologiami przetwarzania danych., Współpracę z doświadczonym zespołem technologicznym., Prywatną opiekę medyczną Luxmed., Kartę Multisport, Pracę hybrydową z warszawskiego biura, min. 1 dzień w tygodniu.

Tak pracujemy nad projektem, Continuous Deployment, Continuous Integration, DevOps

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna, możliwość pracy zdalnej, elastyczny czas pracy, spotkania integracyjne

Etapy rekrutacji, Rozmowa HR - 20 min, Spotkanie z klientem - 1 godzina

Moondigo sp. z o.o., Moondigo is a technology company specializing in DevOps, DevSecOps, and cloud services. It helps organizations accelerate software delivery, enhance security, and optimize IT infrastructure.