Opis oferty

Databricks Engineer w Warszawa, Polska

moondigo sp. z o.o.

145,00 – 185,00 zł

Warszawa, Polska

Dzisiaj

Twój zakres obowiązków

Projektowanie, tworzenie i rozwijanie procesów przetwarzania danych z wykorzystaniem Databricks.
Budowanie i utrzymywanie pipeline'ów ETL/ELT oraz integracja danych pochodzących z różnych systemów.
Tworzenie i optymalizacja procesów transformacji danych z wykorzystaniem Python, PySpark i SQL.
Rozwój rozwiązań opartych na architekturze Data Lakehouse i Delta Lake.
Praca z danymi w środowisku chmurowym oraz integracja rozwiązań cloud i on-premise.
Monitorowanie jakości danych, wydajności i niezawodności procesów.
Automatyzacja wdrożeń oraz rozwój procesów CI/CD.
Współpraca z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.

Minimum 4 lata doświadczenia w obszarze Data Engineering.
Praktyczna, bardzo dobra znajomość Databricks.
Bardzo dobra znajomość SQL i Python.
Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark.
Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych.
Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure.
Znajomość Git oraz podstawowych praktyk DevOps i CI/CD.
Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych.
Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory.
Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise.
Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse.
Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
Znajomość Microsoft Fabric.
Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych.
Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot.
Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

Długofalową współpracę w modelu B2B.
Udział w rozwoju rozwiązań Data & Analytics dla jednej z największych organizacji z sektora ubezpieczeniowego w Polsce.
Pracę z nowoczesnymi technologiami przetwarzania danych.
Współpracę z doświadczonym zespołem technologicznym.

Ładowanie podobnych ofert…