Databricks Engineer w Warszawa, Polska

Databricks Engineer

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Databricks
• SQL
• Python
• Apache Spark
• PySpark
• Data Lake
• Lakehouse
• Delta Lake

Mile widziane

• Microsoft Azure
• Oracle
• Azure Data Factory.
• Microsoft Fabric.
• Apache Kafka
• GitHub Copilot

System operacyjny

• Windows

O projekcie

Poszukujemy doświadczonego Databricks Engineera, który dołączy do projektu realizowanego dla jednego z największych ubezpieczycieli w Polsce.

Nasz klient rozwija nowoczesne rozwiązania technologiczne, inwestując w obszary Data & Analytics, automatyzację oraz sztuczną inteligencję.

W ramach współpracy będziesz uczestniczyć w rozwoju platformy danych, budowaniu procesów integracyjnych oraz wdrażaniu rozwiązań umożliwiających efektywne przetwarzanie i udostępnianie danych na potrzeby biznesu, analityki oraz kolejnych inicjatyw technologicznych.

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• agile

Twój zakres obowiązków

• Projektowanie, tworzenie i rozwijanie procesów przetwarzania danych z wykorzystaniem Databricks.
• Budowanie i utrzymywanie pipeline'ów ETL/ELT oraz integracja danych pochodzących z różnych systemów.
• Tworzenie i optymalizacja procesów transformacji danych z wykorzystaniem Python, PySpark i SQL.
• Rozwój rozwiązań opartych na architekturze Data Lakehouse i Delta Lake.
• Praca z danymi w środowisku chmurowym oraz integracja rozwiązań cloud i on-premise.
• Monitorowanie jakości danych, wydajności i niezawodności procesów.
• Automatyzacja wdrożeń oraz rozwój procesów CI/CD.
• Współpraca z architektami, analitykami i zespołami biznesowymi przy projektowaniu nowych rozwiązań Data & Analytics.

Nasze wymagania

• Minimum 4 lata doświadczenia w obszarze Data Engineering.
• Praktyczna, bardzo dobra znajomość Databricks.
• Bardzo dobra znajomość SQL i Python.
• Doświadczenie w przetwarzaniu dużych zbiorów danych z wykorzystaniem Apache Spark / PySpark.
• Znajomość procesów ETL/ELT oraz doświadczenie w projektowaniu i rozwijaniu pipeline'ów danych.
• Znajomość architektury Data Lake/Lakehouse oraz Delta Lake.
• Doświadczenie w pracy z platformami danych w środowisku chmurowym, preferowany Azure.
• Znajomość Git oraz podstawowych praktyk DevOps i CI/CD.
• Umiejętność optymalizacji procesów przetwarzania danych i rozwiązywania problemów wydajnościowych.
• Samodzielność oraz umiejętność współpracy z zespołami technicznymi i biznesowymi.

Mile widziane

• Znajomość Unity Catalog, Databricks Workflows oraz Azure Data Factory.
• Doświadczenie w integracji danych pomiędzy środowiskami cloud i on-premise.
• Znajomość Oracle, SAS lub innych rozwiązań klasy Enterprise Data Warehouse.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość Microsoft Fabric.
• Doświadczenie z Apache Kafka lub rozwiązaniami do strumieniowego przetwarzania danych.
• Praktyczne wykorzystywanie narzędzi AI wspierających pracę developerską, np. GitHub Copilot.
• Doświadczenie w projektach realizowanych dla sektora finansowego lub ubezpieczeniowego.

To oferujemy

• Długofalową współpracę w modelu B2B.
• Udział w rozwoju rozwiązań Data & Analytics dla jednej z największych organizacji z sektora ubezpieczeniowego w Polsce.
• Pracę z nowoczesnymi technologiami przetwarzania danych.
• Współpracę z doświadczonym zespołem technologicznym.
• Prywatną opiekę medyczną Luxmed.
• Kartę Multisport
• Pracę hybrydową z warszawskiego biura, min. 1 dzień w tygodniu.

Tak pracujemy nad projektem

• Continuous Deployment
• Continuous Integration
• DevOps

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• możliwość pracy zdalnej
• elastyczny czas pracy
• spotkania integracyjne

Etapy rekrutacji

• Rozmowa HR - 20 min
• Spotkanie z klientem - 1 godzina

Moondigo sp. z o.o.

Moondigo is a technology company specializing in DevOps, DevSecOps, and cloud services. It helps organizations accelerate software delivery, enhance security, and optimize IT infrastructure.

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Moondigo sp. z o.o. z siedzibą w: Rondo ONZ 1, 00-124 Warszawa (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: [email protected].