Data Engineer w Warszawa, Polska

Data Engineer

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Google Cloud Platform
• BigQuery
• Cloud Storage
• Pub/Sub
• Oracle
• SQL
• Python

Mile widziane

• PostgreSQL

System operacyjny

• Windows

O projekcie

W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych.

Obszary naszej działalności obejmują m.in.:

• doradztwo technologiczne,

• tworzenie oprogramowania,

• systemy wbudowane,

• rozwiązania chmurowe,

• zarządzanie danymi,

• dedykowane zespoły projektowe.

Cześć! Poznaj możliwości współpracy ze Scalo!

Twój zakres obowiązków

• świadczenie usług w ramach projektu migracji środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage,
• projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub,
• migrację oraz przebudowę procesów przetwarzania i zasilania danych ze środowisk on-premise do Google Cloud Platform,
• projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości danych, obsługi błędów i ponawiania przetwarzania,
• modelowanie danych oraz optymalizację struktur i zapytań SQL dla dużych wolumenów danych z uwzględnieniem wydajności, skalowalności i kosztów przetwarzania,
• analizę oraz migrację istniejących procesów ETL opartych o Informatica PowerCenter do architektury docelowej w GCP,
• implementację logiki transformacji i walidacji danych z wykorzystaniem SQL oraz Python,
• współpracę przy analizie technicznej, testach, wdrożeniach oraz przygotowywaniu dokumentacji technicznej,
• lokalizacja projektu: Warszawa,
• tryb realizacji usług: hybrydowo, obejmujący obecność w biurze w Warszawie 1 raz w miesiącu,

Nasze wymagania

• minimum 2 lata komercyjnego doświadczenia w obszarze Data Engineering, integracji lub przetwarzania danych,
• praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności BigQuery, Cloud Storage oraz Pub/Sub,
• doświadczenie w projektowaniu i implementacji procesów migracji danych do środowisk chmurowych,
• praktyczna znajomość baz danych Oracle oraz doświadczenie w tworzeniu i optymalizacji zapytań SQL,
• doświadczenie w pracy z dużymi wolumenami danych i analizie wydajności zapytań,
• znajomość modelowania danych oraz projektowania logicznych i fizycznych modeli danych,
• praktyczne doświadczenie z Informatica PowerCenter umożliwiające analizę oraz modyfikację procesów ETL,
• znajomość języka Python w zakresie implementacji logiki przetwarzania danych,
• doświadczenie w pracy z repozytoriami kodu oraz procesami CI/CD,
• umiejętność przygotowywania testów jednostkowych i integracyjnych oraz dokumentacji technicznej.

Mile widziane

• doświadczenie w migracji hurtowni danych z Oracle do BigQuery,
• znajomość PostgreSQL,
• doświadczenie w projektach realizowanych dla sektora finansowego lub bankowego,
• znajomość praktyk DevOps oraz monitorowania procesów danych.

To oferujemy

• możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
• zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
• dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Tak pracujemy nad projektem

• Continuous Deployment
• Continuous Integration
• DevOps

Brzmi interesująco? Aplikuj – czekamy na Twoje CV!

Scalo Sp. z o.o.

Scalo to firma, która od 18 lat tworzy oprogramowanie dla biznesu. Zrealizowaliśmy ponad 750 projektów dla firm z różnych branż – od startupów po międzynarodowe korporacje. Nasze doświadczenie pozwala nam szybko zrozumieć potrzeby klientów i dostarczyć rozwiązania, które faktycznie wspierają rozwój ich firm.

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Scalo Sp. z o.o. z siedzibą w: Powstańców Śląskich 9, 53-332 Wrocław (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: [email protected].