Data Engineer w Warszawa, Polska

Wymagane, Google Cloud Platform, BigQuery, Cloud Storage, Pub/Sub, Oracle, SQL, Python

Mile widziane, PostgreSQL

System operacyjny, Windows

O projekcie, W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych., , Obszary naszej działalności obejmują m.in.:, , • doradztwo technologiczne,, • tworzenie oprogramowania,, • systemy wbudowane,, • rozwiązania chmurowe,, • zarządzanie danymi,, • dedykowane zespoły projektowe., , Cześć! Poznaj możliwości współpracy ze Scalo!

Twój zakres obowiązków, świadczenie usług w ramach projektu migracji środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage,, projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub,, migrację oraz przebudowę procesów przetwarzania i zasilania danych ze środowisk on-premise do Google Cloud Platform,, projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości danych, obsługi błędów i ponawiania przetwarzania,, modelowanie danych oraz optymalizację struktur i zapytań SQL dla dużych wolumenów danych z uwzględnieniem wydajności, skalowalności i kosztów przetwarzania,, analizę oraz migrację istniejących procesów ETL opartych o Informatica PowerCenter do architektury docelowej w GCP,, implementację logiki transformacji i walidacji danych z wykorzystaniem SQL oraz Python,, współpracę przy analizie technicznej, testach, wdrożeniach oraz przygotowywaniu dokumentacji technicznej,, lokalizacja projektu: Warszawa,, tryb realizacji usług: hybrydowo, obejmujący obecność w biurze w Warszawie 1 raz w miesiącu,

minimum 2 lata komercyjnego doświadczenia w obszarze Data Engineering, integracji lub przetwarzania danych,, praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności BigQuery, Cloud Storage oraz Pub/Sub,, doświadczenie w projektowaniu i implementacji procesów migracji danych do środowisk chmurowych,, praktyczna znajomość baz danych Oracle oraz doświadczenie w tworzeniu i optymalizacji zapytań SQL,, doświadczenie w pracy z dużymi wolumenami danych i analizie wydajności zapytań,, znajomość modelowania danych oraz projektowania logicznych i fizycznych modeli danych,, praktyczne doświadczenie z Informatica PowerCenter umożliwiające analizę oraz modyfikację procesów ETL,, znajomość języka Python w zakresie implementacji logiki przetwarzania danych,, doświadczenie w pracy z repozytoriami kodu oraz procesami CI/CD,, umiejętność przygotowywania testów jednostkowych i integracyjnych oraz dokumentacji technicznej.

Mile widziane, doświadczenie w migracji hurtowni danych z Oracle do BigQuery,, znajomość PostgreSQL,, doświadczenie w projektach realizowanych dla sektora finansowego lub bankowego,, znajomość praktyk DevOps oraz monitorowania procesów danych.

To oferujemy, możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,, zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,, dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Tak pracujemy nad projektem, Continuous Deployment, Continuous Integration, DevOps

Brzmi interesująco? Aplikuj – czekamy na Twoje CV!

Scalo Sp. z o.o., Scalo to firma, która od 18 lat tworzy oprogramowanie dla biznesu. Zrealizowaliśmy ponad 750 projektów dla firm z różnych branż – od startupów po międzynarodowe korporacje. Nasze doświadczenie pozwala nam szybko zrozumieć potrzeby klientów i dostarczyć rozwiązania, które faktycznie wspierają rozwój ich firm.

Tak się u nas pracuje,