Data Engineer w Warszawa, Polska

Data Engineer

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Google Cloud Platform
• BigQuery
• Cloud Storage
• Pub/Sub
• SQL
• Oracle

Mile widziane

• Informatica PowerCenter

O projekcie

Jest to projekt Migracji Bazy Oraclowej na platformę GCP opartej na: Big Query / Pub-Sub / Cloud Storage

Tryb pracy [Hybrydowo / 2 dni Zdalnie]

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• koncentrujesz się na jednym projekcie
• agile
• scrum
• waterfall

Twój zakres obowiązków

• Projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
• Migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP;
• Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów;
• Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych;
• Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP;
• Tworzenie, analiza i strojenie zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych;
• Analiza istniejących procesów Informatica PowerCenter i migrację do rozwiązań docelowych w GCP;
• Implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania;
• Wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
• Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
• Przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej;
• Diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych
• z przetwarzaniem i jakością danych;
• Tworzenie i aktualizacja dokumentacji technicznej oraz pracę z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.

Nasze wymagania

• Oczekiwane jest minimum 2-letnie komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych, przy czym dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.
• Wykonawca usługi powinien posiadać praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych.

Mile widziane

• Mile widziane jest również doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, jednak technologia ta nie stanowi głównego obszaru roli.

Takie dajemy możliwości rozwoju

• budżet rozwojowy
• konferencje w Polsce
• wspieramy wydarzenia dla IT
• wymiana wiedzy technicznej w firmie

Benefity

• dofinansowanie zajęć sportowych
• prywatna opieka medyczna
• dofinansowanie nauki języków
• owoce
• spotkania integracyjne
• siłownia w biurze
• kawa / herbata
• napoje
• świętowanie urodzin
• program rekomendacji pracowników

Etapy rekrutacji

• Rozmowa telefoniczna – wstępna rozmowa z Rekruterem
• Rozmowa kwalifikacyjna – spotkanie z przedstawicielem firmy

Integral Solutions

Integral Solutions, Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły projektowe o profesjonalistów IT.

Wyrażam zgodę na przetwarzanie danych osobowych zawartych w CV oraz w powyższym formularzu dla potrzeb obecnego procesu rekrutacyjnego, prowadzonego przez Integral Solutions sp. z o.o. z siedzibą w Warszawie, ul. Księdza Skorupki 5, zgodnie z postanowieniami Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (‘Rozporządzenie 2016/679’).  Oświadczam, że dane są kompletne, prawdziwe i nie naruszają praw osób trzecich.