Data Engineer w Warszawa, Polska

Wymagane, Google Cloud Platform, Oracle, SQL, Informatica PowerCenter, Python

Mile widziane, PostgreSQL

O projekcie, Poszukujemy Middle Data Engineerów, którzy dołączą do projektu migracji danych i procesów przetwarzania ze środowiska on-premise/Oracle do Google Cloud Platform., , Projekt koncentruje się na budowie i przebudowie procesów Data Engineering z wykorzystaniem BigQuery, Pub/Sub i Cloud Storage, a także na migracji istniejących procesów ETL realizowanych w Informatica PowerCenter.

Tak pracujemy, u klienta

Twój zakres obowiązków, projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform,, budowa i rozwój procesów przetwarzania danych batch i streaming,, migracja i przebudowa procesów oraz zasilania danych z Oracle/on-premise do GCP,, projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności i kosztów,, projektowanie i implementacja procesów wykorzystujących BigQuery, Cloud Storage i Pub/Sub,, analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i GCP,, tworzenie, analiza i optymalizacja zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł,, analiza istniejących procesów Informatica PowerCenter oraz ich migracja do rozwiązań docelowych w GCP,, implementacja transformacji, walidacji i integracji danych z wykorzystaniem SQL i Python,, przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresyjnych i UAT,, przygotowywanie zmian do wdrożenia oraz wsparcie wdrożeń i weryfikacji powdrożeniowej,, diagnozowanie i usuwanie problemów związanych z przetwarzaniem i jakością danych,, tworzenie i aktualizacja dokumentacji technicznej,, praca z repozytorium kodu oraz procesami CI/CD zgodnie z podejściem DevOps.

minimum 2 lata komercyjnego doświadczenia jako Data Engineer lub na podobnym stanowisku,, praktyczne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych,, bardzo dobra znajomość Google Cloud Platform,, praktyczne doświadczenie z BigQuery, Cloud Storage i Pub/Sub,, doświadczenie w migracji lub przebudowie procesów danych z Oracle/on-premise do GCP,, praktyczna znajomość Oracle,, bardzo dobra znajomość SQL, w tym optymalizacji zapytań i pracy z dużymi wolumenami danych,, doświadczenie w pracy z Informatica PowerCenter, pozwalające na samodzielną analizę i modyfikację procesów ETL,, znajomość Python w kontekście przetwarzania i transformacji danych,, doświadczenie w budowie procesów ETL/ELT,, znajomość procesów CI/CD i pracy z repozytorium kodu,, umiejętność przygotowywania dokumentacji technicznej oraz testów rozwiązań.

Mile widziane, doświadczenie w procesach migracji dużych baz danych,, doświadczenie z PostgreSQL,, doświadczenie w budowie procesów streamingowych,, znajomość architektury rozwiązań Data Platform w GCP,, doświadczenie w optymalizacji kosztów przetwarzania i składowania danych w BigQuery,, doświadczenie z rozwiązaniami DevOps/CI/CD w środowisku GCP.

To oferujemy, udział w dużym projekcie migracji danych z Oracle/on-premise do Google Cloud Platform,, pracę z technologiami BigQuery, Pub/Sub i Cloud Storage,, projekt na okres 12 miesięcy,, hybrydowy model pracy,, możliwość pracy przy projektowaniu, budowie i modernizacji procesów przetwarzania danych w środowisku cloud.

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna, ubezpieczenie na życie, spotkania integracyjne

Etapy rekrutacji, Rozmowa z rekruterem ok. 15 min, Spotkanie rekrutacyjne z klientem ok. 60 min

IT CONNECT Sp. z o.o. Sp. k., ITConnect – Twój partner w świecie nowoczesnych kadr., , Jesteśmy polską firmą z blisko 20-letnim doświadczeniem na rynku. Nasza historia zaczęła się w 2007 roku, a dziś, dzięki dynamicznej transformacji, wspieramy nie tylko sektor IT, ale również branże takie jak inżynieryjna, budowlana, telekomunikacyjna oraz wiele innych., W ITC wierzymy, że technologia nas łączy, ale to relacje nas budują., Nie jesteśmy zwykłym dostawcą usług – przejmujemy operacyjne wyzwania rekrutacyjne, aby nasi klienci mogli w pełni skupić się na swojej strategii i rozwoju., , Co nas wyróżnia?, •Wszechstronność: Dostarczamy nie tylko programistów i testerów, ale także inżynierów, kierowników projektów oraz analityków biznesowych., •Elastyczne modele współpracy: Specjalizujemy się w outsourcingu personalnym (body leasing), rekrutacjach stałych, headhuntingu oraz modelu Try&Hire., •Podejście Human-Centric: Dla nas ludzie to nie cyferki. Stawiamy na autentyczność, wellbeing i zdrowie psychiczne naszych specjalistów, co przekłada się na ich efektywność i stabilność zespołów u naszych klientów., •Innowacyjność i stabilność: Jesteśmy laureatem Polskiej Nagrody Innowacyjności oraz wielokrotnym zdobywcą tytułu Gazele Biznesu., , Szukasz specjalistów do swojego zespołu lub nowej ścieżki zawodowej?, Skontaktuj się z nami i sprawdźmy, co możemy wspólnie zbudować!