Jest to projekt Migracji Bazy Oraclowej na platformę GCP opartej na: Big Query / Pub-Sub / Cloud Storage
Tryb pracy [Hybrydowo / 2 dni Zdalnie]
Tak organizujemy naszą pracę
Tak pracujemy
u klienta
koncentrujesz się na jednym projekcie
agile
scrum
waterfall
Twój zakres obowiązków
Projektowanie, implementację i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
Migrację i przebudowę procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP;
Projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów;
Projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych;
Analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP;
Tworzenie, analiza i strojenie zapytań SQL, w tym analizę planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych;
Analiza istniejących procesów Informatica PowerCenter i migrację do rozwiązań docelowych w GCP;
Implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania;
Wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
Przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
Przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej;
Diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych
z przetwarzaniem i jakością danych;
Tworzenie i aktualizacja dokumentacji technicznej oraz pracę z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.
Nasze wymagania
Oczekiwane jest minimum 2-letnie komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych, przy czym dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.
Wykonawca usługi powinien posiadać praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych.
Mile widziane
Mile widziane jest również doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, jednak technologia ta nie stanowi głównego obszaru roli.
Takie dajemy możliwości rozwoju
budżet rozwojowy
konferencje w Polsce
wspieramy wydarzenia dla IT
wymiana wiedzy technicznej w firmie
Benefity
dofinansowanie zajęć sportowych
prywatna opieka medyczna
dofinansowanie nauki języków
owoce
spotkania integracyjne
siłownia w biurze
kawa / herbata
napoje
świętowanie urodzin
program rekomendacji pracowników
Etapy rekrutacji
Rozmowa telefoniczna – wstępna rozmowa z Rekruterem
Rozmowa kwalifikacyjna – spotkanie z przedstawicielem firmy
Integral Solutions
Integral Solutions, Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły projektowe o profesjonalistów IT.
Wyrażam zgodę na przetwarzanie danych osobowych zawartych w CV oraz w powyższym formularzu dla potrzeb obecnego procesu rekrutacyjnego, prowadzonego przez Integral Solutions sp. z o.o. z siedzibą w Warszawie, ul. Księdza Skorupki 5, zgodnie z postanowieniami Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (‘Rozporządzenie 2016/679’).
Oświadczam, że dane są kompletne, prawdziwe i nie naruszają praw osób trzecich.
... Wymagania Minimum 5 lat doświadczenia w obszarze data engineering, ETL lub technologii big data oraz praktyczna znajomość Databricks, Kafka i GitHub. Znajomość SAP Datasphere będzie dodatkowym atutem. Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem Airflow, Azure Data Factory, Azure Synapse i Databricks. ...
Wymagane, Google Cloud Platform, Oracle, SQL, Informatica PowerCenter, Python Mile widziane, PostgreSQL O projekcie, Poszukujemy Middle Data Engineerów, którzy dołączą do projektu migracji danych i procesów przetwarzania ze środowiska on-premise/Oracle do Google Cloud Platform., , Projekt koncentruje się na budowie i przebudowie ...
Wymagane, SQL, Python, Git, Jenkins Mile widziane, Jira, Confluence System operacyjny, Linux O projekcie, Projekt obejmuje ingestowanie danych do Hadoop z wykorzystaniem ARC Ingestion Framework.
... SQL, used on large-scale datasets., Hands-on ETL/ELT design in a lakehouse environment., Comfort with infrastructure as code (Terraform) and DevOps work., Solid data modeling and integration, with the discipline to keep data trustworthy. Optional, Apache Spark and Azure Databricks. We build on Databricks, so this is a real ...
... dedykowane zespoły projektowe., , Cześć! Poznaj możliwości współpracy ze Scalo! Twój zakres obowiązków, realizację projektu dotyczącego zaprojektowania i wdrożenia data martu wspierającego potrzeby raportowe i analityczne w obszarze biznesowym banku,, zaimplementowanie procesów integracyjnych i ETL umożliwiających cykliczne pozyskiwanie ...
... Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły ...
... zapytań na sekundę, dziesiątki miliardów decyzji modeli ML dziennie i setki milionów wierszy logów aukcyjnych trafiających każdego dnia do bazy danych., , Jako Data Engineer będziesz rozwijać procesy dostarczające dane do tych modeli. Kluczową częścią Twojej pracy będzie monitorowanie i weryfikowanie jakości danych oraz zrozumienie ...
... źródłowych, API, baz danych, narzędzi CRM/finance/marketing oraz aplikacji produktowych do hurtowni danych. Minimum 4 lata doświadczenia w obszarze inżynierii danych / Data Engineeringu., Bardzo dobra znajomość SQL oraz praktyczne doświadczenie w pracy z dbt., Doświadczenie w pracy z chmurowymi hurtowniami danych (Snowflake, BigQuery ...
... business with deal and pricing analysis, providing data-driven insights and suggestions for cost improvement, Collaborate with product management and product engineers in New Product Introduction projects, Contribute to the central data engineering community and participate in cross-factory projects The ideal educational ...
... informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia ...
Data Engineer Miejsce pracy: Kętrzyn Technologies we use Expected - SAP - Microsoft Excel About the project This is an exciting job opportunity for you to light the way as a Data Engineer in Kętrzyn (Poland) with Signify. You will interact with various departments from the factory, R&D, product management, and more around ...