Data Engineer (K/M/N) w Warszawa, Polska

Data Engineer (K/M/N)

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

• Google Cloud Platform (GCP)
• BigQuery
• Cloud Storage
• Cloud Dataflow
• Cloud Composer
• Datastream
• Dataplex
• Pub/Sub
• Dataform
• Python
• Pandas
• SQL
• MySQL
• PostgreSQL
• MS SQL Server
• ETL / ELT
• Git
• CI/CD
• Cloud Monitoring
• Cloud Logging
• Data Governance
• Medallion Architecture

O projekcie

Wsparcie zespołu projektowego i utrzymaniowego przy budowie, rozwoju oraz utrzymaniu platformy Customer Data Platform (CDP) opartej o architekturę Data Lakehouse w środowisku Google Cloud Platform (GCP).

Tak organizujemy naszą pracę

Tak pracujemy

• u klienta
• koncentrujesz się na jednym projekcie
• masz wpływ na rozwiązania technologiczne
• masz wpływ na produkt
• agile

Twój zakres obowiązków

• Rozwój oraz utrzymanie platformy CDP w architekturze Data Lakehouse.
• Projektowanie i rozwój procesów przetwarzania danych.
• Implementacja i optymalizacja procesów ETL/ELT.
• Budowa oraz utrzymanie pipeline'ów danych w środowisku GCP.
• Rozwój rozwiązań opartych o BigQuery.
• Współpraca z zespołami projektowymi oraz technicznymi.
• Monitorowanie i utrzymanie procesów przetwarzania danych.
• Udział w rozwoju architektury danych oraz zapewnianiu jakości danych.

Nasze wymagania

• Udział w kilku projektach budowy rozwiązań chmurowych w roli Data Engineer.
• Bardzo dobre umiejętności komunikacyjne i organizacyjne.
• Umiejętność efektywnej współpracy z zespołami IT oraz Project Managerami technicznymi.
• Znajomość języka angielskiego umożliwiająca pracę w środowisku międzynarodowym.
• Praktyczna znajomość Google Cloud Platform (GCP) w obszarze Data & Analytics - WYMAGANIE KONIECNZE!.
• Doświadczenie z BigQuery.
• Doświadczenie z Cloud Storage.
• Doświadczenie z Cloud Dataflow (Apache Beam).
• Doświadczenie z Cloud Composer (Apache Airflow).
• Znajomość Datastream.
• Znajomość Dataplex.
• Doświadczenie z Pub/Sub.
• Doświadczenie z Dataform.
• Bardzo dobra znajomość Python.
• Znajomość bibliotek do przetwarzania danych (m.in. Pandas).
• Bardzo dobra znajomość SQL (ANSI SQL oraz BigQuery SQL).
• Znajomość MySQL.
• Znajomość PostgreSQL.
• Znajomość MS SQL Server.
• Doświadczenie z architekturą Medallion (Bronze / Silver / Gold).
• Znajomość procesów ETL/ELT.
• Znajomość zagadnień Data Governance.
• Doświadczenie w projektowaniu i implementacji mechanizmów deduplikacji danych.
• Znajomość zagadnień wersjonowania danych.
• Praktyczna znajomość Git.
• Znajomość procesów CI/CD.
• Doświadczenie z Cloud Monitoring oraz Cloud Logging.

Tak pracujemy nad projektem

• statyczna analiza kodu
• dokumentacja
• automatyzacja testów
• testy funkcjonalne
• testy integracyjne
• testy jednostkowe

Takie dajemy możliwości rozwoju

• mentoring
• wsparcie merytoryczne od liderów technologicznych

Etapy rekrutacji

• Ocena CV
• Rozmowa Online

Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez RANDLAB SOFTWARE sp. z o.o. z siedzibą w: Nawojowska 193A, 33-300 Nowy Sącz (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania. Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji. Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych. Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych. Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany. Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach. W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: [email protected].