Data Engineer (K/M/N)
Miejsce pracy: Płock
Technologie, których używamy
Wymagane
- Google Cloud Platform
- Python
- SQL
- GitLab
- Terraform
- Informatica PowerCenter
- Azure DevOps
- BigQuery
- Cloud Composer / Apache Airflow
- Dataproc
- Dataflow
- Datastream
- Cloud Run / Cloud Run Functions
- Google Cloud Storage
- IAM
- Workforce Identity Federation
- Microsoft Entra ID
- BigQuery Row-Level Security / Column-Level Security
- Policy Tags
- Dataplex Universal Catalog
- Informatica IDMC
- SAP Datasphere
- Azure Databricks
- ETL / ELT
- CDC
O projekcie
Projekt obejmuje rozwój, utrzymanie i optymalizację procesów przetwarzania danych w środowisku Google Cloud Platform (GCP)
Zakres projektu koncentruje się na projektowaniu architektury przepływów danych, implementacji procesów ETL/ELT, integracji danych z różnych źródeł oraz automatyzacji i orkiestracji procesów przetwarzania
Istotnym obszarem projektu jest również zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości oraz integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi
Tak organizujemy naszą pracę
Tak pracujemy
- u klienta
- masz wpływ na rozwiązania technologiczne
- koncentrujesz się na rozwoju produktu
- agile
Skład zespołu
- architekt
- devOps
- data scientist
- product owner
- project manager
Twój zakres obowiązków
- rozwój, utrzymanie i optymalizacja procesów przetwarzania danych w środowisku Google Cloud Platform (GCP)
- projektowanie architektury przepływów danych
- implementacja procesów ETL/ELT
- integracja danych z różnych źródeł (on-premise, chmura, API, pliki, strumienie)
- automatyzacja i orkiestracja procesów przetwarzania
- zarządzanie dostępem do danych, wdrażanie mechanizmów bezpieczeństwa i kontroli jakości
- integracja środowiska GCP z rozwiązaniami SAP i innymi platformami chmurowymi
- dobór wzorców przetwarzania danych z uwzględnieniem wymagań SLA
- implementacja logiki transformacji danych z wykorzystaniem SQL, Python i dbt
- implementacja mechanizmów CDC (Change Data Capture)
- projektowanie i utrzymanie przepływów orkiestracyjnych DAG w Cloud Composer / Apache Airflow
- zarządzanie harmonogramowaniem, zależnościami, obsługą błędów i mechanizmami wznowień procesów
- projektowanie i utrzymanie potoków CI/CD z wykorzystaniem GitLab
- automatyzacja testowania, wdrażania i wersjonowania procesów danych
- definiowanie zasobów IaC związanych z przetwarzaniem danych (GCS, BigQuery, Cloud Composer, Dataproc)
- monitorowanie działania procesów przetwarzania danych oraz reagowanie na incydenty
- optymalizacja wydajności i kosztów przetwarzania (optymalizacja zapytań, partycjonowanie, klastrowanie w BigQuery)
- refaktoryzacja i modernizacja istniejących procesów oraz wsparcie migracji danych
- implementacja mechanizmów walidacji i kontroli jakości danych
- projektowanie i wdrażanie modelu uprawnień dostępu do danych na poziomie datasetów, tabel, kolumn i wierszy
- konfiguracja uprawnień IAM, mechanizmów row-level security, column-level security oraz policy tags
- zarządzanie dostępem do zasobów danych z wykorzystaniem Workforce Identity Federation i Microsoft Entra ID
- współpraca w zakresie klasyfikacji i katalogowania danych z wykorzystaniem Dataplex Universal Catalog
- współpraca z zespołami infrastruktury, bezpieczeństwa i Data Governance
- przygotowywanie i aktualizacja dokumentacji technicznej
- przeprowadzanie code review oraz wsparcie merytoryczne zespołów data
Nasze wymagania
- minimum 3 lata doświadczenia w roli Data Engineera lub Konsultanta GCP
- praktyczna znajomość Google Cloud Platform, w szczególności usług wykorzystywanych do przetwarzania i integracji danych
- znajomość BigQuery (modelowanie danych, SQL, optymalizacja zapytań, partycjonowanie, klastrowanie)
- praktyczna znajomość Cloud Composer / Apache Airflow
- znajomość Dataproc, Dataflow i Datastream
- znajomość Cloud Run / Cloud Run Functions
- znajomość Cloud Storage w zakresie przetwarzania danych
- bardzo dobra znajomość Python i SQL
- znajomość GitLab (CI/CD i wersjonowania)
- znajomość Terraform w zakresie definiowania zasobów związanych z przetwarzaniem danych
- znajomość wzorców integracji danych: batch, streaming i CDC
- doświadczenie w analizie wymagań biznesowych i przekładaniu ich na rozwiązania techniczne
- znajomość mechanizmów kontroli dostępu do danych w GCP (IAM, authorized views, row-level i column-level security, policy tags)
- znajomość Workforce Identity Federation i zasad nadawania uprawnień grupom federowanym z Microsoft Entra ID
- znajomość Dataplex Universal Catalog (klasyfikacja, tagowanie, katalogowanie danych)
- rozumienie zasad klasyfikacji danych oraz wymagań zgodności, w tym RODO, w kontekście zarządzania dostępem
- znajomość zagadnień integracji GCP z platformą Informatica IDMC
- znajomość architektury multi-cloud governance obejmującej SAP Datasphere i Azure Databricks
- wysokie umiejętności komunikacyjne, organizacyjne i analityczne
Mile widziane
- certyfikat Google Cloud, np. Professional Data Engineer
- certyfikat Google Cloud Professional Data Engineer
To oferujemy
- Okres współpracy: 12 miesięcy
- Dyspozycyjność: elastyczna, uzależniona od zapotrzebowania projektowego
Tak pracujemy nad projektem
- code review
- dokumentacja
- narzędzia do trackowania zadań
Takie dajemy możliwości rozwoju
- mentoring
- wymiana wiedzy technicznej w firmie
Etapy rekrutacji
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez RANDLAB SOFTWARE sp. z o.o. z siedzibą w: Nawojowska 193A, 33-300 Nowy Sącz (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: [email protected].