świadczenie usług w ramach projektu migracji środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage,
projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub,
migrację oraz przebudowę procesów przetwarzania i zasilania danych ze środowisk on-premise do Google Cloud Platform,
projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości danych, obsługi błędów i ponawiania przetwarzania,
modelowanie danych oraz optymalizację struktur i zapytań SQL dla dużych wolumenów danych z uwzględnieniem wydajności, skalowalności i kosztów przetwarzania,
analizę oraz migrację istniejących procesów ETL opartych o Informatica PowerCenter do architektury docelowej w GCP,
implementację logiki transformacji i walidacji danych z wykorzystaniem SQL oraz Python,
współpracę przy analizie technicznej, testach, wdrożeniach oraz przygotowywaniu dokumentacji technicznej,
lokalizacja projektu: Warszawa,
tryb realizacji usług: hybrydowo, obejmujący obecność w biurze w Warszawie 1 raz w miesiącu,
Nasze wymagania
minimum 2 lata komercyjnego doświadczenia w obszarze Data Engineering, integracji lub przetwarzania danych,
praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności BigQuery, Cloud Storage oraz Pub/Sub,
doświadczenie w projektowaniu i implementacji procesów migracji danych do środowisk chmurowych,
praktyczna znajomość baz danych Oracle oraz doświadczenie w tworzeniu i optymalizacji zapytań SQL,
doświadczenie w pracy z dużymi wolumenami danych i analizie wydajności zapytań,
znajomość modelowania danych oraz projektowania logicznych i fizycznych modeli danych,
praktyczne doświadczenie z Informatica PowerCenter umożliwiające analizę oraz modyfikację procesów ETL,
znajomość języka Python w zakresie implementacji logiki przetwarzania danych,
doświadczenie w pracy z repozytoriami kodu oraz procesami CI/CD,
umiejętność przygotowywania testów jednostkowych i integracyjnych oraz dokumentacji technicznej.
Mile widziane
doświadczenie w migracji hurtowni danych z Oracle do BigQuery,
znajomość PostgreSQL,
doświadczenie w projektach realizowanych dla sektora finansowego lub bankowego,
znajomość praktyk DevOps oraz monitorowania procesów danych.
To oferujemy
możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
- Minimum 3 lata komercyjnego doświadczenia jako Data Engineer - Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT - Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML - Dobra znajomość SQL - Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów ...
... visualization tools (e.g., Power BI, Tableau)., Knowledge of machine learning, predictive analytics, and statistical modeling techniques., Experience with cloud-based data and analytics platforms (Azure, AWS)., Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer, ...
... services to deliver ultra-low latency, high-throughput data solutions, •Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards, , Data Engineering & Integration, •Expose time-series and analytics data through API gateways and integration layers, •Collaborate closely with data science and AI teams ...
... visualization tools (e.g., Power BI, Tableau). - Knowledge of machine learning, predictive analytics, and statistical modeling techniques. - Experience with cloud-based data and analytics platforms (Azure, AWS). - Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer ...
... services to deliver ultra-low latency, high-throughput data solutions, •Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards, , Data Engineering & Integration, •Expose time-series and analytics data through API gateways and integration layers, •Collaborate closely with data science and AI teams ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...
... will be shared during the recruitment process. Our requirements - Bachelor’s degree in Computer Science, Engineering, or related field - Proven experience as a Data Engineer or similar role - Strong knowledge of data processing technologies and database systems (SQL, NoSQL) - Experience with data pipeline and workflow management ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...
... datasets, and data structures from legacy warehouses to the new platform - Document data flows, technical solutions, incidents, and operational procedures - Maintain data dictionaries and runbooks to ensure effective knowledge sharing and platform support - Collaborate closely with the Senior Data Engineer, Head of Data & Analytics, ...
- Minimum 5 years of commercial experience in data engineering with Google Cloud - Google Cloud Professional Data Engineer certification (expected or to be obtained within the first month of work). - Advanced knowledge of the Google Cloud ecosystem: BigQuery, Cloud Storage, Pub/Sub, BigTable, Dataflow, Dataproc, Cloud Functions/Run, ...
... Creating and maintaining data import/export processes., Preparing documentation and continuously learning business aspects. At least 2 years of experience in databases and ETL., Strong SQL knowledge (procedural database languages such as T-SQL, PL/SQL)., Experience with Databricks., Experience with version control tools., ...