świadczenie usług w ramach projektu migracji środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage,
projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub,
migrację oraz przebudowę procesów przetwarzania i zasilania danych ze środowisk on-premise do Google Cloud Platform,
projektowanie i rozwój procesów batch oraz streaming, wraz z mechanizmami kontroli jakości danych, obsługi błędów i ponawiania przetwarzania,
modelowanie danych oraz optymalizację struktur i zapytań SQL dla dużych wolumenów danych z uwzględnieniem wydajności, skalowalności i kosztów przetwarzania,
analizę oraz migrację istniejących procesów ETL opartych o Informatica PowerCenter do architektury docelowej w GCP,
implementację logiki transformacji i walidacji danych z wykorzystaniem SQL oraz Python,
współpracę przy analizie technicznej, testach, wdrożeniach oraz przygotowywaniu dokumentacji technicznej,
lokalizacja projektu: Warszawa,
tryb realizacji usług: hybrydowo, obejmujący obecność w biurze w Warszawie 1 raz w miesiącu,
Nasze wymagania
minimum 2 lata komercyjnego doświadczenia w obszarze Data Engineering, integracji lub przetwarzania danych,
praktyczne doświadczenie w pracy z Google Cloud Platform, w szczególności BigQuery, Cloud Storage oraz Pub/Sub,
doświadczenie w projektowaniu i implementacji procesów migracji danych do środowisk chmurowych,
praktyczna znajomość baz danych Oracle oraz doświadczenie w tworzeniu i optymalizacji zapytań SQL,
doświadczenie w pracy z dużymi wolumenami danych i analizie wydajności zapytań,
znajomość modelowania danych oraz projektowania logicznych i fizycznych modeli danych,
praktyczne doświadczenie z Informatica PowerCenter umożliwiające analizę oraz modyfikację procesów ETL,
znajomość języka Python w zakresie implementacji logiki przetwarzania danych,
doświadczenie w pracy z repozytoriami kodu oraz procesami CI/CD,
umiejętność przygotowywania testów jednostkowych i integracyjnych oraz dokumentacji technicznej.
Mile widziane
doświadczenie w migracji hurtowni danych z Oracle do BigQuery,
znajomość PostgreSQL,
doświadczenie w projektach realizowanych dla sektora finansowego lub bankowego,
znajomość praktyk DevOps oraz monitorowania procesów danych.
To oferujemy
możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,
zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,
dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.
Your responsibilities - Design, develop, and maintain scalable batch and real-time data pipelines using modern data engineering technologies. - Build and optimize data processing solutions leveraging Apache Spark, Kafka, and distributed computing frameworks. - Develop and manage data warehousing solutions using Apache Hive ...
... services to deliver ultra-low latency, high-throughput data solutions - • Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards - - Data Engineering & Integration - • Expose time-series and analytics data through API gateways and integration layers - • Collaborate closely with data science and ...
... integracyjne, plikowe, API oraz strumieniowe, m.in. Kafka - POC nowych narzędzi i technologii do potencjalnego wdrożenia w HD PZU, w tym rozwiązań SAS Viya, Oracle Exadata, Microsoft Fabric, Power BI oraz narzędzi automatyzujących pracę zespołu - Budowa narzędzi monitorujących aktywność użytkowników HD oraz wspierających kontrolę ...
Your responsibilities - Experience in data science, engineering, and data analysis. - Experience leveraging SQL and Python (dataframes) for data pipeline orchestration, file ingestion, data cleansing, data joining and relationships, data aggregation, data manipulation, and data analysis to create meaningful informed results ...
... and follow engineering best practices. - Support data workflow automation and CI/CD processes using orchestration tools (e.g. Airflow, Prefect). - Use modern data platforms such as Databricks in production or development environments. Your profile - Experience as a Data Engineer with strong practical skills in data processing. ...
Your responsibilities - working with production data in a SQL Server environment, - supporting and optimizing ETL/ELT processes, - analyzing and optimizing SQL queries, - monitoring and troubleshooting issues using SQL Server diagnostic tools, - handling large data volumes across migration and export processes, - supporting ...
... Optimization of databases and data storage systems - Collaborate with other teams to deliver solutions tailored to business needs - Monitor performance and troubleshoot data processing issues - Ensuring data security and integrity - E2E reports development Our requirements - Min. 2-3 years of experience as a Data Engineer or Data ...
... will be shared during the recruitment process. Our requirements - Bachelor’s degree in Computer Science, Engineering, or related field - Proven experience as a Data Engineer or similar role - Strong knowledge of data processing technologies and database systems (SQL, NoSQL) - Experience with data pipeline and workflow management ...
... energetycznym będącym jednym z największych producentów i dystrybutorów energii w Europie , poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer. Projekt dotyczy budowy i utrzymania platformy danych zasilającej inteligentnych agentów AI automatyzujących procesy SOC w oparciu o Azure Data Explorer ...
... Development: Cursor, Claude Code, ChatGPT Enterprise - Future direction: agentic AI systems, LangChain, Azure OpenAI integration What else you should know: - Team: Data Architecture Lead, Data Engineers, DataOps Engineers, Backend Engineer, Product Owner, collaboration with Frontend Engineers and Data Science and AI Engineers ...