Wspólnie z naszym Partnerem, spółką wsparcia dużej międzynarodowej grupy budowlanej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Data Engineer .
Projekt dotyczy budowy i rozwoju rozwiązań analitycznych w Microsoft Fabric , obejmujących przetwarzanie danych, tworzenie procesów ETL/ELT oraz przygotowanie modeli semantycznych Power BI dla użytkowników biznesowych.
ZAKRES USŁUG:
Zasilenie Lakehouse w architekturze Medalion (Bronze, Silver, Gold), zaprojektowane i wdrożone w ramach projektu.
Implementacja procesów ETL/ELT oraz Data Pipelines z wykorzystaniem PySpark i Notebooków Microsoft Fabric.
Dokumentacja techniczna modelu danych i reguł transformacji, przygotowana zgodnie ze standardami organizacji.
Zaprojektowane i rozwinięte modele semantyczne Power BI wraz z warstwą DAX.
Wdrożone zasady Data Governance i Data Quality dla przetwarzanych danych
WYMAGANE KOMPETENCJE:
Min. 3 lata doświadczenia jako Data Engineer , w tym w projektowaniu architektury Lakehouse.
Doświadczenie w projektowaniu modeli semantycznych Power BI i znajomość DAX , wraz z wdrażaniem zasad Data Governance.
Realizacja co najmniej jednego projektu obejmującego pełny cykl (od źródeł operacyjnych po publikację w Power BI).
Doświadczenie w budowie procesów ETL/ELT i modelowaniu warstw Bronze, Silver, Gold.
Komunikatywna znajomość języka angielskiego (B2/C1).
Praktyczna znajomość PySpark i Notebooków Fabric.
Doświadczenie w Microsoft Fabric.
Bardzo dobra znajomość SQL.
✨ OFERUJEMY:
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Realizacja usług na rzecz Partnera - spółki wsparcia dużej międzynarodowej grupy budowlanej - w obszarze Data & Analytics, na podstawie ustaleń z interesariuszami projektu.
Współpraca realizowana w modelu projektowym z rozliczeniem opartym na etapach i protokołach odbioru deliverables, w ramach elastycznej formy współpracy B2B.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów.
Szybki i zdalny proces rekrutacyjny.
Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
... datasets, and data structures from legacy warehouses to the new platform - Document data flows, technical solutions, incidents, and operational procedures - Maintain data dictionaries and runbooks to ensure effective knowledge sharing and platform support - Collaborate closely with the Senior Data Engineer, Head of Data & Analytics, ...
- Minimum 5 years of commercial experience in data engineering with Google Cloud - Google Cloud Professional Data Engineer certification (expected or to be obtained within the first month of work). - Advanced knowledge of the Google Cloud ecosystem: BigQuery, Cloud Storage, Pub/Sub, BigTable, Dataflow, Dataproc, Cloud Functions/Run, ...
... maintaining scalable data processing pipelines using SQL, Python, and Apache Spark / PySpark., Working with raw data and designing methods for its integration into the data platform., Developing CI/CD pipelines for data engineering solutions., Creating and maintaining Infrastructure as Code solutions., Integrating the data platform ...
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...
Your responsibilities - Design, develop, and maintain scalable batch and real-time data pipelines using modern data engineering technologies. - Build and optimize data processing solutions leveraging Apache Spark, Kafka, and distributed computing frameworks. - Develop and manage data warehousing solutions using Apache Hive ...
... środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage, - projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub, - migrację oraz przebudowę procesów przetwarzania i zasilania ...
... services to deliver ultra-low latency, high-throughput data solutions - • Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards - - Data Engineering & Integration - • Expose time-series and analytics data through API gateways and integration layers - • Collaborate closely with data science and ...
... integracyjne, plikowe, API oraz strumieniowe, m.in. Kafka - POC nowych narzędzi i technologii do potencjalnego wdrożenia w HD PZU, w tym rozwiązań SAS Viya, Oracle Exadata, Microsoft Fabric, Power BI oraz narzędzi automatyzujących pracę zespołu - Budowa narzędzi monitorujących aktywność użytkowników HD oraz wspierających kontrolę ...
Your responsibilities - Experience in data science, engineering, and data analysis. - Experience leveraging SQL and Python (dataframes) for data pipeline orchestration, file ingestion, data cleansing, data joining and relationships, data aggregation, data manipulation, and data analysis to create meaningful informed results ...
... and follow engineering best practices. - Support data workflow automation and CI/CD processes using orchestration tools (e.g. Airflow, Prefect). - Use modern data platforms such as Databricks in production or development environments. Your profile - Experience as a Data Engineer with strong practical skills in data processing. ...
Your responsibilities - working with production data in a SQL Server environment, - supporting and optimizing ETL/ELT processes, - analyzing and optimizing SQL queries, - monitoring and troubleshooting issues using SQL Server diagnostic tools, - handling large data volumes across migration and export processes, - supporting ...