Wieloletnie doświadczenie na stanowisku Data Engineer lub w podobnej roli.
Bardzo dobra znajomość Azure Databricks.
Praktyczne doświadczenie w pracy z Python, PySpark oraz Spark SQL.
Znajomość Delta Lake i architektury Lakehouse.
Doświadczenie w projektowaniu i rozwijaniu rozwiązań opartych na modelu Bronze, Silver, Gold.
Umiejętność budowania procesów integracji danych z wykorzystaniem API, plików oraz usług chmurowych Azure.
Doświadczenie w pracy z ADLS Gen2 oraz usługami przechowywania danych w ekosystemie Azure.
Znajomość zagadnień związanych z jakością danych, walidacją schematów, uzgadnianiem danych oraz monitorowaniem procesów.
Doświadczenie w zarządzaniu metadanymi i śledzeniu pochodzenia danych (data lineage).
Praktyczna znajomość Unity Catalog lub podobnych rozwiązań z obszaru governance.
Umiejętność optymalizacji wydajności procesów i dużych wolumenów danych.
Doświadczenie w implementacji CI/CD oraz automatycznych testów dla rozwiązań data engineeringowych.
Doświadczenie w środowiskach o wysokich wymaganiach dotyczących zgodności, jakości i kontroli danych.
Bardzo dobra znajomość języka angielskiego.
Mile widziane:
Doświadczenie z Databricks Workflows oraz Databricks Jobs.
Znajomość Delta Live Tables lub Lakeflow.
Doświadczenie związane z przetwarzaniem metadanych dokumentów oraz zarządzaniem referencjami do zasobów elektronicznych.
Doświadczenie w projektach wymagających pełnej identyfikowalności, audytowalności oraz kontrolowanych procesów wdrożeniowych.
Naszym klientem jest globalna firma farmaceutyczna, która rozwija zaawansowane rozwiązania data & analytics wspierające procesy biznesowe i regulacyjne na skalę międzynarodową. Poszukujemy eksperta, który dołączy do zespołu odpowiedzialnego za budowę i rozwój strategicznej platformy danych w środowisku Azure Databricks.
Branża: Technology & Telecoms
Obszar: IT Data Analysis
Oferujemy
Stawka do 34 EUR/h
Praca w pełni zdalna
Start projektu: 1 listopada
Długoterminowy projekt do 31.10.2027
Praca w międzynarodowym środowisku przy rozwoju strategicznej platformy danych
Realny wpływ na rozwój nowoczesnych rozwiązań opartych o Azure Databricks i architekturę Lakehouse
Umowa B2B via Michael Page
,[Projektowanie, rozwój oraz utrzymanie wydajnych procesów przetwarzania danych w środowisku Azure Databricks., Tworzenie i rozwijanie pipeline'ów danych z wykorzystaniem Python, PySpark, Spark SQL oraz Delta Lake., Realizacja procesów integracji danych pochodzących z interfejsów API, plików JSON, usług Azure Storage oraz systemów korporacyjnych., Implementacja i rozwijanie architektury danych opartej na modelu Bronze, Silver, Gold., Transformacja, standaryzacja oraz przygotowywanie danych do dalszego wykorzystania przez odbiorców biznesowych i systemowych., Budowanie mechanizmów kontroli jakości danych, walidacji, uzgadniania danych oraz monitoringu procesów przetwarzania., Tworzenie automatycznych testów danych oraz wdrażanie operacyjnych mechanizmów kontroli jakości., Optymalizacja wydajności środowiska, procesów przetwarzania oraz strategii partycjonowania danych., Implementacja procesów CI/CD dla kodu i rozwiązań data engineeringowych., Tworzenie mechanizmów monitorowania, obsługi błędów oraz ponownego przetwarzania danych., Utrzymywanie wysokich standardów zarządzania danymi, zgodności, identyfikowalności i audytowalności procesów., Współpraca z architektami, interesariuszami biznesowymi oraz zespołami technologicznymi przy projektowaniu i wdrażaniu nowych rozwiązań] Requirements: Azure Databricks, Python, PySpark, Spark SQL, API, Azure, ADLS, Data engineering, Databricks, Delta Live Table Additionally: Private healthcare.
... komunikację biznesową i techniczną. Mile widziane - Doświadczenie w sektorze bankowym lub finansowym. - Znajomość narzędzi Flexera Data Platform oraz modułów FlexeraOne ITAM i ITV. - Doświadczenie w przygotowywaniu materiałów na potrzeby audytów i kontroli regulacyjnych. - Znajomość obszaru Technology Risk, IT Compliance lub IT Governance. ...
... systemów MES/SCADA i innych źródeł przemysłowych w spójny ekosystem analityczny, Wdrażanie rozwiązań AI od etapu PoC do środowiska produkcyjnego (deployment, monitoring, retraining modeli), Współpraca z zespołami operacyjnymi, technologicznymi i IT w celu optymalizacji procesów produkcyjnych, Raportowanie wyników analiz oraz ...
... systemów tożsamości. - Udział w identyfikacji, analizie oraz obsłudze incydentów bezpieczeństwa. - Analiza zachowań cyberprzestępców z wykorzystaniem frameworku MITRE ATT&CK. - Zarządzanie procesem Vulnerability Management oraz priorytetyzacją podatności do remediacji. - Identyfikacja błędnych konfiguracji, ścieżek ataku i ...
... projektowymi. - Koordynacja pracy zespołów projektowych liczących ponad 25 osób. - Współpraca z klientami, dostawcami oraz kluczowymi interesariuszami projektu. - Monitorowanie postępów prac oraz przygotowywanie raportów projektowych. - Zapewnienie terminowej i zgodnej z założeniami realizacji projektów. The Successful Applicant ...
Senior Data Engineer (Databricks & PySpark) Miejsce pracy: Warszawa Technologies we use Expected - PySpark - Python - Spark SQL - Git Operating system - Windows About the project We are seeking an experienced Senior Data Engineer on behalf of our client to design, build, and operate their Sustainability Data Foundation ...
... Microsoft Power BI, Tableau, Qlik Sense, Elasticsearch, Python, R, SAS, SAS 4GL, Google Cloud Platform O projekcie, Poszukujemy doświadczonej osoby na stanowisko Senior Data Engineer, która będzie rozwijać procesy przetwarzania danych, infrastrukturę bazodanową oraz rozwiązania analityczno-raportowe w obszarze produktów i usług ...
... hands on experience in either AWS or Azure data engineering services - Practical experience with dbt for data transformation - Strong SQL skills and experience with relational databases - Familiarity with Apache Airflow for workflow orchestration - Proficiency in Python for data engineering tasks - Strong problem-solving ...
... ELT., Budowa rozwiązań w architekturze data lakehouse., Przetwarzanie dużych zbiorów danych w Sparku i Kafce., Przekładanie wymagań biznesowych na rozwiązania analityczne., Projektowanie architektury danych dla nowych projektów. Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera., Biegłej znajomości SQL i ...
... in environments where speed, scalability and data accuracy are critical. The company is now building its new R&D team in Kraków, giving engineers the opportunity to join at an early stage and help shape the technical foundations of the new organization. Expected, SQL, Python About the project, As a Senior Database Engineer, ...