Do zespołu Data Platform poszukujemy doświadczonego Data Engineer ( Spark), który będzie odpowiedzialny za projektowanie, rozwój i optymalizację rozwiązań do rekoncyliacji danych w warstwie ODS (Operational Data Store), opartej na MongoDB, oraz ich synchronizację z systemami źródłowymi w branży bankowej.
Osoba na tym stanowisku będzie również rozwijać i utrzymywać architekturę Data Lakehouse, obejmującą przetwarzanie danych od warstwy surowej po warstwy prezentacyjne (bronze, silver, gold), z wykorzystaniem Apache Spark oraz Apache Iceberg. Praca zdalna.
Tak organizujemy naszą pracę
Tak pracujemy
koncentrujesz się na jednym projekcie
masz wpływ na wybór narzędzi i technologii
masz wpływ na rozwiązania technologiczne
agile
scrum
Skład zespołu
backend developer
devOps
data scientist
programista testów automatycznych
tester manualny
product owner
project manager
scrum master
Twój zakres obowiązków
Projektowanie i implementacja procesów rekoncyliacji danych z wykorzystaniem Apache Spark, PySpark i Spark SQL, w tym porównywanie danych w MongoDB z danymi w systemach źródłowych.
Opracowywanie reguł jakości danych, wykrywanie duplikatów, brakujących rekordów i anomalii oraz generowanie raportów i alertów.
Integracja Apache Spark z MongoDB przy użyciu MongoDB Spark Connector, w tym optymalizacja odczytu i zapisu danych.
Projektowanie, rozwój i utrzymanie warstw Data Lakehouse w architekturze raw/bronze/silver/gold z wykorzystaniem Apache Iceberg.
Implementacja procesów CI/CD dla schematów tabel, migracji oraz wersjonowania danych.
Optymalizacja wydajności procesów Spark, w tym partycjonowania, cache’owania, broadcast joins i Adaptive Query Execution.
Monitorowanie procesów przetwarzania danych oraz wdrażanie rozwiązań observability z wykorzystaniem Prometheus i Grafana.
Automatyzacja budowania, testowania i wdrażania aplikacji Spark z wykorzystaniem Jenkins oraz, w zależności od środowiska, Dockera i Kubernetes.
Diagnozowanie problemów związanych z jakością, spójnością i aktualnością danych oraz opóźnieniami w przetwarzaniu.
Tworzenie i utrzymywanie dokumentacji technicznej, runbooków oraz diagramów przepływu danych.
Współpraca z Data Engineerami, analitykami biznesowymi, testerami i zespołem DevOps w metodykach Agile.
Udział w code review, dzielenie się wiedzą oraz wspieranie rozwoju technicznego zespołu.
Nasze wymagania
Minimum 5 lata praktycznego doświadczenia jak Data Engineer lub Big Data
Bardzo dobra znajomość PySpark, Spark SQL, DataFrames oraz Structured Streaming.
Doświadczenie w odczycie i zapisie danych w MongoDB z wykorzystaniem MongoDB Spark Connector.
Praktyczne doświadczenie z Apache Iceberg, w szczególności w zakresie zarządzania tabelami, wersjonowania danych oraz operacji upsert/merge.
Bardzo dobra znajomość języka Python i SQL.
Doświadczenie w budowaniu i utrzymywaniu procesów CI/CD z wykorzystaniem Jenkins.
Znajomość testowania aplikacji Spark, w tym testów jednostkowych i integracyjnych.
Doświadczenie w monitorowaniu procesów danych z wykorzystaniem Prometheus i Grafana.
Znajomość metodyk Scrum lub Kanban oraz narzędzi Jira i Confluence.
Mile widziane
Doświadczenie w pracy z Delta Lake lub Apache Hudi.
Znajomość Kubernetes, Dockera i Spark Operator.
Doświadczenie w implementacji rozwiązań observability z wykorzystaniem OpenTelemetry lub Dynatrace.
Znajomość zagadnień data quality, data lineage oraz definiowania SLA/SLO dla procesów danych.
Doświadczenie w optymalizacji kosztów i wydajności przetwarzania dużych wolumenów danych.
To oferujemy
Praca zdalna
B2B: 1200 PLN/MD
Tak pracujemy nad projektem
code review
Continuous Integration
DevOps
active monitoring
dokumentacja
narzędzia do trackowania zadań
testy integracyjne
testy jednostkowe
Takie dajemy możliwości rozwoju
mentoring
szkolenia zewnętrzne
Etapy rekrutacji
CV
Introductory interview
Technical interview
UPVANTA SPÓŁKA Z OGRANICZONĄ ODPOWIEDZIALNOŚCIĄ
Welcome to Upvanta, where our motto is “We Care More”.
Founded in 2018, we have grown into a dynamic IT services company with a team of over 180 dedicated professionals. Our journey has been marked by exceptional year-over-year growth, driven by our unwavering commitment to our clients.
Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".
Must-Have Qualifications - At least 3+ years of experience in big data engineering. - Proficiency in Scala and experience with Apache Spark . - Strong understanding of distributed data processing and frameworks like Hadoop. - Experience with message brokers like Kafka . - Hands-on experience with SQL/NoSQL databases. - ...
... proponowanie działań naprawczych, Praca hybrydowa - 3 dni w tygodniu z Warszawy (WARUNEK KONIECZNY), Stawka: do 200 zł netto + VAT/H/B2B Min. 4 lata doświadczenia w Big Data Engineering (mile widziane doświadczenie w bankowości), Bardzo dobra znajomość: Spark, Java, SQL, Hive, Znajomość narzędzi i technologii: (mile widziane) Python, ...
Wymagane, Apache Kafka, Apache Spark, PySpark, Python, Java, MongoDB, CI/CD, Prometheus, Grafana System operacyjny, Linux O projekcie, W Ideamotive szukamy doświadczonej osoby na stanowisko Senior Data Engineer. Dołączysz do nas, aby realizować projekty dla klientów z sektora bankowego. Skupiamy się na budowie i rozwoju ...
... project, As a Senior Data Engineer (Spark), you will join a complex data engineering project focused on building and developing scalable data pipelines and modern data processing solutions., , The role combines approximately 70% hands-on data engineering with 30% technical leadership. Alongside designing and developing data ...
Senior/Lead Data Software Engineer (Python, Spark, Azure) Miejsce pracy: Wrocław Technologies we use Expected - Pytest - Spark - Microsoft Azure - PySpark - Docker - Kubernetes - Terraform Cloud - Gtilab About the project We are seeking a Senior/Lead Data Software Engineer to join our team working on a scalable, ML-ready ...
Data Engineer (Python, Apache Spark, Hadoop) (m/n/k) Miejsce pracy: Kraków Technologie, których używamy Wymagane - Jenkins - Python - PySpark - Hadoop - Spark - BigQuery - Google Cloud Platform - SQL O projekcie Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego ...
... data engineers, analysts, and architects to deliver end to end data solutions., Participate in continuous improvement of the data platform architecture and engineering standards., Note: Detailed project information will be shared during the recruitment process. Proven experience as a Data Engineer / Spark Developer in big ...
... data engineers, analysts, and architects to deliver end to end data solutions., Participate in continuous improvement of the data platform architecture and engineering standards., Note: Detailed project information will be shared during the recruitment process. Proven experience as a Data Engineer / Spark Developer in big ...
... responsible for building the new data platform that supports various business processes and interacts with multiple stakeholders. Our team is dedicated to implementing data solutions using the latest big data technologies to support structured finance activities within the GLBA business line. As a Big Data Engineer (Spark/Scala) ...
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...