Data Platform Developer w Wrocław, Polska

O projekcie Dla naszego klienta, firmy z sektora bankowego realizującej nowoczesne projekty z obszaru Data & Technology, poszukujemy doświadczonego Data Platform Developera, który dołączy do zespołu rozwijającego skalowalną platformę danych opartą na architekturze event-driven. Szukamy osoby, która dobrze czuje się w świecie Apache Kafka i Java, ma doświadczenie w budowaniu mikroserwisów oraz rozumie zagadnienia związane z integracją danych, DevOps, monitoringiem i środowiskami produkcyjnymi. Twój zakres odpowiedzialności projektowanie i rozwój rozwiązań opartych na architekturze event-driven z wykorzystaniem Apache Kafka, tworzenie mikroserwisów w Java / Spring Boot obsługujących zdarzenia Kafka, praca z Kafka Streams oraz kSQL, projektowanie i wersjonowanie schematów danych: Avro, Protobuf, JSON Schema, konfiguracja i rozwój Kafka Connect, w tym konektorów source/sink, integracja Kafki z MongoDB, S3, Apache Iceberg oraz innymi bazami i systemami, implementacja transformacji danych z wykorzystaniem Single Message Transforms (SMT) oraz własnych konwerterów, rozwój warstwy API GraphQL udostępniającej dane z MongoDB, automatyzacja konfiguracji topiców, konektorów Kafka Connect, streamów kSQL oraz aplikacji Kafka Streams, wdrażanie rozwiązań związanych z monitoringiem i obserwowalnością – Prometheus, Grafana, OpenTelemetry, diagnostyka problemów związanych z replikacją, opóźnieniami oraz przetwarzaniem danych, optymalizacja konfiguracji Apache Kafka, m.in. partycji, retencji i mechanizmów replikacji, współpraca z Data Engineerami, DevOpsami oraz analitykami w środowisku Agile, dokumentowanie rozwiązań oraz dzielenie się wiedzą z zespołem. Czego oczekujemy? Must-have Minimum 3 lata praktycznego doświadczenia w środowiskach produkcyjnych. Apache Kafka – znajomość brokerów, topiców, konsumentów, producentów, logów oraz mechanizmów replikacji. Biegła znajomość Kafka Streams i kSQL. Kafka Connect – doświadczenie w konfiguracji i rozwoju konektorów, zarówno gotowych, jak i własnych. Wymagania Java i Spring – bardzo dobra znajomość frameworka Spring, w szczególności Spring Boot, Spring Cloud, Spring Security, Spring Data. MongoDB – doświadczenie w projektowaniu schematów dokumentowych, indeksowaniu oraz optymalizacji zapytań. GraphQL – doświadczenie w implementacji serwisów GraphQL, definiowaniu schematów i resolverów. Apache Iceberg – podstawowa znajomość formatu tabel oraz zarządzania metadanymi. Java i Python – praktyczna znajomość języków. Monitoring i observability – Prometheus, Grafana, OpenTelemetry. Bezpieczeństwo – znajomość TLS, SASL, ACL oraz szyfrowania danych w spoczynku i tranzycie. Agile – doświadczenie w pracy w Scrum/Kanban oraz znajomość Jira i Confluence.