Senior Data Engineer - Scala / Spark / Hadoop w Gdańsk, Polska

Wymagane, Scala, Hadoop, Apache Spark, Apache Airflow, Apache Flink, Apache Hive, Kafka, Jenkins, Git, SQL

Mile widziane, Kubernetes, Apache Flink, Apache Airflow, Apache Hive

Tak pracujemy, wewnątrz organizacji, koncentrujesz się na jednym projekcie, masz wpływ na wybór narzędzi i technologii, masz wpływ na rozwiązania technologiczne, masz wpływ na produkt, koncentrujesz się na rozwoju produktu

Skład zespołu, backend developer, devOps, product owner

Twój zakres obowiązków, Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark., Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych., Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne., Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych., Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych., Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow., Rozwijanie rozwiązań opartych na języku Scala., Praca z architekturą event-driven wykorzystującą Apache Kafka., Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins., Zapewnianie wsparcia L3 dla środowisk produkcyjnych., Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów., Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów., Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań.

Bardzo dobra, praktyczna znajomość Scali., Doświadczenie komercyjne z Apache Hadoop., Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych., Doświadczenie w tworzeniu pipeline’ów Data Engineering., Znajomość Apache Kafka oraz architektury event-driven., Praktyczne doświadczenie z CI/CD, w szczególności Jenkins., Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów., Umiejętność tworzenia i optymalizowania zapytań SQL., Doświadczenie w pracy ze środowiskami produkcyjnymi., Umiejętność samodzielnego analizowania złożonych problemów technicznych., Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole., Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku., Możliwość wykonywania pracy z terytorium Polski.

Mile widziane, Znajomość Kubernetes., Doświadczenie z Apache Flink., Znajomość Apache Airflow lub Apache Oozie., Doświadczenie w projektach regulacyjnych lub systemach raportowych., Doświadczenie zdobyte w sektorze finansowym.

To oferujemy, Udział w strategicznym projekcie regulacyjnym o realnym znaczeniu dla sektora finansowego., Pracę w zaawansowanym środowisku Big Data., Możliwość korzystania z technologii takich jak Scala, Hadoop, Spark, Kafka, Airflow i Jenkins., Dużą samodzielność oraz wpływ na podejmowane decyzje techniczne., Współpracę z doświadczonym, międzynarodowym zespołem., Stabilny i długoterminowy projekt., Środowisko pracy stawiające na jakość, bezpieczeństwo oraz rozwój kompetencji eksperckich., Możliwość zdobycia doświadczenia w obszarze regulacji finansowych i raportowania.

Tak pracujemy nad projektem, code review, Continuous Deployment, Continuous Integration, dokumentacja, automatyzacja testów

Takie dajemy możliwości rozwoju, mentoring, wspieramy wydarzenia dla IT, wymiana wiedzy technicznej w firmie

Etapy rekrutacji, Rozmowa techniczna, Rozmowa z klientem

Tryb pracy:, hybrydowy – 2 dni w tygodniu z biura

https://jobeax.com/link/SOT7uu5CykSNkxdj S.A., B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.