Data Engineer (Python, Apache Spark, Hadoop) (m/n/k) w Kraków, Polska

Wymagane, Jenkins, Python, PySpark, Hadoop, Spark, BigQuery, Google Cloud Platform, SQL

O projekcie, Poszukujemy inżyniera danych z silnym zapleczem programistycznym (Python + PySpark), który dołączy do międzynarodowego projektu dla klienta z sektora bankowego. Rola łączy budowę skalowalnych procesów ETL w chmurze z projektowaniem zaawansowanych frameworków testowych i walidacyjnych dla danych krytycznych biznesowo.

Tak pracujemy, u klienta

Twój zakres obowiązków, Rozwój procesów przetwarzania danych w chmurze (GCP) i środowisku Big Data., Projektowanie i optymalizacja zadań Spark / PySpark uruchamianych na klastrach GCP Dataproc oraz w ekosystemie Hadoop., Budowa frameworków walidacyjnych w PySpark/Python do weryfikacji schematów, transformacji i reguł biznesowych przed wejściem na produkcję., Wdrażanie zautomatyzowanych testów oraz reguł walidacyjnych (Data Quality) w Python /PySpark., Zasilanie i transfer danych ze źródeł do chmurowej hurtowni (BigQuery)., Automatyzacja wdrożeń i harmonogramowanie zadań z wykorzystaniem Airflow oraz Jenkins.

Min. 4 lata doświadczenia w inżynierii danych w środowiskach rozproszonych., Zaawansowany Python z naciskiem na OOP (wzorce projektowe, pisanie czystego, modularnego kodu)., Doświadczenie z PySpark & Apache Spark (Praktyka w optymalizacji jobów, partitioningu i monitorowaniu klastrów)., Doświadczenie z ekosystemem Hadoop oraz pracą na dużych wolumenach danych., Praktyczna znajomość Dataproc, BigQuery oraz Cloud Storage., Umiejętność budowania testów automatycznych na styku Spark/Python, praca z Airflow oraz CI/CD (Jenkins)., Dobry angielski (min. B2 do codziennej komunikacji w projekcie).

Mile widziane, Doświadczenie w domenie bankowej lub finansowej.

To oferujemy, Stabilność zatrudnienia – długofalowe projekty, współpraca z wiodącymi firmami, możliwość rozwoju w różnych obszarach branży IT., Elastyczne formy współpracy – umowa B2B, umowa o pracę lub zlecenie., Benefity: Medicover (rozszerzony o stomatologię), FitProfit, lekcje języka angielskiego., Treningi na siłowni F45 - zlokalizowanej w naszym biurze. Wspólnie ćwiczymy pod okiem profesjonalnych trenerów., Wewnętrzny program poleceń., Możliwość finansowania certyfikatów IT., W zależności od projektu pracujemy w trybie hybrydowym, zdalnym lub stacjonarnym., Wydarzenia okolicznościowe oraz wyjazdy integracyjne - budujemy zgrany zespól również poza biurem., Lubimy pomagać - wspieramy akcje charytatywne, takie jak Szlachetna Paczka, a w ramach #PomagamyNexio angażujemy się tam, gdzie naprawdę możemy coś zmienić.

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna, dofinansowanie nauki języków, dofinansowanie szkoleń i kursów, owoce, spotkania integracyjne, opieka stomatologiczna, kawa / herbata, program rekomendacji pracowników, inicjatywy dobroczynne, angielski

Nexio Management Sp. z o.o., Nexio Management to zaufany partner biznesowy w drodze do cyfrowej przyszłości. Posiadamy prawie 20-letnie doświadczenie na rynku IT w Polsce i poza jej granicami. Prowadzimy działania w oparciu o transparentne i szczere relacje. Tworzymy innowacyjne rozwiązania technologiczne, kreując przy tym interesujące i rozwojowe środowisko pracy dla naszych ekspertów. Obecnie zatrudniamy 550 konsultantów, którzy świadczą usługi IT dla Klientów na całym świecie. Nasza główna siedziba mieści się w Warszawie, poza tym mamy biura w Rumunii oraz Wielkiej Brytanii. Posiadamy również własne R&D Center, które jest miejscem powstawania innowacyjnych projektów m.in.: w obszarach testów, Big Data, Cloud czy AI.W ramach naszych usług tworzymy szyte na miarę rozwiązania, utrzymujemy i rozwijamy nawet najbardziej wymagające systemy IT. Działamy w takich modelach biznesowych jak managed services, fixed prices oraz wspieramy zespoły naszych klientów w modelach scale up the team. Naszymi klientami są firmy z wielu zróżnicowanych branż, szukające wsparcia najwyższej klasy ekspertów.

Tak się u nas pracuje,