Data Engineer w Warszawa, Polska

Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer. Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe. ZKRES USŁUG: Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS. Budowa i rozwój nowoczesnej platformy danych wspierającej wiele różnorodnych produktów klienta i obszarów biznesowych. Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions. Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich. Wsparcie zespołów ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker. Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym. Zapewnienie jakości danych poprzez walidację, monitoring i observability. WYMAGANE KOMPETENCJE: Minimum 4 letnie doświadczenie komercyjne w roli Data Engineer lub podobnej. Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL. Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych. Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native. Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML. Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions. Znajomość AWS Glue, w tym tworzenia i utrzymania Glue Jobs oraz zarządzania danymi w Glue Catalog. Mile widziane: Doświadczenie z Terraform w zakresie automatyzacji i zarządzania infrastrukturą jako kodem (IaC). Doświadczenie w pracy z chmurą Azure oraz narzędziem Azure DevOps. znajomość narzędzi oraz rozwiązań AI/ML. ✨ OFERUJEMY: Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu. Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem. Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables. Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą. Otwartość na okazjonalne spotkania koordynacyjne w Warszawie (orientacyjnie raz na kwartał). 5 000 PLN za polecenie znajomych do naszych projektów. Elastyczną formę współpracy B2B. Szybki i zdalny proces. Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami. 13400/RJ