Data Engineer w Katowice, Polska

Dołącz do zespołu Knauf jako Data Engineer i twórz nowoczesne, skalowalne rozwiązania danych w chmurze. Będziesz projektować i rozwijać pipeline’y danych dla procesów batchowych i czasu rzeczywistego, pracując z technologiami takimi jak Azure, Databricks, Kafka, Python, SQL i Spark. W tej roli będziesz współpracować z zespołami Data, analityki i inżynierii, dbając o jakość, bezpieczeństwo i dostępność danych Data Engineer Obowiązki Projektowanie, budowanie i optymalizowanie skalowalnych pipeline’ów danych oraz infrastruktury cloud-native dla procesów batchowych i przetwarzania w czasie rzeczywistym, z wykorzystaniem Azure, Databricks i Kafka. Rozwijanie i automatyzowanie procesów ETL/ELT związanych z pobieraniem, transformacją, przechowywaniem i orkiestracją danych przy użyciu m.in. Airflow, Azure Data Factory lub Prefect. Projektowanie modeli danych oraz dbanie o jakość, spójność, niezawodność i governance danych w data lake’ach, hurtowniach danych i operacyjnych magazynach danych. Wzmacnianie bezpieczeństwa i odporności rozwiązań poprzez stosowanie RBAC, ABAC, szyfrowania, wymagań GDPR, monitoringu, diagnostyki i procesów odtwarzania. Współpraca z Data Scientists, analitykami i zespołami inżynieryjnymi przy dostarczaniu zaufanych danych, wdrażaniu nowych technologii i rozwoju standardów inżynieryjnych. Wsparcie i mentoring młodszych inżynierów. Wymagania Minimum 5 lat doświadczenia w obszarze data engineering, ETL lub technologii big data oraz praktyczna znajomość Databricks, Kafka i GitHub. Znajomość SAP Datasphere będzie dodatkowym atutem. Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem Airflow, Azure Data Factory, Azure Synapse i Databricks. Dobra znajomość modelowania danych, w tym Data Vault 2.0, schematów gwiazdy, Party Model oraz normalizacji. Bardzo dobra znajomość SQL oraz Python, Scala lub Java, a także doświadczenie ze Spark, Hadoop, Kafka, Event Hubs, Infrastructure as Code, bezpieczeństwem, governance, lineage i zgodnością regulacyjną. Doświadczenie w pracy w środowisku Agile i DevSecOps oraz znajomość narzędzi monitoringu i jakości danych, takich jak Monte Carlo, Datadog lub Great Expectations. Umiejętność wpływania na decyzje architektoniczne, poprawiania wydajności i dostępności pipeline’ów oraz podnoszenia standardów inżynieryjnych. Oferujemy Umowę o pracę na czas nieokreślony w stabilnej i odnoszącej sukcesy firmie rodzinnej. Elastyczne godziny pracy oraz możliwość pracy zdalnej w wybrane dni tygodnia. Prywatną opiekę medyczną, działania wspierające zdrowie, zniżki na sport i rekreację oraz dbałość o bezpieczeństwo pracy. Parking oraz dogodny dostęp do transportu publicznego, w tym pociągów i autobusów. Wsparcie w realizacji studiów, szkoleń, kursów i dalszego rozwoju zawodowego. Inspirujące środowisko pracy sprzyjające kreatywności, współpracy i efektywnemu rozwojowi. Aplikuj