Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
... business with deal and pricing analysis, providing data-driven insights and suggestions for cost improvement, Collaborate with product management and product engineers in New Product Introduction projects, Contribute to the central data engineering community and participate in cross-factory projects The ideal educational ...
... informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia ...
Data Engineer Miejsce pracy: Kętrzyn Technologies we use Expected - SAP - Microsoft Excel About the project This is an exciting job opportunity for you to light the way as a Data Engineer in Kętrzyn (Poland) with Signify. You will interact with various departments from the factory, R&D, product management, and more around ...
... produkcyjnych, wielkoskalowych rozwiązań Big Data na public cloud., Doświadczenie w projektowaniu rozwiązań typu internet-scale., Doświadczenie we współpracy z Data Scientists, Data Analysts i Software Engineers przy realizacji złożonych potrzeb związanych z danymi. To oferujemy, Pracę przy projektach klienckich i produktach ...
Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane - GCP - BigQuery - Ab Initio - Data Lake - Data Warehouse - CI/CD Twój zakres obowiązków - Projektowanie, rozwój i wdrażanie wysokowydajnych pipeline'ów danych w modelu batch i streaming. - Projektowanie i implementacja skalowalnych systemów przetwarzania ...
Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane - Google Cloud Platform - BigQuery - Cloud Storage - Pub/Sub - Oracle - SQL - Python Mile widziane - PostgreSQL System operacyjny - Windows O projekcie W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów ...
... Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły ...
Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane - Python - Rust - Kafka - Linux - PostgreSQL Mile widziane - Docker - Kubernetes O projekcie W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ...
... środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage,, projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub,, migrację oraz przebudowę procesów przetwarzania i zasilania ...
Data Engineer Miejsce pracy: Gdańsk Technologie, których używamy Wymagane - SQL - Python - Git - Jenkins Mile widziane - Jira - Confluence System operacyjny - Linux O projekcie Projekt obejmuje ingestowanie danych do Hadoop z wykorzystaniem ARC Ingestion Framework. Zakres prac koncentruje się na przygotowaniu i testowaniu ...
... Windows About the project, We're looking for a talented Data Engineer to join our client's team and take a central role in building and optimizing high-performance data workflows. If you love working with large datasets, PySpark, and solving tough data challenges, this opportunity is for you! This is how we work, at the client's ...