Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
... informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia ...
Data Engineer Miejsce pracy: Kętrzyn Technologies we use Expected - SAP - Microsoft Excel About the project This is an exciting job opportunity for you to light the way as a Data Engineer in Kętrzyn (Poland) with Signify. You will interact with various departments from the factory, R&D, product management, and more around ...
... produkcyjnych, wielkoskalowych rozwiązań Big Data na public cloud., Doświadczenie w projektowaniu rozwiązań typu internet-scale., Doświadczenie we współpracy z Data Scientists, Data Analysts i Software Engineers przy realizacji złożonych potrzeb związanych z danymi. To oferujemy, Pracę przy projektach klienckich i produktach ...
Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane - GCP - BigQuery - Ab Initio - Data Lake - Data Warehouse - CI/CD Twój zakres obowiązków - Projektowanie, rozwój i wdrażanie wysokowydajnych pipeline'ów danych w modelu batch i streaming. - Projektowanie i implementacja skalowalnych systemów przetwarzania ...
Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane - Google Cloud Platform - BigQuery - Cloud Storage - Pub/Sub - Oracle - SQL - Python Mile widziane - PostgreSQL System operacyjny - Windows O projekcie W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów ...
... Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły ...
Data Engineer Miejsce pracy: Warszawa Technologie, których używamy Wymagane - Python - Rust - Kafka - Linux - PostgreSQL Mile widziane - Docker - Kubernetes O projekcie W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ...
... środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage,, projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub,, migrację oraz przebudowę procesów przetwarzania i zasilania ...
Data Engineer Miejsce pracy: Gdańsk Technologie, których używamy Wymagane - SQL - Python - Git - Jenkins Mile widziane - Jira - Confluence System operacyjny - Linux O projekcie Projekt obejmuje ingestowanie danych do Hadoop z wykorzystaniem ARC Ingestion Framework. Zakres prac koncentruje się na przygotowaniu i testowaniu ...
... Windows About the project, We're looking for a talented Data Engineer to join our client's team and take a central role in building and optimizing high-performance data workflows. If you love working with large datasets, PySpark, and solving tough data challenges, this opportunity is for you! This is how we work, at the client's ...
Expected, Python, SQL, pyspark, Databricks, BigData, GCP About the project, As a Data Engineer, you will play an important role in designing, building and maintaining reliable data solutions that support Kingfisher’s data platforms and products., , Working as part of a collaborative engineering team, you will contribute ...