Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
... procesów ETL/ELT oraz pipeline’ów przetwarzania danych działających w trybie batch i streaming,, tworzenie procesów zasilających BigQuery, hurtownie danych, Data Lake,, integrację danych pochodzących z systemów on-premise, chmury GCP, baz danych, plików, interfejsów API,, projektowanie logicznych i fizycznych modeli danych,, ...
... data service — a Python backend exposing data over a REST API, together with its web UI — from data model through API design to deployment. - Working with raw data and designing methods for its integration into the data platform. - Developing CI/CD pipelines for data engineering solutions. - Creating and maintaining Infrastructure ...
... informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia ...
... informacji na potrzeby AI, - analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych, - współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI, - model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie, - budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia ...
... business with deal and pricing analysis, providing data-driven insights and suggestions for cost improvement, Collaborate with product management and product engineers in New Product Introduction projects, Contribute to the central data engineering community and participate in cross-factory projects The ideal educational ...
... used on large-scale datasets. - Hands-on ETL/ELT design in a lakehouse environment. - Comfort with infrastructure as code (Terraform) and DevOps work. - Solid data modeling and integration, with the discipline to keep data trustworthy. Optional - Apache Spark and Azure Databricks. We build on Databricks, so this is a real ...
... visualization tools (e.g., Power BI, Tableau)., Knowledge of machine learning, predictive analytics, and statistical modeling techniques., Experience with cloud-based data and analytics platforms (Azure, AWS)., Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer, ...
... Wymagania Minimum 5 lat doświadczenia w obszarze data engineering, ETL lub technologii big data oraz praktyczna znajomość Databricks, Kafka i GitHub. Znajomość SAP Datasphere będzie dodatkowym atutem. Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem Airflow, Azure Data Factory, Azure Synapse i Databricks. ...
Wymagane, Google Cloud Platform, Oracle, SQL, Informatica PowerCenter, Python Mile widziane, PostgreSQL O projekcie, Poszukujemy Middle Data Engineerów, którzy dołączą do projektu migracji danych i procesów przetwarzania ze środowiska on-premise/Oracle do Google Cloud Platform., , Projekt koncentruje się na budowie i przebudowie ...
Wymagane, SQL, Python, Git, Jenkins Mile widziane, Jira, Confluence System operacyjny, Linux O projekcie, Projekt obejmuje ingestowanie danych do Hadoop z wykorzystaniem ARC Ingestion Framework.
... SQL, used on large-scale datasets., Hands-on ETL/ELT design in a lakehouse environment., Comfort with infrastructure as code (Terraform) and DevOps work., Solid data modeling and integration, with the discipline to keep data trustworthy. Optional, Apache Spark and Azure Databricks. We build on Databricks, so this is a real ...