Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
... Wymagania Minimum 5 lat doświadczenia w obszarze data engineering, ETL lub technologii big data oraz praktyczna znajomość Databricks, Kafka i GitHub. Znajomość SAP Datasphere będzie dodatkowym atutem. Doświadczenie w projektowaniu i optymalizacji procesów ETL/ELT z wykorzystaniem Airflow, Azure Data Factory, Azure Synapse i Databricks. ...
Wymagane, Google Cloud Platform, Oracle, SQL, Informatica PowerCenter, Python Mile widziane, PostgreSQL O projekcie, Poszukujemy Middle Data Engineerów, którzy dołączą do projektu migracji danych i procesów przetwarzania ze środowiska on-premise/Oracle do Google Cloud Platform., , Projekt koncentruje się na budowie i przebudowie ...
Wymagane, SQL, Python, Git, Jenkins Mile widziane, Jira, Confluence System operacyjny, Linux O projekcie, Projekt obejmuje ingestowanie danych do Hadoop z wykorzystaniem ARC Ingestion Framework.
... SQL, used on large-scale datasets., Hands-on ETL/ELT design in a lakehouse environment., Comfort with infrastructure as code (Terraform) and DevOps work., Solid data modeling and integration, with the discipline to keep data trustworthy. Optional, Apache Spark and Azure Databricks. We build on Databricks, so this is a real ...
... dedykowane zespoły projektowe., , Cześć! Poznaj możliwości współpracy ze Scalo! Twój zakres obowiązków, realizację projektu dotyczącego zaprojektowania i wdrożenia data martu wspierającego potrzeby raportowe i analityczne w obszarze biznesowym banku,, zaimplementowanie procesów integracyjnych i ETL umożliwiających cykliczne pozyskiwanie ...
... Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły ...
... zapytań na sekundę, dziesiątki miliardów decyzji modeli ML dziennie i setki milionów wierszy logów aukcyjnych trafiających każdego dnia do bazy danych., , Jako Data Engineer będziesz rozwijać procesy dostarczające dane do tych modeli. Kluczową częścią Twojej pracy będzie monitorowanie i weryfikowanie jakości danych oraz zrozumienie ...
... źródłowych, API, baz danych, narzędzi CRM/finance/marketing oraz aplikacji produktowych do hurtowni danych. Minimum 4 lata doświadczenia w obszarze inżynierii danych / Data Engineeringu., Bardzo dobra znajomość SQL oraz praktyczne doświadczenie w pracy z dbt., Doświadczenie w pracy z chmurowymi hurtowniami danych (Snowflake, BigQuery ...
... business with deal and pricing analysis, providing data-driven insights and suggestions for cost improvement, Collaborate with product management and product engineers in New Product Introduction projects, Contribute to the central data engineering community and participate in cross-factory projects The ideal educational ...
... informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia ...
Data Engineer Miejsce pracy: Kętrzyn Technologies we use Expected - SAP - Microsoft Excel About the project This is an exciting job opportunity for you to light the way as a Data Engineer in Kętrzyn (Poland) with Signify. You will interact with various departments from the factory, R&D, product management, and more around ...