Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...
Data Engineer Miejsce pracy: Wrocław Technologie, których używamy Wymagane - Python - SQL - Spark - Polars O projekcie Budujemy „mózg” biddera RTB — systemu, który w imieniu klientów e-commerce kupuje powierzchnię reklamową w aukcjach czasu rzeczywistego. Nasze modele ML decydują, jaką kampanię wyświetlić, jak powinna wyglądać ...
... visualization tools (e.g., Power BI, Tableau)., Knowledge of machine learning, predictive analytics, and statistical modeling techniques., Experience with cloud-based data and analytics platforms (Azure, AWS)., Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer, ...
... services to deliver ultra-low latency, high-throughput data solutions, •Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards, , Data Engineering & Integration, •Expose time-series and analytics data through API gateways and integration layers, •Collaborate closely with data science and AI teams ...
... visualization tools (e.g., Power BI, Tableau). - Knowledge of machine learning, predictive analytics, and statistical modeling techniques. - Experience with cloud-based data and analytics platforms (Azure, AWS). - Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer ...
... services to deliver ultra-low latency, high-throughput data solutions, •Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards, , Data Engineering & Integration, •Expose time-series and analytics data through API gateways and integration layers, •Collaborate closely with data science and AI teams ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...
... will be shared during the recruitment process. Our requirements - Bachelor’s degree in Computer Science, Engineering, or related field - Proven experience as a Data Engineer or similar role - Strong knowledge of data processing technologies and database systems (SQL, NoSQL) - Experience with data pipeline and workflow management ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...
... datasets, and data structures from legacy warehouses to the new platform - Document data flows, technical solutions, incidents, and operational procedures - Maintain data dictionaries and runbooks to ensure effective knowledge sharing and platform support - Collaborate closely with the Senior Data Engineer, Head of Data & Analytics, ...