Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
... visualization tools (e.g., Power BI, Tableau)., Knowledge of machine learning, predictive analytics, and statistical modeling techniques., Experience with cloud-based data and analytics platforms (Azure, AWS)., Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer, ...
... services to deliver ultra-low latency, high-throughput data solutions, •Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards, , Data Engineering & Integration, •Expose time-series and analytics data through API gateways and integration layers, •Collaborate closely with data science and AI teams ...
... visualization tools (e.g., Power BI, Tableau). - Knowledge of machine learning, predictive analytics, and statistical modeling techniques. - Experience with cloud-based data and analytics platforms (Azure, AWS). - Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer ...
... services to deliver ultra-low latency, high-throughput data solutions, •Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards, , Data Engineering & Integration, •Expose time-series and analytics data through API gateways and integration layers, •Collaborate closely with data science and AI teams ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...
... will be shared during the recruitment process. Our requirements - Bachelor’s degree in Computer Science, Engineering, or related field - Proven experience as a Data Engineer or similar role - Strong knowledge of data processing technologies and database systems (SQL, NoSQL) - Experience with data pipeline and workflow management ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...
... datasets, and data structures from legacy warehouses to the new platform - Document data flows, technical solutions, incidents, and operational procedures - Maintain data dictionaries and runbooks to ensure effective knowledge sharing and platform support - Collaborate closely with the Senior Data Engineer, Head of Data & Analytics, ...
- Minimum 5 years of commercial experience in data engineering with Google Cloud - Google Cloud Professional Data Engineer certification (expected or to be obtained within the first month of work). - Advanced knowledge of the Google Cloud ecosystem: BigQuery, Cloud Storage, Pub/Sub, BigTable, Dataflow, Dataproc, Cloud Functions/Run, ...
... Creating and maintaining data import/export processes., Preparing documentation and continuously learning business aspects. At least 2 years of experience in databases and ETL., Strong SQL knowledge (procedural database languages such as T-SQL, PL/SQL)., Experience with Databricks., Experience with version control tools., ...