Minimum 3 lata komercyjnego doświadczenia jako Data Engineer
Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT
Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML
Dobra znajomość SQL
Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów i ponownym przetwarzaniu danych; znajomość narzędzi takich jak Pydantic, Pandera lub Great Expectations
Praktyczne doświadczenie z wybranymi usługami: Azure Data Lake Storage, Azure Data Factory, Azure Functions, Azure SQL, Azure Databricks lub Microsoft Fabric
Znajomość Git oraz CI/CD z wykorzystaniem Azure DevOps lub GitHub Actions
Angielski na poziomie minimum B2+, umożliwiający rozmowę rekrutacyjną i codzienną współpracę z klientem
Samodzielność i umiejętność odnalezienia się w istniejącym zespole oraz środowisku technicznym
Mile widziane:
Integracja wyników AI/LLM z pipeline'ami danych i ocena ich jakości
Znajomość zasad przygotowania modeli danych pod Power BI
Doświadczenie z danymi legislacyjnymi lub regulacyjnymi, np. API https://jobeax.com/link/fiL5gkJ7iC6E7TGW lub UK Parliament
Prywatna opieka medyczna
Dofinansowanie karty sportowej
Stałe wsparcie konsultanta
Program rekomendacji pracowników
,[Integracja z zewnętrznymi REST API, w tym obsługa autoryzacji, paginacji, limitów zapytań i ponawiania połączeń, Pobieranie, parsowanie i przetwarzanie danych w formatach JSON i XML, Implementacja transformacji i struktur danych zgodnie z przyjętą architekturą, Zapewnienie jakości danych poprzez walidację, obsługę zmian schematów źródłowych i możliwość ponownego przetwarzania danych, Wdrażanie logowania, monitorowania działania pipeline'ów oraz obsługi błędów, Praca z repozytoriami Git i procesami CI/CD klienta, Bieżąca współpraca z zespołem klienta, samodzielne doprecyzowywanie wymagań i zgłaszanie problemów technicznych] Requirements: Python, Azure Additionally: Sport subscription, Private healthcare.
... Windows About the project, We're looking for a talented Data Engineer to join our client's team and take a central role in building and optimizing high-performance data workflows. If you love working with large datasets, PySpark, and solving tough data challenges, this opportunity is for you! This is how we work, at the client's ...
Expected, Python, SQL, pyspark, Databricks, BigData, GCP About the project, As a Data Engineer, you will play an important role in designing, building and maintaining reliable data solutions that support Kingfisher’s data platforms and products., , Working as part of a collaborative engineering team, you will contribute ...
... project information will be shared during the recruitment process. Bachelor’s degree in Computer Science, Engineering, or related field, Proven experience as a Data Engineer or similar role, Strong knowledge of data processing technologies and database systems (SQL, NoSQL), Experience with data pipeline and workflow management ...
Wymagane, Google Cloud Platform, BigQuery, Datastream, Dataplex, Google Cloud Storage, Cloud Dataflow (Apache Beam), Cloud Composer (Apache Airflow), Pub/Sub, Dataform, Python, SQL, MySQL, PostgreSQL, MS SQL, Git, CI/CD O projekcie, Poszukujemy Data Engineera, który dołączy do zespołu projektowego i utrzymaniowego, wspierając ...
We’re looking for a Mid Data Engineer to take ownership of our data lake — the system of record for millions of financial events every day, including bets , wallet transactions, and live odds, serving 12M+ active users. You’ll be responsible for designing and maintaining reliable data pipelines and defining how data is ...
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...
Data Engineer Miejsce pracy: Wrocław Technologie, których używamy Wymagane - Python - SQL - Spark - Polars O projekcie Budujemy „mózg” biddera RTB — systemu, który w imieniu klientów e-commerce kupuje powierzchnię reklamową w aukcjach czasu rzeczywistego. Nasze modele ML decydują, jaką kampanię wyświetlić, jak powinna wyglądać ...
... visualization tools (e.g., Power BI, Tableau). - Knowledge of machine learning, predictive analytics, and statistical modeling techniques. - Experience with cloud-based data and analytics platforms (Azure, AWS). - Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer ...
... visualization tools (e.g., Power BI, Tableau)., Knowledge of machine learning, predictive analytics, and statistical modeling techniques., Experience with cloud-based data and analytics platforms (Azure, AWS)., Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer, ...
... data ingestion and transformation processes., Work with cloud-based data platforms and Databricks., Integrate data from multiple operational systems., Build data products that support aviation operations and decision-making., Work with APIs and data exchange services., Collaborate with data providers, engineers and business ...