Konsultant wdrożeniowiec o profilu Data Engineer to specjalista, który łączy zaawansowane kompetencje techniczne z umiejętnością analizy danych i podstawową wiedzą z zakresu Data Science. Odpowiada za projektowanie, wdrażanie oraz utrzymanie nowoczesnych rozwiązań w obszarze Big Data, architektury danych i platform analitycznych, wspierając klientów w wykorzystaniu danych do podejmowania decyzji biznesowych.
Lubisz porządkować dane, projektować wydajne pipeline’y i tworzyć niezawodne środowiska analityczne? Dołącz do DataServe jako Data Engineer i pracuj przy projektach, które wspierają podejmowanie decyzji opartych na danych. Wykorzystuj nowoczesne narzędzia, rozwiązania chmurowe i technologie Big Data w praktyce biznesowej.
Oczekujemy od Ciebie:
minimum 3-5 lat doświadczenia w obszarze inżynierii danych, wdrożeń Big Data lub analizy danych;
doświadczeniaw pracy z narzędziami i technologiami Big Data oraz w realizacji projektów analitycznych dla danych.
Szczegółowe wymagania:
ekspertyza w technologii Big Data i ekosystemach takich jak Hadoop oraz Apache Spark;
projektowanie i wdrażanie skalowalnych rozwiązań Big Data dla dużych zbiorów danych;
dobór technologii i narzędzi zgodnych z potrzebami biznesowymi oraz technicznymi (Modern Data Analytics Platform, Query Engines, technologie dla Data Lake, narzędzia chmurowe).
znajomość podstaw projektowania i zarządzania hurtowniami danych (Data Warehouse);
doświadczenie w implementacji i utrzymaniu środowisk Data Lake i Data Lakehouse.
Bazy danych
zaawansowana znajomość przynajmniej jednej technologii bazodanowej w zastosowaniach BigData (od 1TB+) takich jak: PostgreSQL, Vertica, Snowflake, MariaDB, Oracle, SQL Server;
umiejętność optymalizacji zapytań, tuning wydajności oraz praca z dużymi zbiorami danych.
znajomość narzędzi ETL/ELT i orkiestracji danych takich jak: Airbyte, dbt (data build tool), Apache Airflow;
praktyczna wiedza w zakresie automatyzacji procesów integracji i przetwarzania danych.
Konfiguracja i administracja
praktyczna wiedza w zakresie konfiguracji i administracji ekosystemów Hadoop oraz systemów Object Store (np. VAST, MinIO).
Rozwiązania typu Query Engine
znajomość przynajmniej jednej technologii platform takich jak: Dremio, Databricks, Denodo, Starburst.
Analiza danych i podstawy Data Science
podstawowa wiedza z zakresu Data Science: znajomość metod eksploracyjnej analizy danych (EDA); podstawowe techniki modelowania danych i ich zastosowanie w biznesie; umiejętność interpretacji wyników analizy i współpracy z zespołami analitycznymi.
praktyczne doświadczenie w analizie danych za pomocą Python (biblioteki takie jak Pandas, NumPy, Matplotlib, Seaborn).
Programowanie i SQL
zaawansowana znajomość języka Python zorientowana na przetwarzanie i analizę danych;
zaawansowana znajomość SQL: tworzenie zaawansowanych zapytań, analiza danych ich optymalizacja.
Mile widziane kwalifikacje i doświadczenie to:
znajomość platformy HPE Ezmeral lub/i technologii związanych z VAST Data;
doświadczenie z narzędziami chmurowymi (AWS, Azure, GCP) w kontekście przetwarzania danych;
doświadczenie w pracy z Kubernetes (K8s) w kontekście wdrażania i zarządzania aplikacjami danych.
Oczekiwane cechy osobowościowe:
analityczne myślenie i kreatywne podejście do rozwiązywania problemów;
umiejętności prezentacji zagadnień technicznych dla zespołów technicznych i nietechnicznych;
umiejętność współpracy z różnorodnymi zespołami, w tym z analitykami i Data Scientistami;
zdolność do jasnej komunikacji z klientami i przedstawiania wyników analizy danych w zrozumiały sposób;
otwartość na ciągłe uczenie się i rozwijanie nowych umiejętności.
W zamian za Twoje zaangażowanie oferujemy:
udział w wyjątkowo ciekawych i ambitnych projektach z obszaru Machine Learning rozwijających nasze produkty oraz realizowanych dla firm stawiających na najnowsze technologie;
... częściej,, budżet projektu: do 160 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług. minimum 4 lata doświadczenia w realizacji usług w roli Data Engineer,, doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby hurtowni danych, Data Lake oraz rozwiązań Real-Time lub Near Real-Time,, doświadczenie ...
... Development: Cursor, Claude Code, ChatGPT Enterprise - Future direction: agentic AI systems, LangChain, Azure OpenAI integration What else you should know: - Team: Data Architecture Lead, Data Engineers, DataOps Engineers, Backend Engineer, Product Owner, collaboration with Frontend Engineers and Data Science and AI Engineers ...
... provide continuous support. Due to our ongoing growth and the large number of recruitment projects we undertake for our partners, we are currently looking for: Data Engineer Offer: - Private medical care - Co-financing for the sports card - Constant support of dedicated consultant - Employee referral program ,[Working with ...
... Experience in data engineering, data science, or related field. Proficiency with data architecture and data processing tools. Certifications: Azure Associate Data Engineer (DP-203), Databricks Professional Data Engineer, Apache Spark Developer Associate, Professional Data Engineer. Experience with Power BI, DAX, and Tabular ...
Job Description: Data Engineer, LDWH Migration Programme Level: Senior / Mid-Senior Main Responsibilities: Develop and maintain data pipelines using Azure Databricks. Implement ETL processes, ensuring data quality and integrity. Read and comprehend complex SQL stored procedures. Translate architecture direction into engineering ...
Data Engineers (Mid & Senior) — Krakow (Hybrid) Are you looking to work on modern, high-throughput data platforms without the legacy drag? We are scaling a dedicated Data Engineering team in Krakow to drive a major enterprise cloud consolidation onto a modern GCP & Medallion (Bronze/Silver/Gold) architecture. If you thrive ...
... połączeń z systemami poza ekosystem CRM • implementacja mechanizmów kontroli jakości oraz walidacji danych Wymagania • Minimum 4-6 lat doświadczenia na stanowisku Data Engineer, preferencyjnie w sektorze o dużej skali danych • doświadczenie w projektowaniu i modelowaniu struktur danych (hurtownie danych, DataLake-ów) na potrzeby ...
... roli Data Engineer lub podobnej. Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL. Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych. Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku ...
The Data Engineering team’s mission is to ensure high-quality data to enable data-informed decision-making across Asana. You will build data artifacts that are leveraged by a wide range of stakeholders in the marketing domain, and create frameworks and tooling used by all data and analytics engineering teams. In this role, ...
... in Python. Requirements: Higher education in Computer Science, Mathematics / Statistics, Telecommunications or related. Ability to work with large amounts of data in an operational environment. Experience in data engineering for AI/ML solutions hosted on-prem or in the cloud (preferred GCP). Experience in Data Warehousing ...
... diverse sources, ensuring efficiency and scalability., Collaborate with Data Science teams on Machine Learning projects, including text/image analysis, feature engineering, and predictive model deployment., Design and manage complex data transformations using Databricks, DBT, and Apache Airflow, ensuring data integrity and ...
... diverse sources, ensuring efficiency and scalability., Collaborate with Data Science teams on Machine Learning projects, including text/image analysis, feature engineering, and predictive model deployment., Design and manage complex data transformations using Databricks, DBT, and Apache Airflow, ensuring data integrity and ...
Data Engineer – Senior Miejsce pracy: Warszawa Technologies we use Expected - Google Cloud Platform Data and Analytics - Python - dbt - Airflow - Terraform - GitHub Operating system - Windows About the project We're looking for a senior Data Engineer who can step into an environment someone else built, work out how it really ...
... level). - Bachelor’s degree in technical or mathematical studies. Nice to have: - Experience with an MLOps framework such as Kubeflow or MLFlow. - Familiarity with Databricks, and/or dbt. Addepto is a leading AI consulting (https://jobeax.com/link/rOiEvBn3dZ9KkGj7 and data engineering (https://jobeax.com/link/cLdQJ7azj7GOWKYv ...
... we use Expected - SQL - Python About the project As a Senior Database Engineer, you will be responsible for designing, optimizing and scaling high-performance database infrastructure supporting millions of transactions and real-time data flows. You will work with transactional databases, document databases, Kafka-based streaming ...
... technical mentor for the team through pair programming, setting technical standards, and conducting code reviews. Minimum 5 years of commercial experience in data engineering with Google Cloud., Google Cloud Professional Data Engineer certification (expected or to be obtained within the first month of work)., Advanced knowledge ...
... implementing scalable, production-grade data pipelines, data models, and data processing frameworks in cloud environments., Leading the technical design of cloud data architectures, contributing to standards, guidelines, and long-term platform strategy., Driving best practices in data engineering: quality assurance, lineage, ...
... building ETL processes and data pipelines for integrating data across various systems., Enabling reliable and secure data sharing between applications., Ensuring data quality, consistency, and high availability., Monitoring, troubleshooting, and optimizing pipeline performance., Collaborating closely with engineering and business ...
Senior Data Engineer Miejsce pracy: Gdańsk Technologies we use Expected - Databricks - Apache Spark - Python - PyTorch - Microsoft Azure Optional - Pytest About the project We are looking for a skilled Data Engineer to join an international technology and data team on a 6-month engagement, starting in the first or second ...