Projekt obejmuje ingestowanie danych do Hadoop z wykorzystaniem ARC Ingestion Framework. Zakres prac koncentruje się na przygotowaniu i testowaniu konfiguracji źródeł danych oraz utrzymaniu źródeł już wdrożonych na produkcji.
Tak organizujemy naszą pracę
Tak pracujemy
rozwijasz kilka projektów jednocześnie
Twój zakres obowiązków
Przygotowywanie konfiguracji do ingestowania źródeł danych do Hadoop
Testowanie konfiguracji źródeł danych przed wdrożeniem
Utrzymanie źródeł danych działających na produkcji
Nasze wymagania
Unix
SQL
git
jenkins
python
Doświadczenie w pracy w środowisku Unix
Doświadczenie w pisaniu i optymalizacji zapytań SQL
Doświadczenie w programowaniu w Pythonie
Doświadczenie w pracy z systemem kontroli wersji git
Doświadczenie w konfiguracji i obsłudze Jenkinsa
Angielski min. B2
Mile widziane
Robot Framework
Jira
Confluence
Tak pracujemy nad projektem
dokumentacja
narzędzia do trackowania zadań
https://jobeax.com/link/SOT7uu5CykSNkxdj S.A.
B2Bnetwork jest polską firmą, specjalizującą się w obszarze Quality Assurance oraz Outsourcingu specjalistów IT. Od 2015r. zarządzamy w całości procesami testowymi u naszych klientów oraz wspieramy w znalezieniu odpowiednich kompetencji w innych obszarach IT.
Aplikując, wyraża Pani/Pan zgodę na przetwarzanie przez B2BNetwork swoich danych osobowych zawartych w niniejszym kwestionariuszu aplikacyjnym i aplikacji na potrzeby rekrutacji. Jednocześnie oświadczasz, że podanie przez Panią/Pana danych wykraczających poza katalog określony w Kodeksie pracy i innych właściwych ustaw jest dobrowolne i dla Pani/Pana korzystne.
Expected, Python, SQL, pyspark, Databricks, BigData, GCP About the project, As a Data Engineer, you will play an important role in designing, building and maintaining reliable data solutions that support Kingfisher’s data platforms and products., , Working as part of a collaborative engineering team, you will contribute ...
... Windows About the project, We're looking for a talented Data Engineer to join our client's team and take a central role in building and optimizing high-performance data workflows. If you love working with large datasets, PySpark, and solving tough data challenges, this opportunity is for you! This is how we work, at the client's ...
... project information will be shared during the recruitment process. Bachelor’s degree in Computer Science, Engineering, or related field, Proven experience as a Data Engineer or similar role, Strong knowledge of data processing technologies and database systems (SQL, NoSQL), Experience with data pipeline and workflow management ...
We’re looking for a Mid Data Engineer to take ownership of our data lake — the system of record for millions of financial events every day, including bets , wallet transactions, and live odds, serving 12M+ active users. You’ll be responsible for designing and maintaining reliable data pipelines and defining how data is ...
Wymagane, Google Cloud Platform, BigQuery, Datastream, Dataplex, Google Cloud Storage, Cloud Dataflow (Apache Beam), Cloud Composer (Apache Airflow), Pub/Sub, Dataform, Python, SQL, MySQL, PostgreSQL, MS SQL, Git, CI/CD O projekcie, Poszukujemy Data Engineera, który dołączy do zespołu projektowego i utrzymaniowego, wspierając ...
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...
Data Engineer Miejsce pracy: Wrocław Technologie, których używamy Wymagane - Python - SQL - Spark - Polars O projekcie Budujemy „mózg” biddera RTB — systemu, który w imieniu klientów e-commerce kupuje powierzchnię reklamową w aukcjach czasu rzeczywistego. Nasze modele ML decydują, jaką kampanię wyświetlić, jak powinna wyglądać ...
- Minimum 3 lata komercyjnego doświadczenia jako Data Engineer - Praktyczna znajomość Pythona w tworzeniu i utrzymaniu produkcyjnych pipeline'ów ETL/ELT - Doświadczenie w integracjach z REST API i przetwarzaniu danych JSON/XML - Dobra znajomość SQL - Doświadczenie w walidacji danych, obsłudze schema drift, logowaniu błędów ...
... visualization tools (e.g., Power BI, Tableau). - Knowledge of machine learning, predictive analytics, and statistical modeling techniques. - Experience with cloud-based data and analytics platforms (Azure, AWS). - Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer ...
... visualization tools (e.g., Power BI, Tableau)., Knowledge of machine learning, predictive analytics, and statistical modeling techniques., Experience with cloud-based data and analytics platforms (Azure, AWS)., Microsoft Data & AI, Azure Data Engineer, Power BI, or similar analytics certifications are an advantage. What we offer, ...