Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer .
Projekt realizowany jest w obszarze bankowości B2B i B2C , w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży transakcji na produktach finansowych banku inwestycyjnego, w ramach modernizacji platformy danych opartej na technologiach Big Data oraz równoległej migracji do Azure .
ZAKRES USŁUG:
Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia.
Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych, z wykorzystaniem Spark, Java, Hive i SQL .
Job'y przetwarzania i mapowania danych zrealizowane z użyciem Spark/Scala , dostarczone zgodnie z wymaganiami biznesowymi.
Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu.
Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.
WYMAGANE KOMPETENCJE:
Minimium 4-5 lat doświadczenia w rozwoju oprogramowania.
Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń.
Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API .
Znajomość narzędzi Big Data oraz systemu kontroli wersji Git .
Znajomość Pythona , w tym w kontekście Airflow .
✨ OFERUJEMY:
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Realizacja usług na rzecz jednego z europejskich liderów w branży bankowej, w środowisku o globalnej obecności i wysokich standardach operacyjnych.
Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane w zależności od potrzeb projektu i uzgadniane między stronami.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Realizacja usług w obszarze modernizacji platformy danych oraz migracji do Azure na rzecz Partnera z branży bankowej.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów
Elastyczną formę współpracy B2B.
Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
... danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników. - Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu. - Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i ...
... projekcie, Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer., , Projekt realizowany jest w obszarze bankowości B2B i B2C, w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży ...
... and an eagerness to learn modern software engineering practices. - Possess solid SQL fundamentals. - Have a basic understanding of data modeling, relational databases, APIs, and common data formats (e.g., JSON, CSV, Avro, Parquet). - Are interested in cloud platforms, distributed systems, and data processing at scale. ...
... YARN., Collaborate with data scientists and engineers to productionize analytical solutions., Ensure code quality, perform performance tuning, and implement best data engineering practices., Maintain and improve performance of data workflows in a large-scale environment., Integrate data pipelines within cloud ecosystems, primarily ...
... insights, Client Interaction: Work closely with clients to understand their business needs and technical requirements. Translate these requirements into effective data engineering solutions.] Requirements: Python, Java, AWS, Azure, SQL, NoSQL, Big data, Spark, Kafka, Flink, Docker, Kubernetes, DevOps, CI/CD, Databricks Tools: ...
... projektowym odpowiedzialnym za rozwój architektury danych oraz rozwiązań chmurowych opartych o GCP,, wykorzystywany stos technologiczny: Google Cloud Platform (GCP), BigQuery, Kubernetes, SQL, Data Lake, ETL/ELT, Big Data, Real-Time Processing, Feature Store,, lokalizacja projektu: Warszawa ( Centrum),, tryb realizacji usług: ...
... Strong SQL skills, including performance tuning, query optimization, and experience with data warehousing solutions. - Experience in designing and implementing data governance and data management processes. - Deep expertise in Big Data technologies, including Databricks, Spark, Apache Airflow and other modern data orchestration ...
... systems, data governance and data management processes. - Strong programming skills in Python (or Java/Scala): writing a clean code, OOP design. - Hands-on with Big Data technologies like Spark , Cloudera, Data Platform, Airflow, Kafka, NiFi, Docker, and Iceberg. - Excellent understanding of dimensional data and data modeling ...
... Exposure to CI/CD pipelines and DevOps practices. - Knowledge of streaming technologies (e.g., Kafka, Spark Streaming). - Experience working with Snowflake or Databricks in a production or development environment. - Relevant certifications in AWS, data engineering, or big data technologies. WHAT YOU’LL LOVE ABOUT WORKING ...
... with enterprise-scale delivery capabilities—enabling the partnership to move clients from AI experimentation to production impact, securely and at scale. As a Data Engineer , you will have the opportunity to support and further develop an Azure-based data integration solution built primarily around Azure Data Factory (ADF). ...
... Azure, Google Cloud Platform, AWS, Databricks, Apache Spark, PySpark, Apache Airflow, GitHub Actions, Terraform, Bicep About the project, At Cloudfide, we engineer solutions where data truly becomes an accelerator for innovation. We build and evolve large-scale Big Data and cloud-native platforms for global clients, including ...