Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia.
Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych, z wykorzystaniem Spark, Java, Hive i SQL.
Job'y przetwarzania i mapowania danych zrealizowane z użyciem Spark/Scala, dostarczone zgodnie z wymaganiami biznesowymi.
Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu.
Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.
Nasze wymagania
Minimium 4-5 lat doświadczenia w rozwoju oprogramowania.
Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń.
Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API.
Znajomość narzędzi Big Data oraz systemu kontroli wersji Git.
Znajomość Pythona, w tym w kontekście Airflow.
To oferujemy
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Realizacja usług na rzecz jednego z europejskich liderów w branży bankowej, w środowisku o globalnej obecności i wysokich standardach operacyjnych.
Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane w zależności od potrzeb projektu i uzgadniane między stronami.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Realizacja usług w obszarze modernizacji platformy danych oraz migracji do Azure na rzecz Partnera z branży bankowej.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów
... Airflow . Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer . Projekt realizowany jest w obszarze bankowości B2B i B2C , w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży ...
... and an eagerness to learn modern software engineering practices. - Possess solid SQL fundamentals. - Have a basic understanding of data modeling, relational databases, APIs, and common data formats (e.g., JSON, CSV, Avro, Parquet). - Are interested in cloud platforms, distributed systems, and data processing at scale. ...
... members, technical leader, big data developer, data scientist, project manager Your responsibilities, Design, build, and maintain scalable data pipelines and data processing solutions on Azure., Support the development of our AI-powered chatbot from a data engineering perspective, enabling reliable data flows and integrations., ...
... Exposure to CI/CD pipelines and DevOps practices. - Knowledge of streaming technologies (e.g., Kafka, Spark Streaming). - Experience working with Snowflake or Databricks in a production or development environment. - Relevant certifications in AWS, data engineering, or big data technologies. WHAT YOU’LL LOVE ABOUT WORKING ...
... backend or data engineering, including work with production-grade data pipelines or Big Data systems., Proven hands-on experience with Snowflake as a modern cloud data platform., Strong programming skills in Python, including solid hands-on experience with Django., Hands-on experience designing and building data ingestion / ...
... product development, agile, scrum Team members, technical leader, big data developer, data scientist, project manager Your responsibilities, Design scalable data processing pipelines for streaming and batch processing using Big Data technologies like Databricks, Airflow and/or Dagster., Contribute to the development of ...
... product development, agile, scrum Team members, technical leader, big data developer, data scientist, project manager Your responsibilities, Design scalable data processing pipelines for streaming and batch processing using Big Data technologies like Databricks, Airflow and/or Dagster., Contribute to the development of ...
Your responsibilities - Implement data ingestion from diverse sources utilizing technologies including RDBMS, REST HTTP API, flat files, Streams, Time series data, SAP - Research and utilize Big Data technologies for effective data ingestion - Process and transform data using tools such as Spark and various Cloud Services ...
... SQL, Microsoft Azure, Azure Data Factory, ETL/ELT, CI/CD, Databricks, Streaming Optional, dbt Operating system, Windows, macOS About the project, As a Senior Data Engineer, you will have the opportunity to support and further develop an Azure-based data integration solution built primarily around Azure Data Factory (ADF). ...
... agile, scrum Team members, technical leader, big data developer, data scientist, project manager Your responsibilities, Develop and maintain a high-performance data processing platform for automotive data, ensuring scalability and reliability., Design and implement data pipelines that process large volumes of data in both ...