Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia.
Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych, z wykorzystaniem Spark, Java, Hive i SQL.
Job'y przetwarzania i mapowania danych zrealizowane z użyciem Spark/Scala, dostarczone zgodnie z wymaganiami biznesowymi.
Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu.
Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.
Nasze wymagania
Minimium 4-5 lat doświadczenia w rozwoju oprogramowania.
Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń.
Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API.
Znajomość narzędzi Big Data oraz systemu kontroli wersji Git.
Znajomość Pythona, w tym w kontekście Airflow.
To oferujemy
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Realizacja usług na rzecz jednego z europejskich liderów w branży bankowej, w środowisku o globalnej obecności i wysokich standardach operacyjnych.
Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane w zależności od potrzeb projektu i uzgadniane między stronami.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Realizacja usług w obszarze modernizacji platformy danych oraz migracji do Azure na rzecz Partnera z branży bankowej.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów
... Airflow . Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer . Projekt realizowany jest w obszarze bankowości B2B i B2C , w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży ...
... proponowanie działań naprawczych, Praca hybrydowa - 3 dni w tygodniu z Warszawy (WARUNEK KONIECZNY), Stawka: do 200 zł netto + VAT/H/B2B Min. 4 lata doświadczenia w Big Data Engineering (mile widziane doświadczenie w bankowości), Bardzo dobra znajomość: Spark, Java, SQL, Hive, Znajomość narzędzi i technologii: (mile widziane) ...
... methods and tools to address business challenges and opportunities., Collect, integrate, and transform structured and unstructured data from multiple sources using Big Data technologies., Design and implement data-driven solutions to identify patterns, optimize processes, and improve business performance., Promote data analytics ...
... działają, chętnie eksperymentujesz z nowymi technologiami i szukasz własnych rozwiązań. Szukamy pasjonatów technologii, którzy chcą rozpocząć swoją przygodę z Data Engineeringiem! Jeśli masz podstawy programowania, dobrze czujesz się w SQL i Pythonie, a także chcesz rozwijać się w obszarze Big Data, chmury i nowoczesnych ...
... Strong SQL skills, including performance tuning, query optimization, and experience with data warehousing solutions. - Experience in designing and implementing data governance and data management processes. - Deep expertise in Big Data technologies, including Databricks, Spark, Apache Airflow and other modern data orchestration ...
... Exposure to CI/CD pipelines and DevOps practices., Knowledge of streaming technologies (e.g., Kafka, Spark Streaming)., Experience working with Snowflake or Databricks in a production or development environment., Relevant certifications in AWS, data engineering, or big data technologies. What we offer, Practical benefits: ...
... in Agile methodologies in small teams (3–4 people), with a strong focus on collaboration and growth., This is a great opportunity to work in an international data environment and develop your skills in SQL, ETL, Big Data, and Cloud (Databricks, PySpark). Team size, 3-4 This is how we work, in house, you focus on a single ...
... backend or data engineering, including work with production-grade data pipelines or Big Data systems., Proven hands-on experience with Snowflake as a modern cloud data platform., Strong programming skills in Python, including solid hands-on experience with Django., Hands-on experience designing and building data ingestion / ...
... komunikować zagadnienia techniczne zarówno zespołom IT, jak i interesariuszom biznesowym Mile widziane - Docker, Kubernetes - Hadoop, Spark lub inne technologie Big Data - Snowflake, AWS lub Google Cloud - Wiedza z zakresu Azure Networking i Security - Doświadczenie w środowiskach Open Source To oferujemy - Wynagrodzenie ...
... methods and tools to address business challenges and opportunities. - Collect, integrate, and transform structured and unstructured data from multiple sources using Big Data technologies. - Design and implement data-driven solutions to identify patterns, optimize processes, and improve business performance. - Promote data analytics ...
Informacje o pracy Nr referencyjny 3147/26/PS Stanowisko Intern Data Engineer / Data Scientist Obszar zawodowy Asystencka praca / Personel biurowy Typ pracy praca stała Forma świadczenia pracy stacjonarna Typ kandydata --- Kraj Polska Miasto Gdańsk, Poznań, Warszawa, Wrocław Obowiązki Twój projekt Dział Insights & Data ...