Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia.
Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych, z wykorzystaniem Spark, Java, Hive i SQL.
Job'y przetwarzania i mapowania danych zrealizowane z użyciem Spark/Scala, dostarczone zgodnie z wymaganiami biznesowymi.
Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu.
Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.
Nasze wymagania
Minimium 4-5 lat doświadczenia w rozwoju oprogramowania.
Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń.
Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API.
Znajomość narzędzi Big Data oraz systemu kontroli wersji Git.
Znajomość Pythona, w tym w kontekście Airflow.
To oferujemy
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Realizacja usług na rzecz jednego z europejskich liderów w branży bankowej, w środowisku o globalnej obecności i wysokich standardach operacyjnych.
Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane w zależności od potrzeb projektu i uzgadniane między stronami.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Realizacja usług w obszarze modernizacji platformy danych oraz migracji do Azure na rzecz Partnera z branży bankowej.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów
... responsible for building the new data platform that supports various business processes and interacts with multiple stakeholders. Our team is dedicated to implementing data solutions using the latest big data technologies to support structured finance activities within the GLBA business line. As a Big Data Engineer (Spark/Scala) ...
Must-Have Qualifications - At least 3+ years of experience in big data engineering. - Proficiency in Scala and experience with Apache Spark . - Strong understanding of distributed data processing and frameworks like Hadoop. - Experience with message brokers like Kafka . - Hands-on experience with SQL/NoSQL databases. - ...
... proponowanie działań naprawczych, Praca hybrydowa - 3 dni w tygodniu z Warszawy (WARUNEK KONIECZNY), Stawka: do 200 zł netto + VAT/H/B2B Min. 4 lata doświadczenia w Big Data Engineering (mile widziane doświadczenie w bankowości), Bardzo dobra znajomość: Spark, Java, SQL, Hive, Znajomość narzędzi i technologii: (mile widziane) ...
... troubleshooting i identyfikacja ryzyk technicznych., Tworzenie dokumentacji i test planów w środowisku Agile/Scrum. Minimum 4 lata komercyjnego doświadczenia w obszarze Data Engineering lub Software Engineering w środowisku Big Data., Zaawansowana znajomość oraz praktyczne doświadczenie w pracy z Apache Spark, Hive oraz SQL., Głębokie ...
Expected, Snowflake Data Cloud, SQL Optional, Microsoft Power BI, Tableau About the project, We are looking for an experienced ETL / Snowflake Engineer who combines strong data engineering skills with deep banking domain expertise, particularly in Balance Sheet Stress Testing, Risk Management, and Regulatory Reporting., ...
Expected, Snowflake Data Cloud, SQL Optional, Microsoft Power BI, Tableau About the project, We are looking for an experienced ETL / Snowflake Engineer who combines strong data engineering skills with deep banking domain expertise, particularly in Balance Sheet Stress Testing, Risk Management, and Regulatory Reporting., ...
... methods and tools to address business challenges and opportunities., Collect, integrate, and transform structured and unstructured data from multiple sources using Big Data technologies., Design and implement data-driven solutions to identify patterns, optimize processes, and improve business performance., Promote data analytics ...
... before ingestion into the core Data Assets layer., Collaborating with cross-functional stakeholders to reconcile data requirements., Actively participating in engineering discussions, code reviews, and cross-team initiatives. Have solid, production-proven experience in Big Data ecosystems and building stable data pipelines., ...
... Informatica Platinum Partner Enterprise, od ponad 20 lat dostarcza nowoczesne rozwiązania IT dla biznesu, oferując usługi m.in. w zakresie integracji danych, Data Engineering (Big Data) oraz Data Governance. Specjalizując się w rekrutacji pracowników z branży IT, nie tylko w obszarze danych, pomaga Klientom powiększać zespoły ...
... produkcyjnych, wielkoskalowych rozwiązań Big Data na public cloud., Doświadczenie w projektowaniu rozwiązań typu internet-scale., Doświadczenie we współpracy z Data Scientists, Data Analysts i Software Engineers przy realizacji złożonych potrzeb związanych z danymi. To oferujemy, Pracę przy projektach klienckich i produktach ...
... Exposure to CI/CD pipelines and DevOps practices., Knowledge of streaming technologies (e.g., Kafka, Spark Streaming)., Experience working with Snowflake or Databricks in a production or development environment., Relevant certifications in AWS, data engineering, or big data technologies. What we offer, Practical benefits: ...