Dokumentacja techniczna, plany testów oraz deliverables projektowe, dostarczane etapami zgodnie z harmonogramem uzgodnionym w ramach realizacji zlecenia.
Projektowanie i wdrożenie rozwiązań do zbierania, transformacji i przetwarzania dużych zbiorów danych, z wykorzystaniem Spark, Java, Hive i SQL.
Job'y przetwarzania i mapowania danych zrealizowane z użyciem Spark/Scala, dostarczone zgodnie z wymaganiami biznesowymi.
Analiza danych pochodzących z wielu źródeł oraz opracowanie specyfikacji technicznych na podstawie uzyskanych wyników.
Rekomendacje dotyczące strategii architektury Big Data, przygotowane na podstawie ustaleń z interesariuszami projektu.
Uindustrializowanie procesów przetwarzania danych pod kątem niezawodności, odporności i wydajności.
Zapewnienie wsparcia aplikacji oraz rozwiązywanie zgłaszanych problemów produkcyjnych.
Nasze wymagania
Minimium 4-5 lat doświadczenia w rozwoju oprogramowania.
Praktyczne stosowanie TDD (Test-Driven Development) w ramach realizacji zleceń.
Doświadczenie z DevOps, CI/CD oraz architekturą mikroserwisów i API.
Znajomość narzędzi Big Data oraz systemu kontroli wersji Git.
Znajomość Pythona, w tym w kontekście Airflow.
To oferujemy
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Realizacja usług na rzecz jednego z europejskich liderów w branży bankowej, w środowisku o globalnej obecności i wysokich standardach operacyjnych.
Otwartość na okazjonalne spotkania projektowe w Warszawie, ustalane w zależności od potrzeb projektu i uzgadniane między stronami.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Realizacja usług w obszarze modernizacji platformy danych oraz migracji do Azure na rzecz Partnera z branży bankowej.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
5 000 PLN za polecenie znajomych do naszych projektów
... Airflow . Wspólnie z naszym Partnerem, jednym z europejskich liderów w branży bankowej, poszukujemy doświadczonego/ej specjalisty/ki do realizacji projektów jako Big Data Engineer . Projekt realizowany jest w obszarze bankowości B2B i B2C , w domenie C-Profit odpowiedzialnej za konsolidację i udostępnianie zespołom sprzedaży ...
... and an eagerness to learn modern software engineering practices. - Possess solid SQL fundamentals. - Have a basic understanding of data modeling, relational databases, APIs, and common data formats (e.g., JSON, CSV, Avro, Parquet). - Are interested in cloud platforms, distributed systems, and data processing at scale. ...
... insights, Client Interaction: Work closely with clients to understand their business needs and technical requirements. Translate these requirements into effective data engineering solutions.] Requirements: Python, Java, AWS, Azure, SQL, NoSQL, Big data, Spark, Kafka, Flink, Docker, Kubernetes, DevOps, CI/CD, Databricks Tools: ...
... Exposure to CI/CD pipelines and DevOps practices. - Knowledge of streaming technologies (e.g., Kafka, Spark Streaming). - Experience working with Snowflake or Databricks in a production or development environment. - Relevant certifications in AWS, data engineering, or big data technologies. WHAT YOU’LL LOVE ABOUT WORKING ...
... product development, agile, scrum Team members, technical leader, big data developer, data scientist, project manager Your responsibilities, Design scalable data processing pipelines for streaming and batch processing using Big Data technologies like Databricks, Airflow and/or Dagster., Contribute to the development of ...
Your responsibilities - Implement data ingestion from diverse sources utilizing technologies including RDBMS, REST HTTP API, flat files, Streams, Time series data, SAP - Research and utilize Big Data technologies for effective data ingestion - Process and transform data using tools such as Spark and various Cloud Services ...
... ETL/ELT processes to clean, transform, and store data., Ensure data security, compliance, and best practices across cloud environments., Monitor and troubleshoot data pipelines and resolve issues efficiently.] Requirements: Data engineering, Cloud platform, Python, SQL, Java, Scala, Big data, IaC, Data warehouses, Snowflake, ...
... experience as a Data Engineer - Expertise in Azure Data Platform with strong experience in Azure Databricks - Solid knowledge of Apache Spark and distributed data processing - Excellent skills in Python and SQL - Experience with Data Lake architectures - Strong understanding of data modeling and data processing principles ...
... knowledge and solving problems together Our requirements - At least 5-6 years of experience working as a Data Engineer, with a focus on Google Cloud Platform Data and Analytics. - Strong hands-on experience with Python, dbt, and Airflow - Solid working knowledge of BigQuery and the wider GCP data stack - Experience in data ...
... Development: Cursor, Claude Code, ChatGPT Enterprise - Future direction: agentic AI systems, LangChain, Azure OpenAI integration What else you should know: - Team: Data Architecture Lead, Data Engineers, DataOps Engineers, Backend Engineer, Product Owner, collaboration with Frontend Engineers and Data Science and AI Engineers ...