Senior Data Engineer (Snowflake/Databricks)

Miejsce pracy: Warszawa

Technologies we use

Expected

Snowflake Data Cloud
Databricks
Python
SQL
Apache Spark
PyTorch

Optional

Apache Flink
Terraform
Kubernetes
Docker
Apache Hive
AWS
Microsoft Azure
Apache Airflow
Kafka
Debian

About the project

The project migrates data and reporting from a legacy estate onto a modern platform built on Databricks and Microsoft Fabric. Quality engineering is central to the project. The business needs confidence that migrated data reconciles with the source, that pipelines behave as specified, and that reports produce consistent results.

This is how we organize our work

Team size

1-10

This is how we work

you focus on a single project at a time
you focus on product development
agile

Team members

backend developer
technical leader
devOps
data scientist
automated test programmer

Your responsibilities

Develop, operate, optimize, test, and maintain the data warehouse, including ETL/ELT process development, cube development, database/performance administration, and dimensional table design
Drive the full life-cycle of back-end development for the data warehouse
Identify, design, and implement internal process improvements - redesigning infrastructure for scalability, optimizing data delivery, and automating manual processes
Define data retention policies
Build analytical tools that leverage the data pipeline to deliver actionable insight into key business metrics (operational efficiency, customer acquisition, etc.)
Select and integrate tools for monitoring, managing, alerting on, and improving database performance
Develop and implement automated processes to ensure uninterrupted database updates and correction of vulnerabilities
Assemble large, complex datasets that meet functional and non-functional business requirements

Our requirements

5+ years of experience or 5+ completed projects
Advanced SQL and query optimization, with proficiency across popular database variations
Python for data engineering and automation
Cloud data platforms: Snowflake and/or Databricks
Cloud services: AWS and/or Azure
Data transformation and modeling with DBT
ETL/ELT pipeline design, development, and maintenance
Apache Spark (PySpark preferred)
Workflow orchestration using Apache Airflow, Dagster, or another widely adopted orchestrator
Relational database design and performance tuning (PostgreSQL, MySQL, SQL Server, Oracle, etc.)
Data warehousing concepts and dimensional modeling
Data management fundamentals: data modeling, data quality, metadata management, data warehouse/lake patterns, distributed systems
Version control using Git and CI/CD practices
Data governance, data quality, lineage, and observability practices
Security and access control implementation in cloud data platforms

Optional

Apache Kafka, Apache Flink, Apache Beam
Terraform, Kubernetes, Docker
Apache Iceberg, Delta Lake, or Apache Hudi
Real-time and event-driven architectures
AWS Glue, Amazon MWAA, Azure Data Factory
Data Mesh and Data Product concepts
Machine learning data pipelines, feature stores, or AI development experience
Streaming analytics and Change Data Capture (CDC) solutions (e.g., Debezium)

This is how we work on a project

Continuous Integration

Development opportunities we offer

mentoring
technical knowledge exchange within the company

DataArt Poland sp. z o.o.

Our client is a UK financial services group operating in a highly regulated environment, currently rebuilding its data and analytics capability as part of a wider platform modernisation programme.

By applying, I consent to the processing of my personal data for the purpose of conducting the recruitment process. Informujemy, że administratorem danych jest DataArt Poland Sp z o o z siedzibą w Lublinie, Ul. Zana 39 a, 20-601 Lublin (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją

Senior Data Engineer (Snowflake/Databricks)

Zacznij od adresu e-mail