Senior Data Quality Engineer, SDET with Databricks and Microsoft Fabric
Miejsce pracy: Warszawa
Technologies we use
Expected
Optional
About the project
The project migrates data and reporting from a legacy estate onto a modern platform built on Databricks and Microsoft Fabric. Quality engineering is central to the project. The business needs confidence that migrated data reconciles with the source, that pipelines behave as specified, and that reports produce consistent results.
This is how we organize our work
Team size
1-10
This is how we work
- you focus on a single project at a time
- you focus on product development
- agile
Team members
- backend developer
- technical leader
- devOps
- data scientist
- automated test programmer
Your responsibilities
- Design and implement data testing and quality assurance frameworks.
- Build automated validation for data pipelines and data products.
- Own source to target reconciliation between legacy systems and the new platform.
- Build repeatable regression packs that run unattended.
- Write unit tests that execute automatically within CI/CD, with quality gates that can block a release.
- Detect and handle schema drift and unexpected structural changes.
- Validate reports, dashboards, and semantic models, including measure definitions, filter behaviour, and totals.
- Apply AI assisted techniques to test generation and coverage analysis, with human review.
Our requirements
- 5+ years of experience in quality engineering, with meaningful recent experience testing data or ETL processes rather than applications.
- Strong Python and SQL skills, used for building test automation rather than only running it.
- Experience with pipeline validation, including row counts, control totals, referential integrity, and business rule assertions.
- Experience with source to target reconciliation using defined tolerances.
- Experience with test automation within CI/CD, including gates that block a release.
- Experience with Azure DevOps.
- Experience with SQL Server.
- English proficiency at a level suitable for direct client conversations.
Optional
- Experience with Azure Databricks or Microsoft Fabric.
- Experience with data quality frameworks, including Great Expectations, dbt tests, Databricks Expectations, DLT quality rules, Soda, or Deequ.
- Experience designing a test framework from scratch rather than extending an existing one.
- Experience testing semantic models and BI layers.
- Experience working in a regulated financial services environment.
- Experience with application test automation alongside data testing, including Selenium, C#, SpecFlow, or Playwright.
This is how we work on a project
- Continuous Integration
- integration tests
- test automation
- unit tests
Development opportunities we offer
- mentoring
- technical knowledge exchange within the company
DataArt Poland sp. z o.o.
Our client is a UK financial services group operating in a highly regulated environment, currently rebuilding its data and analytics capability as part of a wider platform modernisation programme.
By applying, I consent to the processing of my personal data for the purpose of conducting the recruitment process. Informujemy, że administratorem danych jest DataArt Poland Sp z o o z siedzibą w Lublinie, Ul. Zana 39 a, 20-601 Lublin (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją