AI Quality Engineering Team Lead
Miejsce pracy: Warszawa
Technologies we use
Expected
- Python
- SQL
- Git
- Docker
- AWS
Optional
Your responsibilities
- Leading the quality engineering approach for AI solutions, from risk assessment through release and monitoring.
- Evaluating multi-turn, RAG and agentic AI behaviour, including grounding, guardrails and tool use.
- Building representative datasets and assessing coverage, balance, leakage, label quality and freshness.
- Assessing correctness, relevance, hallucination, safety, bias, privacy and behavioural drift.
- Investigating unexpected outcomes across data, prompts, models, retrieval, integration, orchestration and evaluators.
- Building reusable evaluation components, automated test pipelines, reporting and evidence-generation patterns for multiple AI products.
- Combining test methods and validating automated evaluators against human judgement.
- Using baselines, key metrics and risk-based regression tests to support release decisions.
- Integrating evaluation into CI/CD, observability and engineering workflows with traceability across datasets, prompts, models and metrics.
- Producing concise, auditable findings that explain confidence, uncertainty, customer impact and residual risk.
- Partnering with product, engineering, architecture, data, risk, compliance and quality stakeholders to influence delivery and release decisions.
- Coaching and guiding AI Quality Engineers, planning team work, reviewing outputs and building a collaborative culture of constructive challenge and learning.
Our requirements
- Several years of relevant professional experience in quality engineering, software testing, software engineering, data science or a related technical field.
- Hands-on experience evaluating AI, large language model, RAG or agent-based applications.
- Practical Python skills and experience with APIs, logs, traces, structured datasets and SQL or similar
- analysis.
- Ability to design repeatable evaluations and automation, not just manual testing or vendor scoring.
- Good understanding of sampling, thresholds, trends and non-deterministic system behaviour.
- Experience with automated testing, version control, CI/CD and maintainable engineering practices.
- Ability to turn technical findings into decision-quality evidence for business, risk and engineering stakeholders.
- Experience coaching or leading engineers in an emerging or ambiguous domain.
- Strong communication and influencing skills, with the confidence to challenge weak evidence.
Optional
- Experience leading projects, coordinating technical workstreams or managing people.
- Experience with AI evaluation or observability tools such as DeepEval, Arize or similar platforms.
- Experience designing shared frameworks, reusable services or platform capabilities.
- Knowledge of responsible AI, model risk, controls, privacy or customer-outcome requirements.
- Experience in financial services, insurance or another regulated industry.
- Exposure to cloud AI systems, observability and production support.
What we offer
- Contract of employment
- Performance Bonus
- Private medical care (ENEL-MED)
- Cafeteria system of benefits (e.g. MultiSport card)
- Additional parent privileges:
- baby leave – 6 weeks leave for second parent
- shortened working time after parental leave
- Employer-funded group insurance
- Employee Shares Plan
- Extra day off for birthday
- Paid time off to volunteer
- Additional leave acquired over the years in the company (even 5 days more in a year)
- Wellbeing Leave - additional two weeks paid leave after 10 years of service
- Psychological support consultations
- Access to the e-learning platforms
- Internal employee referral program
- Hybrid working model from Poland with a few days in Warsaw office per month
- Attractive office location in Warsaw - Gdański Business Center
- Additional entitlements for people with disabilities - Work Without Barriers
- Work environment that promotes diversity - Diversity Charter
Benefits
- sharing the costs of sports activities
- private medical care
- sharing the costs of professional training & courses
- life insurance
- remote work opportunities
- flexible working time
- saving & investment scheme
- birthday celebration
- employee referral program
- extra leave
Hi, we're glad you're here! We are hiring to our Aviva Services Excellence Centre! Take a look at our job description - maybe it suits you or one of your friends?
Aviva Services Excellence Centre
We help our 18 million customers to save for the future and manage the risks of everyday life. To give these customers the best possible products and service we know we must make Aviva the most attractive choice for talented, entrepreneurial people with diverse backgrounds and an evolving range of expertise and insight.
So, we’re passionate about helping our 22,000 people to do the best work of their lives, to enable them to make a positive difference to the lives of our customers.
Klikając w przycisk „Aplikuj” lub w inny sposób wysyłając zgłoszenie rekrutacyjne, zgadzasz się na przetwarzanie Twoich danych osobowych przez Randstad Sourceright Ltd. z siedzibą w: Capability Green 450, LU1 3LU Luton (Pracodawca), jako administratora danych osobowych w celu przeprowadzenia rekrutacji na stanowisko wskazane w ogłoszeniu.
Twoje dane osobowe będą przetwarzane w oparciu o następujące podstawy prawne: (a) aby podjąć działania na Twoje żądanie przed zawarciem umowy (np. informacje o oczekiwanym wynagrodzeniu i dostępności do rozpoczęcia pracy); (b) w oparciu o nasz prawnie uzasadniony interes (np. imię, nazwisko, data urodzenia, dane kontaktowe, wykształcenie, kwalifikacje zawodowe, przebieg dotychczasowego zatrudnienia); c) w oparciu o Twoją zgodę, która wyrażona jest poprzez przeslanie dokumentów aplikacyjnych zawierających takie informacje jak np. wizerunek czy zainteresowania.
Podanie wszystkich danych osobowych, o których mowa powyżej jest dobrowolne, natomiast dane wymienione w lit. a) i b) są niezbędne do wzięcia udziału w rekrutacji. Niepodanie danych skutkuje brakiem możliwości rozpatrzenia kandydatury. Podanie pozostałych danych jest dobrowolne, ale może pomóc w sprawnym przeprowadzeniu procesu rekrutacji.
Masz prawo żądać dostępu do Twoich danych (w tym uzyskania ich kopii), sprostowania danych, ich usunięcia, ograniczenia przetwarzania, przeniesienia, jak również wniesienia sprzeciwu wobec ich przetwarzania. Masz także prawo wniesienia skargi do Prezesa Urzędu Ochrony Danych Osobowych.
Twoje dane osobowe mogą zostać przekazane dostawcom usługi publikacji ogłoszeń o pracę, dostawcom systemów do zarządzania rekrutacjami, dostawcom usług IT (hosting), dostawcom systemów informatycznych.
Podane przez Ciebie dane osobowe nie będą wykorzystywane w celu profilowania albo podejmowania decyzji w sposób zautomatyzowany.
Twoje dane osobowe będą przetwarzane przez okres maks. 1 roku od zakończenia publikacji ogłoszenia, chyba, że wyraziłeś odrębną zgodę na wykorzystanie Twoich danych osobowych w przyszłych rekrutacjach.
W celu realizacji praw lub w przypadku jakichkolwiek pytań związanych z przetwarzaniem Twoich danych osobowych skontaktuj się z nami pod adresem: [email protected].