Data Engineer
Miejsce pracy: Wrocław
Technologie, których używamy
Wymagane
O projekcie
Budujemy „mózg” biddera RTB — systemu, który w imieniu klientów e-commerce kupuje powierzchnię reklamową w aukcjach czasu rzeczywistego. Nasze modele ML decydują, jaką kampanię wyświetlić, jak powinna wyglądać reklama oraz czy i za ile licytować.
Działamy na dużą skalę: setki tysięcy zapytań na sekundę, dziesiątki miliardów decyzji modeli ML dziennie i setki milionów wierszy logów aukcyjnych trafiających każdego dnia do bazy danych.
Jako Data Engineer będziesz rozwijać procesy dostarczające dane do tych modeli. Kluczową częścią Twojej pracy będzie monitorowanie i weryfikowanie jakości danych oraz zrozumienie ich wpływu na działanie modeli. Zajmiesz się również optymalizacją procesów przetwarzania i obliczeń, aby sprawnie obsługiwały skalę naszego systemu.
Tak organizujemy naszą pracę
Tak pracujemy
- wewnątrz organizacji
- koncentrujesz się na jednym projekcie
- rozwijasz kilka projektów jednocześnie
- koncentrujesz się na rozwoju produktu
- koncentrujesz się na utrzymaniu kodu
Twój zakres obowiązków
- Budowa i optymalizacja procesów zasilających modele danymi.
- Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time.
- Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele.
- Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift.
- Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.
Nasze wymagania
- Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych.
- Bardzo dobra znajomość Pythona oraz SQL
- Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars
- Doświadczenie z analitycznymi bazami danych typu kolumnowego
- Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów
- Doświadczenie w pracy w sektorze operującym na dużej skali danych
- Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego
Mile widziane
- Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks
- Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD)
- Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising
- Doświadczenie w projektach z obszaru uczenia maszynowego (ML)
- Znajomość języka Go (Golang)
To oferujemy
- Pracę u technologicznego lidera i partnera pierwszego wyboru – tworzymy treści, usługi i rozrywkę, które towarzyszą milionom Polaków każdego dnia
- Darmowy dostęp do naszych produktów, takich jak Pilot WP czy Audioteka -chcemy, żebyś czuł się częścią tego, co tworzymy ❤️
- Worksmile i elastyczny pakiet benefitów - to Ty wybierasz, co jest dla Ciebie ważne
- Dostęp do bezpłatnych i anonimowych konsultacji psychologicznych
- Możliwość pracy hybrydowej - pracujemy 3 dni w biurze oraz 2 dni z domu łącząc swobodę pracy zdalnej z tym, co najlepsze w biurze
- Wydarzenia, które zbliżają - od sezonowych akcji (Dzień Dziecka to nasz ulubieniec!) po webinary o zdrowiu i neuroróżnorodności
- Możliwość rozwoju dzięki szkoleniom w ramach programu WP Akademia
- Szansę na nowe wyzwania i kierunki w ramach spółek WP Holding - wewnętrzne rekrutacje są na wyciągnięcie ręki
Tak pracujemy nad projektem
- Clean Code
- Continuous Deployment
- Continuous Integration
Benefity
- dofinansowanie zajęć sportowych
- prywatna opieka medyczna
- ubezpieczenie na życie
- zniżki na firmowe produkty i usługi
- brak dress code’u
- inicjatywy dobroczynne
Wirtualna Polska Media S.A.
Wirtualna Polska Media S.A. - jest partnerem pierwszego wyboru Polaków: dostarczamy angażujące informacje, rozrywkę i usługi oraz inspirujemy w codziennych decyzjach. Działamy w obszarach e-commerce, reklamy i mediów spójnie łącząc technologie.
Wszystkie informacje o przetwarzaniu danych osobowych w tej rekrutacji znajdziesz w formularzu aplikacyjnym, po kliknięciu w przycisk "Aplikuj Teraz".