Data Engineer w Warszawa, Polska

Wymagane, Python, SQL, Spark, Polars

O projekcie, Budujemy „mózg” biddera RTB — systemu, który w imieniu klientów e-commerce kupuje powierzchnię reklamową w aukcjach czasu rzeczywistego. Nasze modele ML decydują, jaką kampanię wyświetlić, jak powinna wyglądać reklama oraz czy i za ile licytować., , Działamy na dużą skalę: setki tysięcy zapytań na sekundę, dziesiątki miliardów decyzji modeli ML dziennie i setki milionów wierszy logów aukcyjnych trafiających każdego dnia do bazy danych., , Jako Data Engineer będziesz rozwijać procesy dostarczające dane do tych modeli. Kluczową częścią Twojej pracy będzie monitorowanie i weryfikowanie jakości danych oraz zrozumienie ich wpływu na działanie modeli. Zajmiesz się również optymalizacją procesów przetwarzania i obliczeń, aby sprawnie obsługiwały skalę naszego systemu.

Tak pracujemy, wewnątrz organizacji, koncentrujesz się na jednym projekcie, rozwijasz kilka projektów jednocześnie, koncentrujesz się na rozwoju produktu, koncentrujesz się na utrzymaniu kodu

Twój zakres obowiązków, Budowa i optymalizacja procesów zasilających modele danymi.​, Projektowanie oraz optymalizacja warstwy przechowywania danych, w tym schematów i indeksowania pod kątem wydajności analityki oraz systemów Real-Time., Tworzenie warstwy obserwowalności danych wejściowych, obejmującej dashboardy i alerty wykrywające anomalie oraz spadki jakości danych zasilających modele., Opracowywanie narzędzi do monitorowania modeli produkcyjnych, w tym wykrywania zjawiska distribution shift., Wdrażanie praktyk CI/CD wspierających proces tworzenia, testowania i wdrażania modeli predykcyjnych.

Minimum 3 lata komercyjnego doświadczenia w Data Engineering lub pokrewnej roli związanej z przetwarzaniem danych., Bardzo dobra znajomość Pythona oraz SQL, Doświadczenie w przetwarzaniu dużych wolumenów danych z wykorzystaniem narzędzi takich jak Spark i Polars, Doświadczenie z analitycznymi bazami danych typu kolumnowego, Silne kompetencje techniczne: umiejętności programistyczne poparte zrozumieniem działania skomplikowanych systemów, Doświadczenie w pracy w sektorze operującym na dużej skali danych, Doświadczenie w projektowaniu i modelowaniu struktur danych na potrzeby zaawansowanej analityki oraz systemów działających w czasie zbliżonym do rzeczywistego

Mile widziane, Znajomość konkretnych silników analitycznych: ClickHouse i/lub StarRocks, Znajomość Kubernetes oraz narzędzi GitOps (ArgoCD), Doświadczenie w branży RTB (Real-Time Bidding) lub programmatic advertising, Doświadczenie w projektach z obszaru uczenia maszynowego (ML), Znajomość języka Go (Golang)

To oferujemy, Pracę u technologicznego lidera i partnera pierwszego wyboru – tworzymy treści, usługi i rozrywkę, które towarzyszą milionom Polaków każdego dnia, Darmowy dostęp do naszych produktów, takich jak Pilot WP czy Audioteka -chcemy, żebyś czuł się częścią tego, co tworzymy ❤️, Worksmile i elastyczny pakiet benefitów - to Ty wybierasz, co jest dla Ciebie ważne, Dostęp do bezpłatnych i anonimowych konsultacji psychologicznych, Możliwość pracy hybrydowej - pracujemy 3 dni w biurze oraz 2 dni z domu łącząc swobodę pracy zdalnej z tym, co najlepsze w biurze, Wydarzenia, które zbliżają - od sezonowych akcji (Dzień Dziecka to nasz ulubieniec!) po webinary o zdrowiu i neuroróżnorodności, Możliwość rozwoju dzięki szkoleniom w ramach programu WP Akademia, Szansę na nowe wyzwania i kierunki w ramach spółek WP Holding - wewnętrzne rekrutacje są na wyciągnięcie ręki

Tak pracujemy nad projektem, Clean Code, Continuous Deployment, Continuous Integration

Benefity, dofinansowanie zajęć sportowych, prywatna opieka medyczna, ubezpieczenie na życie, zniżki na firmowe produkty i usługi, brak dress code’u, inicjatywy dobroczynne

Wirtualna Polska Media S.A., Wirtualna Polska Media S.A. - jest partnerem pierwszego wyboru Polaków: dostarczamy angażujące informacje, rozrywkę i usługi oraz inspirujemy w codziennych decyzjach. Działamy w obszarach e-commerce, reklamy i mediów spójnie łącząc technologie.

Tak się u nas pracuje,