Data Engineer w Warszawa, Polska

Wymagane, Python, Rust, Kafka, Linux, PostgreSQL

Mile widziane, Docker, Kubernetes

O projekcie, W Scalo zajmujemy się dostarczaniem projektów software'owych i wspieraniem naszych partnerów w rozwijaniu ich biznesu. Tworzymy oprogramowanie, które umożliwia ludziom dokonywanie zmian, działanie w szybszym tempie oraz osiąganie lepszych rezultatów. Wykorzystujemy szerokie spektrum usług IT, aby wspierać naszych klientów w realizacji ich celów biznesowych., , Obszary naszej działalności obejmują m.in.:, , • doradztwo technologiczne,, • tworzenie oprogramowania,, • systemy wbudowane,, • rozwiązania chmurowe,, • zarządzanie danymi,, • dedykowane zespoły projektowe., , Cześć! Poznaj możliwości współpracy ze Scalo!

Twój zakres obowiązków, budowa i rozwój pipeline’ów danych niestrukturalnych w ramach projektu realizowanego dla obszaru sztucznej inteligencji,, projektowanie i implementacja przepływów ETL zasilających Repozytorium Danych Niestrukturalnych oraz rozwiązania wykorzystywane przez agentów AI,, tworzenie procesów przetwarzania danych pochodzących z dokumentów, obrazów i plików audio,, implementacja mechanizmów ekstrakcji treści, OCR, ASR (transkrypcji audio) oraz konwersji dokumentów,, rozwój rozwiązań wykorzystujących embeddingi, wyszukiwanie semantyczne, indeksowanie oraz filtrowanie danych po metadanych,, integracja pipeline’ów z wektorowymi bazami danych, w szczególności Qdrant,, projektowanie i rozwój usług przetwarzających dane z wykorzystaniem Pythona lub Rusta,, tworzenie i integracja usług udostępniających funkcjonalności poprzez REST API,, rozwój mechanizmów przetwarzania danych opartych na architekturze zdarzeniowej, m.in. Kafka lub Pub/Sub,, współpraca przy projektowaniu usług kategoryzacji danych, ontologii oraz rozwiązań wspierających przetwarzanie informacji na potrzeby AI,, analiza i optymalizacja wydajności oraz niezawodności procesów przetwarzania danych,, współpraca z zespołami rozwijającymi rozwiązania Data Engineering oraz AI,, model realizacji usług: hybrydowo – 1 dzień w tygodniu z biura w Warszawie,, budżet projektu: do 140 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.

doświadczenie w inżynierii danych, w szczególności w budowaniu pipeline’ów i usług przetwarzających dane (min. 3-5 lat doświadczenia),, dobra znajomość Pythona lub Rusta,, praktyczna znajomość wektorowych baz danych, w szczególności Qdrant,, znajomość embeddingów, wyszukiwania semantycznego, indeksowania i filtrowania danych po metadanych,, doświadczenie w projektowaniu lub rozwijaniu integracji opartych na REST API,, znajomość architektury sterowanej zdarzeniami (event-driven architecture), np. z wykorzystaniem Kafka lub Pub/Sub,, dobra znajomość systemu Linux,, znajomość relacyjnych baz danych, np. PostgreSQL,, umiejętność projektowania i rozwijania procesów przetwarzania danych,, samodzielność w analizie problemów technicznych i proponowaniu rozwiązań.

Mile widziane, doświadczenie z Docker, Kubernetes i CI/CD,, znajomość GCP, w tym BigQuery, Dataflow, Dataproc lub Pub/Sub,, znajomość Apache Airflow, Apache Spark lub Apache Beam,, doświadczenie z przetwarzaniem danych niestrukturalnych, w tym OCR, transkrypcją audio i konwersją dokumentów,, znajomość grafowych baz danych, np. Neo4j,, doświadczenie z Knowledge Graph, GraphRAG lub klasycznymi rozwiązaniami RAG,, znajomość FastAPI.

To oferujemy, możliwość świadczenia usług w różnorodnych projektach z obszaru Software, Embedded, Data i Cloud Services,, zaangażowanie w dodatkowe inicjatywy presealsowe oraz eksperckie,, dostęp do opieki medycznej, karty sportowej oraz platformy kafeteryjnej zgodnie z obowiązującymi zasadami współpracy.

Etapy rekrutacji, CV, Rozmowa wstępna, Rozmowa techniczna, Gotowe - działamy!

Brzmi interesująco? Aplikuj – czekamy na Twoje CV!

Scalo Sp. z o.o., Scalo to firma, która od 18 lat tworzy oprogramowanie dla biznesu. Zrealizowaliśmy ponad 750 projektów dla firm z różnych branż – od startupów po międzynarodowe korporacje. Nasze doświadczenie pozwala nam szybko zrozumieć potrzeby klientów i dostarczyć rozwiązania, które faktycznie wspierają rozwój ich firm.

Tak się u nas pracuje,