Mid Data Engineer / ETL, Apache NiFi / PostgreSQL (k/m)

Miejsce pracy: Warszawa

Technologie, których używamy

Wymagane

Apache
PostgreSQL
ETL
SQL
Data modeling
REST API
Python

System operacyjny

Linux

O projekcie

Szukamy inżyniera danych na poziomie Mid do zespołu Ideamotive. Będziesz pracować przy projektach dla naszych klientów z sektorów regulowanych, w tym z branży energetycznej. Do Twoich zadań będzie należeć rozwój istniejącej platformy produkcyjnej oraz budowa nowych rozwiązań od zera. Systemy te służą do zbierania, przetwarzania i udostępniania danych.

Twój zakres obowiązków

Budowa i rozwój przepływów danych w Apache NiFi.
Projektowanie i rozwój baz danych PostgreSQL.
Przygotowywanie REST API nad bazą danych we współpracy z zespołem frontendowym.
Optymalizacja zapytań SQL przy dużych wolumenach danych.

Nasze wymagania

Kilkuletnie doświadczenie w pracy z relacyjnymi bazami danych i procesami ETL.
Praktyczna znajomość Apache NiFi pozwalająca na samodzielne projektowanie przepływów.
Dobra znajomość PostgreSQL oraz zagadnień z zakresu modelowania danych.
Doświadczenie w optymalizacji zapytań SQL.
Umiejętność przygotowania REST API nad bazą danych (wystarczy konfiguracja narzędzi, bez programowania w Javie czy .NET).
Podstawowa znajomość języka Python do pisania skryptów.
Znajomość środowiska Linux i podstaw bash.
Samodzielność w działaniu.
Język angielski na poziomie minimum B2.

Mile widziane

Doświadczenie z Azure Data API Builder lub Azure API Management.
Znajomość protokołu Amazon S3.
Wiedza z zakresu branży elektroenergetycznej, księgowości lub controllingu.

Benefity

możliwość pracy zdalnej
elastyczny czas pracy
spotkania integracyjne

Jeśli po przeczytaniu tego ogłoszenia masz poczucie, że to rola, w której możesz realnie coś zbudować — bardzo możliwe, że właśnie Ciebie szukamy.

Ideamotive

Czym jest Ideamotive?

Agile’owa firma świadcząca usługi w zakresie tech team extension IT dla klienta korporacyjnego (głównie w Polsce).

Nasza firma została uznana przez Forbes 3 lata z rzędu jako jedna z najprężniej rozwijających się organizacji IT w Polsce oraz znalazła się na liście Financial Times 1000.

Team delivery składa się z 60 osób, core biznesowy z 12 osób i mamy chrapkę na wzrosty, więc podejście “can do” i nastawienie na działanie są tutaj niezbędne.

Mamy bardzo zgrany, zaangażowany zespół, lubimy to, co robimy.

Poczytaj o naszych wartościach:

Jeżeli taka atmosfera jest zgodna z Twoimi oczekiwaniami, zaaplikuj! Zobaczmy jaką historię możemy razem napisać.

OBOWIĄZEK INFORMACYJNY IDEAMOTIVE SP. Z O.O. (dla kandydatów na współpracowników, tj. osób ubiegających się o nawiązanie współpracy ze Spółką na podstawie umowy cywilnoprawnej np. umowy zlecenia, b2b) Ten dokument zawiera m.in. informacje dotyczące celów przetwarzania Pani/Pana danych osobowych przez Ideamotive Sp. z o.o. (dalej: „Administrator”), okresie ich przetwarzania przez Administratora, przysługujących Pani/Panu prawach, możliwych odbiorcach Pani/Pana danych osobowych, danych kontaktowych w sprawach dotyczących przetwarzania Pani/Pana danych przez Administratora. Poniższa informacja przedstawiana jest w związku z obowiązkami wynikającymi z Rozporządzenia Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (dalej: „RODO”). 1. Administratorem Pani/Pana danych osobowych jest Ideamotive Sp. z o.o. z siedzibą w Warszawie (kod pocztowy 00-819), przy ul. Złotej 61/101, wpisana do Rejestru Przedsiębiorców przez Sąd Rejonowy dla M. St. Warszawy w Warszawie, Wydział XII Gospodarczy Krajowego Rejestru Sądowego pod numerem KRS 0000529079, posiadającą NIP 5272722655, REGON 147483183. 2. Kontakt z Administratorem jest możliwy: 1) listownie, pod adresem korespondencyjnym: ul. Złota 61/101, 00-819 Warszawa; 2) za pośrednictwem poczty elektronicznej pod adresem e-mail: legal@ideamotive.com 3. Pani/Pana dane osobowe w zależności od danych osobowych zebranych w toku procesu rekrutacyjnego, jak również wyrażonych zgód są przetwarzane w następujących celach: Cel przetwarzania danych osobowych Podstawa prawna przetwarzania danych osobowych Okres retencji danych osobowych dotyczący danego celu przetwarzania 1 Przeprowadzenie procesu rekrutacyjnego. art. 6 ust. 1 lit. b RODO Dane osobowe będą przetwarzane do czasu zakończenia procesu rekrutacji, w zw. z którym została złożona aplikacja/CV*. *chyba, że zostanie wyrażona zgoda na przetwarzanie danych osobowych na potrzeby przyszłych rekrutacji, o której mowa poniżej. Przetwarzanie danych osobowych, o których mowa w art. 9 ust. 1 RODO (tzw. szczególnych kategorii danych), w przypadku zamieszczenia przez Panią/Pana takich danych w aplikacji/CV. Art. 9 ust. 2 lit. a RODO W tym przypadku dane osobowe mogą być przetwarzane do momentu wycofania wyrażonej zgody, a jeżeli zgoda nie została wycofana do czasu zakończenia procesu rekrutacyjnego – dane będą przetwarzane do czasu zakończenia procesu rekrutacji, w zw. z którym została złożona aplikacja/CV lub w przypadku wyrażenia zgody na przetwarzanie takich danych na potrzeby przyszłych rekrutacji – przez okres trzech lat od dnia wyrażenia ww. zgody. Wyrażona zgoda może zostać wycofana w dowolnym momencie. Wycofanie zgody nie wpływa na zgodność 1 Okres przetwarzania danych osobowych ustalany jest indywidualnie dla każdego celu przetwarzania danych osobowych. z prawem przetwarzania danych do czasu wycofania zgody. Przetwarzanie danych osobowych na potrzeby przyszłych rekrutacji, w przypadku wyrażenia przez Panią/Pana stosownej zgody. art. 6 ust. 1 lit a RODO W tym przypadku dane osobowe mogą być przetwarzane do momentu wycofania wyrażonej zgody, a jeżeli zgoda nie została wycofana – przez okres trzech lat od dnia wyrażenia zgody. Wyrażona zgoda może zostać wycofana w dowolnym momencie. Wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych do czasu wycofania zgody. Realizacja następujących prawnie uzasadnionych interesów administratora: 1) zapewnienia bezpieczeństwa Administratora, jego mienia oraz mienia innych osób znajdującego się na terenie, w budynkach lub pomieszczeniach używanych przez Administratora, a także bezpieczeństwa tych osób - jeżeli będzie Pani/Pan wchodzić na teren, do budynku lub pomieszczeń objętych przez Administratora monitoringiem wizyjnym. art. 6 ust. 1 lit f RODO W przypadku monitoringu wizyjnego dane osobowe są przetwarzane przez okres 3 miesięcy od dnia nagrania. 4. Pani/Pana dane osobowe mogą być pozyskiwane bezpośrednio od Pani/Pana w toku rekrutacji lub od agencji rekrutacyjnej/portalu rekrutacyjnego, jeżeli złożyła/założył Pani/Pan aplikację/CV za ich pośrednictwem. 5. Administrator może przetwarzać następujące kategorie Pani/Pana danych osobowych: 1) dane identyfikacyjne np. imię, nazwisko, adres zamieszkania; 2) dane kontaktowe, np. adres do korespondencji, numer telefonu, adres e-mail; 3) dane dotyczące historii zatrudnienia; 4) dane dotyczące wykształcenia, szkoleń oraz posiadanych kwalifikacji; 5) dane z monitoringu wizyjnego; 6) dane dodatkowe podane w aplikacji/CV (np. hobby, zainteresowania). 6. Dostęp do Pani/Pana danych osobowych mogą mieć upoważnieni pracownicy i współpracownicy Administratora; podmioty, z którymi Administrator zawarł umowę powierzenie przetwarzania danych osobowych lub którym udostępnienie Pani/Pana danych osobowych jest zgodne z obowiązującymi przepisami prawa. Mając na uwadze powyższe, odbiorcami Pani/Pana danych osobowych mogą być następujące podmioty lub kategorie podmiotów: 1) instytucje lub organy uprawnione do żądania dostępu lub otrzymania danych osobowych na podstawie przepisów prawa np. Prezes Urzędu Ochrony Danych Osobowych, Policja; 2) podmioty świadczące usługi na rzecz Administratora (kancelarie prawne, audytorzy, podmioty obsługujące systemy informatyczne Administratora lub świadczące inne usługi informatyczne, podmioty świadczące usługi ochrony obiektów wykorzystywanych przez Administratora); 3) kontrahenci Administratora, w przypadku w którym rekrutacja jest prowadzona w związku z projektem realizowanym na rzecz kontrahenta Administratora lub w ramach innej współpracy z takim kontrahentem; 4) poczta polska, firmy kurierskie. 7. W przypadku, w którym w związku z przetwarzaniem Pani/Pana danych osobowych konieczne będzie przekazanie Pani/Pana danych osobowych poza Europejski Obszar Gospodarczy (EOG), do krajów nienależących do EOG, których poziom ochrony danych nie został uznany przez Komisję Europejską za odpowiedni, Administrator przekaże Pani/Pana dane osobowe wyłącznie w zakresie w jakim pozwalają na to przepisy prawa, np. przy zastosowaniu odpowiedniego zabezpieczenia w postaci standardowych klauzul ochrony danych przyjętych przez Komisję Europejską lub w przypadkach spełnienia warunków wskazanych w art. 49 ust. 1 RODO. Kopie ewentualnych zabezpieczeń, o których mowa powyżej lub informacje na temat ich dostępności można uzyskać kontaktując się z Administratorem na adresy wskazane pkt. 2 powyżej. 8. Przysługuje Pani/Panu prawo do: 1) dostępu do treści swoich danych osobowych oraz ich kopii; 2) prawo do sprostowania danych (poprawiania) swoich danych; 3) prawo do przenoszenia danych przetwarzanych w sposób zautomatyzowany oraz na podstawie zgody lub na podstawie umowy; 4) prawo do usunięcia danych w sytuacjach określonych w art. 17 RODO, w sytuacji, gdy przetwarzanie danych nie następuje w celu wywiązania się z obowiązku wynikającego z przepisu prawa; 5) prawo do ograniczenia przetwarzania danych; 6) prawo do wniesienia sprzeciwu wobec przetwarzania danych (w przypadku przetwarzania danych osobowych na podstawie art. 6 ust. 1 lit. f RODO); 7) prawo do wycofania wyrażonej zgody na przetwarzanie danych osobowych, jeżeli podstawą przetwarzania danych osobowych jest zgoda. Wyrażoną zgodę może Pani/Pan wycofać w dowolnym momencie kontaktując się z Administratorem na adresy wskazane w pkt. 2 powyżej. Wycofanie zgody nie wpływa na zgodność z prawem przetwarzania danych do czasu wycofania zgody. 9. Przysługuje Pani/Panu prawo wniesienia skargi do organu nadzorczego – Prezesa Urzędu Ochrony Danych Osobowych. https://jobeax.com/link/0iWMJu7DWLQ5xLwz przez Panią/Pana danych osobowych jest dobrowolne, przy czym konieczne dla wzięcia udziału w prowadzonym procesie rekrutacji. https://jobeax.com/link/G3fljFYcS29iOaIj dane osobowe nie będą przetwarzane w sposób zautomatyzowany, który mógłby skutkować zautomatyzowanym podejmowaniem decyzji, w tym decyzji opartych na profilowaniu.

Mid Data Engineer / ETL, Apache NiFi / PostgreSQL (k/m)

Zacznij od adresu e-mail