Minimum 4-letnie doświadczenie komercyjne na stanowisku Data Engineer.
Znajomość ekosystemu Microsoft Azure , w tym Microsoft Defender i Entra ID .
Ogólna wiedza z zakresu IT security oraz znajomość podstaw sieciowych TCP/IP .
Doświadczenie w pracy z SQL i Python w kontekście pipeline'ów danych.
Silna, praktyczna znajomość KQL oraz Azure Data Explorer ( ADX ).
Bardzo dobra znajomość języka angielskiego.
Biegła znajomość języka polskiego.
Mile widziane:
Doświadczenie w budowie warstw raportowych w SQL na potrzeby dashboardów i agentów analitycznych.
Doświadczenie w projektowaniu i implementacji integracji API-based oraz znajomość metod autentykacji.
Znajomość Logic Apps i doświadczenie w konfigurowaniu przepływów integracyjnych.
Doświadczenie z narzędziem Cribl w zakresie routingu i transformacji danych.
Wspólnie z naszym Partnerem, szwedzkim koncernem energetycznym będącym jednym z największych producentów i dystrybutorów energii w Europie , poszukujemy doświadczonego/ej specjalisty/ki do świadczenia usług jako Data Engineer. Projekt dotyczy budowy i utrzymania platformy danych zasilającej inteligentnych agentów AI automatyzujących procesy SOC w oparciu o Azure Data Explorer i Microsoft Sentinel.
OFERUJEMY:
Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych.
5 000 PLN za polecenie znajomych do naszych projektów.
Elastyczna forma współpracy B2B.
Realizacja usług 100% zdalnie.
Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Pragniemy poinformować, że skontaktujemy się z wybranymi osobami.
,[Projektowanie i budowanie pipeline'ów ingestion danych w Azure Data Explorer, obejmujące normalizację i definiowanie schematów danych zasilających agentów AI., Pisanie i optymalizowanie zapytań KQL wykorzystywanych przez agentów do wzbogacania alertów, korelacji zdarzeń i threat huntingu., Diagnozowanie błędów po stronie danych i integracji oraz rozszerzanie istniejących integracji o nowe źródła i API., Onboarding nowych źródeł logów do Sentinel i ADX wraz z bieżącą walidacją jakości danych na wejściu., Konfigurowanie przepływów integracyjnych w Logic Apps oraz routing i transformacja danych w Cribl., Tworzenie skryptów Python do automatyzacji zadań pipeline'owych i wywołań API między systemami.] Requirements: Azure, KQL, Azure Data Explorer, SQL, Python, REST API, JSON, Defender, TCP/IP, Microsoft Entra ID
... maintaining scalable data processing pipelines using SQL, Python, and Apache Spark / PySpark., Working with raw data and designing methods for its integration into the data platform., Developing CI/CD pipelines for data engineering solutions., Creating and maintaining Infrastructure as Code solutions., Integrating the data platform ...
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...
Your responsibilities - Design, develop, and maintain scalable batch and real-time data pipelines using modern data engineering technologies. - Build and optimize data processing solutions leveraging Apache Spark, Kafka, and distributed computing frameworks. - Develop and manage data warehousing solutions using Apache Hive ...
... środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage, - projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub, - migrację oraz przebudowę procesów przetwarzania i zasilania ...
... services to deliver ultra-low latency, high-throughput data solutions - • Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards - - Data Engineering & Integration - • Expose time-series and analytics data through API gateways and integration layers - • Collaborate closely with data science and ...
... integracyjne, plikowe, API oraz strumieniowe, m.in. Kafka - POC nowych narzędzi i technologii do potencjalnego wdrożenia w HD PZU, w tym rozwiązań SAS Viya, Oracle Exadata, Microsoft Fabric, Power BI oraz narzędzi automatyzujących pracę zespołu - Budowa narzędzi monitorujących aktywność użytkowników HD oraz wspierających kontrolę ...
Your responsibilities - Experience in data science, engineering, and data analysis. - Experience leveraging SQL and Python (dataframes) for data pipeline orchestration, file ingestion, data cleansing, data joining and relationships, data aggregation, data manipulation, and data analysis to create meaningful informed results ...
... and follow engineering best practices. - Support data workflow automation and CI/CD processes using orchestration tools (e.g. Airflow, Prefect). - Use modern data platforms such as Databricks in production or development environments. Your profile - Experience as a Data Engineer with strong practical skills in data processing. ...
Your responsibilities - working with production data in a SQL Server environment, - supporting and optimizing ETL/ELT processes, - analyzing and optimizing SQL queries, - monitoring and troubleshooting issues using SQL Server diagnostic tools, - handling large data volumes across migration and export processes, - supporting ...
... Optimization of databases and data storage systems - Collaborate with other teams to deliver solutions tailored to business needs - Monitor performance and troubleshoot data processing issues - Ensuring data security and integrity - E2E reports development Our requirements - Min. 2-3 years of experience as a Data Engineer or Data ...
... will be shared during the recruitment process. Our requirements - Bachelor’s degree in Computer Science, Engineering, or related field - Proven experience as a Data Engineer or similar role - Strong knowledge of data processing technologies and database systems (SQL, NoSQL) - Experience with data pipeline and workflow management ...