Stawka: do 155 pln/h + VAT, B2B Lokalizacja: zdalnie Branża: bankowość Szukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark, integrujących dane z wielu źródeł oraz rozwój procesów ETL. Zakres obowiązków Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark. Projektowanie, rozwój i optymalizacja procesów ETL. Integracja danych z różnych źródeł (API, bazy danych, pliki, batch). Migracja istniejących procesów ETL do nowej architektury danych. Transformacja, czyszczenie i mapowanie danych. Tworzenie oraz optymalizacja zapytań SQL. Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań. Must have Bardzo dobra znajomość Databricks. Bardzo dobra znajomość PySpark. Zaawansowana znajomość Python. Zaawansowana znajomość SQL / PL/SQL. Doświadczenie w projektowaniu i rozwijaniu procesów ETL. Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch). Mile widziane Doświadczenie w projektach związanych z AML lub Data Warehouse. Znajomość architektury nowoczesnych platform danych. Kompetencje Umiejętność analitycznego myślenia i rozwiązywania problemów. Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne. Dobra organizacja pracy i komunikacja. Umiejętność pracy zespołowej. Informacje o projekcie Projekt: rozwój i migracja warstwy danych AML. Lokalizacja: zdalnie
... datasets, and data structures from legacy warehouses to the new platform - Document data flows, technical solutions, incidents, and operational procedures - Maintain data dictionaries and runbooks to ensure effective knowledge sharing and platform support - Collaborate closely with the Senior Data Engineer, Head of Data & Analytics, ...
- Minimum 5 years of commercial experience in data engineering with Google Cloud - Google Cloud Professional Data Engineer certification (expected or to be obtained within the first month of work). - Advanced knowledge of the Google Cloud ecosystem: BigQuery, Cloud Storage, Pub/Sub, BigTable, Dataflow, Dataproc, Cloud Functions/Run, ...
... maintaining scalable data processing pipelines using SQL, Python, and Apache Spark / PySpark., Working with raw data and designing methods for its integration into the data platform., Developing CI/CD pipelines for data engineering solutions., Creating and maintaining Infrastructure as Code solutions., Integrating the data platform ...
About you - 3+ years of hands-on experience in Data Engineering or Software Engineering. - Degree in computer science, engineering or equivalent technical field experience. - Proficient in cloud-based data processing and storage technologies like Databricks, Spark, Airflow. - Fluent in SQL and proficient in at least one ...
Your responsibilities - Design, develop, and maintain scalable batch and real-time data pipelines using modern data engineering technologies. - Build and optimize data processing solutions leveraging Apache Spark, Kafka, and distributed computing frameworks. - Develop and manage data warehousing solutions using Apache Hive ...
... środowiska bazodanowego Oracle do Google Cloud Platform, z wykorzystaniem BigQuery, Pub/Sub oraz Cloud Storage, - projektowanie, implementację i rozwój rozwiązań Data Engineering na platformie GCP, w szczególności z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub, - migrację oraz przebudowę procesów przetwarzania i zasilania ...
... services to deliver ultra-low latency, high-throughput data solutions - • Build aggregation layers and pipelines consumed by APIs, AI/ML models, and dashboards - - Data Engineering & Integration - • Expose time-series and analytics data through API gateways and integration layers - • Collaborate closely with data science and ...
... integracyjne, plikowe, API oraz strumieniowe, m.in. Kafka - POC nowych narzędzi i technologii do potencjalnego wdrożenia w HD PZU, w tym rozwiązań SAS Viya, Oracle Exadata, Microsoft Fabric, Power BI oraz narzędzi automatyzujących pracę zespołu - Budowa narzędzi monitorujących aktywność użytkowników HD oraz wspierających kontrolę ...
Your responsibilities - Experience in data science, engineering, and data analysis. - Experience leveraging SQL and Python (dataframes) for data pipeline orchestration, file ingestion, data cleansing, data joining and relationships, data aggregation, data manipulation, and data analysis to create meaningful informed results ...
... and follow engineering best practices. - Support data workflow automation and CI/CD processes using orchestration tools (e.g. Airflow, Prefect). - Use modern data platforms such as Databricks in production or development environments. Your profile - Experience as a Data Engineer with strong practical skills in data processing. ...
Your responsibilities - working with production data in a SQL Server environment, - supporting and optimizing ETL/ELT processes, - analyzing and optimizing SQL queries, - monitoring and troubleshooting issues using SQL Server diagnostic tools, - handling large data volumes across migration and export processes, - supporting ...