Comparative analysis of data extraction, transformation, and loading tools in higher education data warehouses

Abstract

Master’s project is organized in 4 chapters: the role of data warehouse in higher education, ETL processes and tools, research methodology, applied framework. The goal of the first one is to explain what a data warehouse is and emphasize its advantages against other data architectures. Besides this, it explains its applicability in the context of higher education and highlights this necessity referring to the Republic of Moldova. The second one contains describes the main concepts of an ETL, also as highlights its principles, phases and paradigms. The third chapter emphasizes the qualitative metrics identified in academic research and professional literature. Moreover, it describes ETL tools, such as Informatica, Microsoft SQL Integration Services, Azure Data Factory, AWS Glue, Google Cloud Dataflow, and Spring Batch. The last chapter is focused on the practical part, and it explains how to implement both batch and real-time processing in Azure Data Factory and Spring Batch. This project analyses ETL tools and their suitability for building integration platforms in higher education. The goal is to determine possible metrics for evaluation. The importance and actuality of this study is motivated by the premise that each university should have a core platform that integrates its subsystems, such as finance, identity management, learning management system, making it easier for employees and students to collaborate in a simple, efficient manner.

Proiectul de master este divizat în 4 capitole: rolul depozitului de date în cadrul învățământului superior, procesul de extragere, transformare, și încărcare, precum și instrumentele existente, metodologia de cercetare, partea practică. Scopul celui dintâi capitol este de a elucida ce este un depozit de date și de explica avantajele și dezavantajele sale în raport cu alte arhitecturi de date. Pe lângă aceasta, prezintă interesul acestui subiect în contextul învățământului superior li face referință la situația și necesitatea unei astfel de arhitecturi pentru universitățile din Republica Moldova. Al doilea capitol descrie conceptele de bază la un proces de extragere, transformare, și încărcare. De asemenea, prezintă fazele de execuție și paradigmele ce pot fi implementate. Capitolul trei prezintă metricile calitative identificate în cercetările academice și literatura de specialitate, precum și descrie unele dintre instrumentele de extragere, transformare, și încărcare, ca Informatica, Microsoft SQL Integration Services, Azure Data Factory, AWS Glue, Google Cloud Dataflow, și Spring Batch. Ultimul capitol se focusează pe partea practică, și prezintă detalii despre implementarea paradigmelor de procesare în serie și în timp real utilizând Azure Data Factory și Spring Batch. În prezenta cercetare se realizează o analiză comparativă a instrumentelor de extragere, transformare, și încărcare, și se descrie aplicabilitatea lor în contextul învățământului superior. Scopul de bază este de a determina metricile de evaluare a acestor instrumente și de a realiza un cadru de evaluare. Importanța și actualitatea temei este motivată de ideea că orice universitate necesită o platformă unică de stocare și integrare a datelor din departamentele sale, cum ar fi cel al resurselor umane, contabilitate, platformelor de învățare, astfel încât acesta să ușureze procesul de colaborare atât a angajaților, cât și a studenților.