Literature Review of the ETL and ELT Data Integration Pipelines

Abstract

This is a literature review on ETL (Extract-Transform-Load) and ELT (Extract-Load-Transform) data integration pipelines. The literature review focuses on how the pipelines operate and how they can be optimized from a performance viewpoint. Both ETL and ELT pipelines are used for the same goal, but the execution of the processes differ significantly. In this study three main phases that comprise both types of pipeline models are focused on. In ETL pipelines the transformation process is completed prior to loading the data into the target system. With ELT pipelines the transformation process is executed after loading the data into the target system. In this literature review the optimization of these phases is studied. This study also compares the suitability of the two pipeline models in different architectures.

Tämä tutkielma on kirjallisuuskatsaus ETL (Extract-Transform-Load)- ja ELT (Extract-Load-Transform) -dataintegraatioprosesseista. Kirjallisuuskatsaus keskittyy prosesseihin ja niiden toimintaan ja siihen, miten niitä voidaan optimoida suorituskyvyn näkökulmasta. Sekä ETL- että ELT-prosesseja käytetään samaan tarkoitukseen, mutta prosessien toteutus eroaa merkittävästi toisistaan. ETL-prosessoinnissa muunnosprosessi suoritetaan ennen datan lataamista kohdejärjestelmään, kun taas ELT-prosessoinnissa muunnosprosessi suoritetaan datan kohdejärjestelmään lataamisen jälkeen. Tässä tutkielmassa keskitytään kolmeen päävaiheeseen, jotka esiintyvät molemmissa dataintegraatioputkimalleissa. Tässä kirjallisuuskatsauksessa tutkitaan näiden kolmen päävaiheiden optimointia. Tutkielmassa vertaillaan myös näiden kahden prosessointiprosessimallin soveltuvuutta eri arkkitehtuureihin.