Different ways to measure end-user information systems satisfaction in a large company

Abstract

This thesis explores the different ways of measuring end-user satisfaction within an information system in a large company. The need for the study arose in the target organisation, where the aim was to find out what all the possibilities are to measure end-user satisfaction with information systems. The study uses the DeLone & McLean information systems success model and the Technology acceptance model as a theoretical basis to understand the factors that influence user satisfaction.

Previous research on end-user satisfaction has largely focused on the various factors that influence and shape end-user satisfaction. Beyond these studies, there has not been a huge amount of research on how information system functions should measure end-user satisfaction and how different methodologies influence the measurement. This led to the research question "What are the different methodologies available to companies to measure internal end-user satisfaction with information systems?" This study uses constructive methodology to create a construct for different methodologies for measuring end-user satisfaction with information systems. The researcher gained theoretical understanding from previous research and practical understanding of the problems by interviewing 19 IT employees of the target company. With these and innovation within a project group the research aimed to create the construct.

The resulting study produced a construction listing possible methodologies for measuring enduser satisfaction with information systems. Included are questionnaire formats perceived as traditional, a ticket-based survey, a proactive automatic observation method, and smaller focused surveys of key users. The construct allows platform companies to evaluate their methodologies for measuring information system end-user satisfaction within their own organizations. The research question is answered by the options presented by the construct and the measurement problems that the construct's methodologies address. It also presents what factors from the Information systems success- and Technology acceptance model can be measured using any of the listed methodologies.

Limitations of the study are the risk of being too focused on the target organization. The interview groups were quite small. Further research on the subject matter is required to further validate the construct and to research the next steps of end-user satisfaction measurement process and implementation. A high interest towards end-user satisfaction feedback processing was identified from the interviews that should warrant further research.

Tässä opinnäytetyössä tutkitaan erilaisia tapoja mitata loppukäyttäjien tyytyväisyyttä tietojärjestelmiin suuressa yrityksessä. Tarve tutkimukselle syntyi kohdeorganisaatiossa, jossa haluttiin selvittää, mitä kaikkia mahdollisuuksia on mitata loppukäyttäjien tyytyväisyyttä tietojärjestelmiin. Tutkimuksessa käytetään DeLonen ja McLeanin tietojärjestelmien menestysmallia ja teknologian hyväksymismallia teoreettisena perustana, jotta voidaan ymmärtää tekijöitä, jotka vaikuttavat käyttäjien tyytyväisyyteen.

Aikaisemmissa loppukäyttäjien tyytyväisyyttä koskevissa tutkimuksissa on suurelta osin keskitytty loppukäyttäjien tyytyväisyyteen vaikuttaviin ja sitä muokkaaviin eri tekijöihin. Näiden tutkimusten lisäksi ei ole tehty paljon tutkimusta siitä, miten tietojärjestelmätoimintojen tulisi mitata loppukäyttäjien tyytyväisyyttä ja miten eri menetelmät vaikuttavat mittaamiseen. Tämä johti tutkimuskysymykseen: "Mitä erilaisia menetelmiä yrityksillä on käytettävissään sisäisen loppukäyttäjätyytyväisyyden mittaamiseen tietojärjestelmiä kohtaan?". Tässä tutkimuksessa käytetään konstruktiivista menetelmää, jolla luodaan konstruktio erilaisille menetelmille, joilla mitataan loppukäyttäjien tyytyväisyyttä tietojärjestelmiin. Tutkija sai teoreettista ymmärrystä aiemmista tutkimuksista ja käytännön ymmärrystä ongelmista haastattelemalla kohdeyrityksen 19 tietotekniikan työntekijää.

Tutkimuksen tuloksena syntyi konstruktio, jossa luetellaan mahdolliset menetelmät loppukäyttäjien tietojärjestelmiin kohdistuvan tyytyväisyyden mittaamiseksi. Mukana ovat perinteisiksi koetut kyselylomakemuodot, tikettipohjainen kysely, ennakoiva automaattinen havainnointimenetelmä ja pienemmät kohdennetut kyselyt keskeisille käyttäjille. Konstruktion avulla yritykset voivat arvioida tietojärjestelmien loppukäyttäjien tyytyväisyyttä mittaavia menetelmiä omassa organisaatiossaan. Uudelleentutkimuskysymykseen vastataan konstruktiossa esitettyjen vaihtoehtojen ja niiden mittausongelmien avulla, joihin konstruktioon sisältyvillä menetelmillä vastataan. Lisäksi esitellään, mitä tietojärjestelmien menestys- ja teknologian hyväksymismallin tekijöitä voidaan mitata millä tahansa luetelluista menetelmistä.

Tutkimuksen rajoituksiin liittyy riski liikaa keskittymisestä kohdeorganisaatioon. Haastattelujen väliset ryhmät olivat melko pieniä. Aiheeseen liittyvää lisätutkimusta tarvitaan, jotta konstruktiota voidaan edelleen validoida ja, jotta voidaan tutkia loppukäyttäjien tyytyväisyyden mittausprosessin ja toteutuksen seuraavia vaiheita. Haastatteluissa havaittiin suuri kiinnostus loppukäyttäjien tyytyväisyyspalautteen käsittelyä kohtaan, minkä vuoksi lisätutkimusta olisi hyvä jatkaa.