Delegating tasks to ChatGPT : An empirical approach to understanding delegation between agents

Abstract

The information system (IS) delegation theoretical framework addresses the technological advancements in artificial intelligence, which the dominant IS use theory has yet to be able to answer due to the human agent primacy. Delegation, in the context of IS, is an action between a human agent and an agentic IS artifact where the human agent does not simply use the information system but delegates a task or subtask to an agentic IS artifact. Since the launch of ChatGPT in late 2022, the large public has explored and benefited from the capabilities of this new agentic IS artifact by delegating tasks. For organizations and individuals to understand their interaction with ChatGPT, the delegation process must be addressed.

This thesis aims to answer the research question of how human agents delegate work tasks to ChatGPT. Qualitative and quantitative methods are utilized to gather relevant information for a delegation conceptual model with semi-structured interviews and a self-administered web survey. The thesis presents the delegation conceptual model, replicating and extending the existing IS delegation theory to a new agentic IS artifact. The thesis provides a practical implication by identifying the primary delegation mechanism – appraisal – for human agents who utilize ChatGPT in a work setting. Identifying the delegation mechanism provides insight into human agents’ delegation process and affecting attributes. In addition, the thesis has two contributions to how human agents perceive delegation. First, survey results suggest that human agents do not acknowledge the action of delegation when interacting with ChatGPT. Second, human agents do not acknowledge all the subdimensions of delegation, such as transfer of rights and transfer of responsibilities, when interacting with ChatGPT.

To build the model, delegated tasks and delegation situations have been identified through 21 interviews and the most common task and situation through 132 survey responses. As a part of identifying the delegation mechanism, four hypotheses have been set to test the human agents’ acknowledgment of subdimensions of delegation. New unvalidated dichotomous measurement items have been created, and hypotheses have been tested through the Pearson x² goodness of fit statistical test. According to the results presented in this thesis, delegated tasks are usually subtasks where the human agent has an incentive to produce non-critical text or text to supplement planned text. Both interviews and survey results emphasize the superiority of human agents’ decision-making capabilities, ability to assess generated text, and knowledge to check facts on behalf of the ChatGPT. On the other hand, ChatGPT has been described as writing sufficient text promptly, surpassing the human agent’s slow pace of text production and even potentially avoiding human agent procrastination towards text production.

Tietojärjestelmätieteen delegoinnin (IS delegation) teoreettinen viitekehys pyrkii vastaamaan tekoälyn teknologiseen kehitykseen täydentäen vallalla olevaa ihmiskeskeisen käyttäjyyden (IS use) näkökulmaa. Delegointi tietojärjestelmätieteen kontekstissa on toimijuutta harjoittavien ihmisen ja artefaktin välistä toimintaa, jossa ihminen toimijana ei vain käytä tietojärjestelmää, vaan delegoi tehtävän tai alitehtävän artefaktille. ChatGPT:n julkaisusta, loppuvuodesta 2022 lähtien, suuri yleisö on etsinyt tapoja hyödyntää tämän uuden artefaktin ominaisuuksia. Jotta organisaatiot ja yksilöt ymmärtäisivät paremmin toimintaansa ChatGPT:n kanssa, delegointia prosessina on tutkittava. Tämän tutkielman tavoitteena on vastata tutkimuskysymykseen siitä, kuinka ihmiset delegoivat työtehtäviä ChatGPT:lle. Tutkimusaineiston keruussa on hyödynnetty kvalitatiivisia ja kvantitatiivisia menetelmiä. Aineistoa on kerätty delegaation käsitteellistä mallia varten puolistrukturoiduilla haastatteluilla ja verkkokyselyllä. Tutkielmassa esitellään delegoinnin käsitemalli, joka toistaa ja laajentaa olemassa olevaa delegointiteoriaa uudella artefaktilla. Käytännön johtopäätöksenä tunnistetaan ensisijainen delegointimekanismi: arviointi. Johtopäätös on hyödyllinen ihmisille, jotka työskentelevät ChatGPT:n kanssa. Delegointimekanismin tunnistaminen antaa käsityksen ihmisten delegointiprosessista ja delegointiin vaikuttavista osa-alueista. Lisäksi tutkielmassa esitellään kaksi havaintoa siitä, miten ihmiset hahmottavat delegoinnin. Ensinnäkin tutkimustulokset viittaavat siihen, että ihmiset eivät tunnista delegointia vuorovaikutuksessaan ChatGPT:n kanssa. Toiseksi ihmiset eivät tunnista kaikkia delegoinnin ulottuvuuksia, kuten oikeuksien ja velvollisuuksien siirtoa, ollessaan vuorovaikutuksessa ChatGPT:n kanssa. Käsitemallin rakentamiseksi delegoituja tehtäviä ja delegointitilanteita on kartoitettu 21 haastattelun avulla. Yleisin delegoitu tehtävä ja delegointitilanne on puolestaan tunnistettu 132 kyselyvastauksen kautta. Lisäksi osana delegointimekanismin tunnistamista on asetettu neljä hypoteesia testaamaan, kuinka ihmiset tunnustavat delegoinnin ulottuvuuksia. Hypoteesitestausta varten tutkielmassa on luotu validoimattomia dikotomisia kysymyksiä, jotka vastaavat delegoinnin ulottuvuuksia. Hypoteesit on testattu tilastollisen Pearsonin x² -testin avulla. Tässä tutkielmassa esitettyjen tulosten mukaan delegoidut tehtävät ovat yleensä osatehtäviä, joissa ihmisellä on kannustin tuottaa ei-kriittistä tekstiä tai tekstiä täydentämään jo suunniteltua tekstiä. Sekä haastatteluissa että kyselytuloksissa korostetaan ihmisten päätöksentekokyvyn ylivoimaisuutta, kykyä arvioida luotua tekstiä sekä osaamista tarkistaa tosiasiat ChatGPT:n puolesta. Toisaalta ChatGPT:n on kuvattu päihittävän ihmisen tekstin tuottajana kirjoittamalla riittävän laadukasta tekstiä nopeasti ja tarjoavan ihmiselle jopa mahdollisuuden välttää viivyttely tekstintuotannon aloittamisessa.