Designing Trustworthy Algorithms: Operational Environment as a Cornerstone for Governing Risk and Enhancing Trust

Abstract

Algorithms and human lives are, in many ways, symbiotic; algorithms can be found anywhere from personal devices to space exploration on Mars. We rely heavily on algorithms to assist and take care of us, but algorithms can also have fatal unintended consequences. The subject of this thesis is to find a way to increase algorithms' trustworthiness by focusing on identifying and categorizing the unintended consequences of algorithms on the operational environment of algorithms. The objective of this thesis is to provide what we call an Algorithm Power Matrix to aid algorithm developers, regulators, and private sector management in their quest for safely deploying and managing advanced algorithms on a continuous basis. Furthermore, we achieved additional progress in algorithm governance, a development that wasn't originally within the scope of this study but was enabled by our primary discoveries.

The study was structured using design science research and design science research methodology. A comprehensive literature review was conducted on algorithms and how they interact with our society. We cover the fundamentals of algorithms, how they are built, operated, and interacted with, what consequences algorithms have, and how they are regulated. This is the first phase to cover the essential parts of the study, which resulted in the creation of the first version of the Algorithm Power Matrix. The second phase involved a group of experts reviewing and suggesting editions for the second iteration cycle. The final phase was to review the iterated framework again, leading to the third iteration cycle and finalized framework presentation.

The conclusion was that even experts can have difficulties understanding how different environments affect algorithm performance. Currently, there is an intuitive way in which the developers utilize similar principles that are presented in this thesis, but this was the first time they saw something like this on paper. There is a clear need to develop more tools for under-standing and controlling the effects of algorithms, and the matrix provided in this thesis is just one example. The main contribution of our research is the Algorithm Power Matrix, which is a novel framework for assessing and managing the potential impact and risk of algorithms based on their degree of freedom, autonomy, and human dependency. The matrix can help stakeholders to, most importantly, identify the appropriate level of oversight and accountability required for specific algorithms. Ultimately leading to the design and implementation of ethical and trustworthy algorithms that respect human values. Further studies are necessary to determine more precise thresholds for categorizing algorithms and their operational environment.

Algoritmit ja ihmisten elämät ovat monin tavoin symbioottisia. Niitä löytyy kaikkialta henkilökohtaisista laitteista avaruustutkimukseen Marsissa. Vaikka luotamme jatkuvasti algoritmien kykyyn avustaa ja huolehtia meistä, niillä voi olla myös kohtalokkaita tahattomia haittavaikutuksia. Tämän opinnäytetyön tavoitteena oli kehittää menetelmä algoritmien luotettavuuden parantamiseksi tunnistamalla ja luokittelemalla niiden toimintaympäristöjen tahattomia haittavaikutuksia. Opinnäytetyössä kehitettiin algoritmien voimamatriisi, jonka tarkoituksena on auttaa algoritmien kehittäjiä sekä julkisen ja yksityisen sektorin johtoa edistyneiden algoritmien turvallisessa ja jatkuvassa käyttöönotossa. Tutkimus tuotti lisäksi uusia edistysaskelia algoritmien hallinnassa, mikä ei ollut alkuperäinen tavoite, mutta toteutui muiden tutkimustulosten myötä.

Tutkimus toteutettiin suunnittelutieteellisellä tutkimusmenetelmällä. Tutkimuksen olennaisten osien kattamiseksi suoritimme kattavan kirjallisuuskatsauksen algoritmeista, niiden yhteiskunnallisista vaikutuksista ja sääntelystä. Kirjallisuuskatsauksen pohjalta syntyi ensimmäinen versio tutkimuksen artefaktista, algoritmi voimamatriisista. Tutkimuksen toisessa vaiheessa asiantuntijaryhmä tarkisti artefaktin ja ehdotti muutoksia sen seuraavaan iteraatioon, hyödyntäen ryhmän laajaa käytännön kokemusta algoritmeista. Tutkimuksen viimeisessä vaiheessa uudelleen iteroitu artefakti esiteltiin asiantuntijaryhmälle. Heidän palautteensa perusteella toteutettiin kolmas iteraatio ja lopullinen artefakti.

Tutkimuksen keskeinen havainto oli, että jopa asiantuntijoiden on vaikea hahmottaa erilaisten ympäristöjen vaikutusta algoritmien toimintaan. Kehittäjät käyttävät intuitiivisesti samankaltaisia työskentelyperiaatteita kuin tässä opinnäytetyössä esitetyt, mutta nyt ne on ensimmäistä kertaa esitetty kirjallisessa muodossa. Tarvitaan lisää työkaluja algoritmien vaikutusten ymmärtämiseen ja haittavaikutusten hallintaan. Tässä opinnäytetyössä esitelty matriisi on yksi näistä työkaluista. Opinnäytetyön merkittävin kontribuutio on algoritmi voimamatriisi, uudenlainen viitekehys algoritmien potentiaalisten riskien arviointiin niiden monimutkaisuuden, autonomisuuden ja vuorovaikutuksen perusteella. Matriisi auttaa sidosryhmiä määrittämään tarvittavan valvonnan, läpinäkyvyyden ja vastuun algoritmeille sekä tukee eettisten ja luotettavien algoritmien suunnittelua ja tuotantoa. Lisätutkimuksia tarvitaan erityisesti algoritmien ja niiden toimintaympäristöjen luokittelun tarkempien kynnysarvojen määrittämiseksi.