Simuloitu ihminen koneoppimismallin koulutuksessa : aktiivisen oppimisen ja koneopettamisen käyttökelpoisuus satunnaismetsämallissa

Abstract

Koneoppimisen yleistymisen myötä tarve koneoppimisen kehittämiselle on kasvanut. Yksi mahdollinen tapa kehittää koneoppimismallien tehokkuutta ja lisätä ymmärrystä on lisätä ihminen joka tuntee relevantin aihealueen mukaan mallin kehitykseen. Ihmisen osallistumista voidaan tarkastella eri tasoilla, riippuen siitä, kuka johtaa oppimisprosessia. Tutkielma on kontrolloitu koe, jossa ihmisen osallistumista koneoppimismallin toimintaan simuloidaan, ja siten tarkastellaan ihmisen käyttökelpoisuutta verrattaessa optimoituun koneoppimismalliin. Koneoppimismalli jota tutkielmassa käytetään on satunnaismetsä, sillä se saavuttaa hyvän suorituskyvyn, mutta se on myös tulkittava malli.

Tutkielmassa suoritettu simulaatio osoittaa, että myös niissä tilanteissa kun ihminen tekee virheitä, vertautuu koneopettaminen silti hyvin optimoituun malliin. Simuloidussa koneopetustilanteessa, missä opettajan tarkkuus oli 80% ja 60%, saavutetaan samankaltainen suorituskyky erittäin nopeasti. Kuitenkin optimoitu malli saavuttaa suorituskyvyn, johon enemmistö muista tavoista eivät aivan yletä. Sen takia on tarkoituksenmukaista tarkastella opetustehokkuutta hyödyntäen normalisoitua aluetta oppimiskäyrän alapuolella (Area Under the Learning Curve, AULC). Epävarmuuteen perustuvalla näytteenvalinnalla koulutettu aktiivisen oppimisen malli hyödyntää vain noin 18% harjoitusdatasta, mutta saavuttaa kuitenkin yhtä hyvän F1-makrokeskiarvon. Koneopettamisen lopullinen F1-makrokeskiarvo jää hyvin vähän optimoidun mallin arvosta vajaaksi, mutta ero on satunnaisvaihtelun rajoissa, käytännössä F1-makrokeskiarvot ovat saman tasoisia.

Tutkielman tulokset osoittavat aktiivisen oppimisen eli datan luokittelun olevan tällä aineistolla hyvin tehokas menetelmä, saavuttaen optimoitua mallia vastaavan suorituskyvyn käyttämällä vain pientä osaa harjoitusdatasta. Tutkielma tarjoaa näyttöä siitä, että koneopettaminen on vikasietoinen menetelmä silloin kun virheet ovat vähämerkityksellisiä piirteitä, eivätkä suoranaisesti haitallisia. Tätä tutkittiin pakottamalla simuloidulle opettajalle virheitä, eli simulaatioissa tarkkuudet oli 100%, 80% ja 60%. Kun tarkkuus oli pienempi, virheet valittiin vähämerkityksellisten piirteiden joukosta satunnaisesti. Piirteiden informatiivisuus oli mahdollista laskea, sillä satunnaismetsä mallina mahdollistaa sen. Koneopetussimulaatiossa mallit saavuttivat melkein optimoidun mallin suorituskyvyn jo muutamalla piirteellä. Täyden tarkkuuden opettaja saavutti sen nopeimmin, vain kahdella piirteellä.