Monikerroksisen perseptroniverkon opetusalgoritmin toteutus ja kokeellinen testaus

Abstract

Tämän tutkimuksen tavoitteena on tutkia monitavoiteoptimointimenetelmän soveltuvuutta monikerroksisen perseptronineuroverkon koulutuksen tehostamiseen käyttämällä differentiaalievoluutioalgoritmia. Tutkimus vertaa perinteistä yksitavoiteoptimointia monitavoiteoptimointiin ja tarkastelee tästä saatuja tuloksia. Yksitavoiteoptimointi on altis neuronien permutaatio-ongelmalle, jossa kunkin piilokerroksen neuroneiden järjestelymahdollisuudet johtavat useisiin globaaleihin optimiratkaisuihin. Monitavoiteoptimoinnin avulla haetaan ratkaisua tähän ongelmaan ja ensisijaisesti verrataan monitavoiteoptimoinnin hyviä ja huonoja puolia perinteisempään yksitavoiteoptimointiin. Työn tutkimuskysymyksen voi muotoilla seuraavasti: “Miten monitavoiteoptimointi voi parantaa differentiaalievoluutioalgoritmin suorituskykyä monikerroksisen perseptroniverkon koulutuksessa?”.

Työ suoritettiin kouluttamalla monikerroksiselle perseptroniverkolle IRIS-datakokoelma. Vertailu suoritettiin yksitavoiteoptimoinnin ja monitavoiteoptimoinnin toteutusten välillä. Toteutus implementoitiin Python-ohjelmointikielellä ensin yksitavoiteoptimoinnille käyttämällä tavoitefunktiona luokittelutarkkuutta ja sitten monitavoiteoptimoinnille käyttämällä tavoitefunktioina luokittelutarkkuutta sekä toisen tavoitefunktion osalta kahta erilaista toteutusta. Tutkimuksessa implementoitiin kokeelliset ohjelmistot, joita voidaan kehittää edelleen tarpeen mukaan. Tulosten suorituskykymittareina käytettiin algoritmien tehokkuutta, luokittelutarkkuutta ja luotettavuutta. Näiden suorituskykymittareiden avulla vertailtiin yksi- ja monitavoiteoptimointimenetelmien suoriutumista toisiinsa nähden.

Tutkimuksen hypoteesi on, että monitavoiteoptimointi tehostaa differentiaalievoluutioalgoritmin suorituskykyä monikerroksisen perseptroniverkon koulutuksessa perinteiseen yksitavoiteoptimointiin verrattuna. Tutkimuksen tulokset osoittavat, että monitavoiteoptimointi ei juurikaan parantanut algoritmin tehokkuutta, vaan parannukset näkyivät etenkin algoritmin luokittelutarkkuudessa ja luotettavuudessa. Monitavoiteoptimointi oli suoritusaikansa ja vaadittavien resurssien puolesta heikompi yksitavoiteoptimointiin verrattuna, mutta monitavoiteoptimointi kykeni saavuttamaan parempia luokittelutarkkuuden optimiarvoja pienemmällä keskihajonnalla kuin yksitavoiteoptimointi. Monitavoiteoptimointi ei poistanut permutaatio-ongelman ilmenemistä, mutta antoi mahdollisia viitteitä permutaatio-ongelman vähentymisestä. Permutaatioongelman ilmeneminen saattoi kuitenkin johtua useasta eri tekijästä. Täten tutkimuksen tulokset tukevat jokseenkin ennen tutkimusta asetettua hypoteesia, joten monitavoiteoptimointia voidaan pitää lisätutkimuksen kannalta lupaavana menetelmänä monikerroksisten perseptroniverkkojen koulutuksessa differentiaalievoluutioalgoritmilla tulevaisuudessa. Tämän tutkimuksen tuloksia voidaan analysoida lisää tulevaisuudessa.