Recognition of Subtle Colour Differences : A Comparative Study of Machine Learning and Colour Difference Metrics

Abstract

The dissertation investigates the identification of subtle colour differences using different methods. Subtle colour differences are important in applications such as healthcare, agriculture, and the food industry. Colour differences can be used to classify and identify features of interest in images. In this dissertation, the focus is on identifying subtle colour differences in prints, and one use for the results of the dissertation are functional inks. Functional inks can be used to create inexpensive non-electronic indicators that can, trough colour changes, tell the product’s temperature or humidity, for example.

In this dissertation, colour difference calculation algorithms as well as unsupervised, and supervised machine learning methods are used to identify subtle colour differences. The colour difference algorithms use the newest and most suitable formulas developed. For the unsupervised methods, different clustering algorithms were used. For supervised learning, the most common architectures were explored. In the various experiments in the dissertation, the aim was to find the methods that are ideal for identifying minor colour differences.

Colour difference algorithms can be used to identify colour differences that are significant enough in real-life use cases. Unsupervised methods work better than colour difference algorithms and can be used to identify smaller differences. The best results are achieved with convolutional neural networks, of which ResNet-34 proved to be the most accurate in the tests. This architecture was further modified to better suit the use case. The best architecture turned out to be the version in which the last connecting layer was changed from average pooling to maximum pooling. In this architecture, gradient centralisation was also used as part of the backpropagation of the learning process.

The different methods are significantly affected by the disturbances in the images and the quality of the images. Image preprocessing plays an important role when the method presented in the dissertation is put into practice. Depending on the use case, unsupervised clustering methods can lead to a better effort-outcome ratio than more complex supervised neural networks. This is due to the fact that unsupervised methods do not necessitate the prior collection of labelled datasets or the training of neural networks. Moreover, these methods do not explicitly aim to learn or model the underlying structure of the input data.

Väitöskirjassa tutkitaan hienovaraisten värisävyerojen tunnistamista eri menetelmillä. Hienovaraiset värisävyerot ovat tärkeitä eri sovelluksissa, kuten terveydenhuollossa, maataloudessa ja elintarviketeollisuudessa. Värisävyerojen avulla voidaan luokitella ja tunnistaa kuvista kiinnostavia piirteitä. Tässä väitöskirjassa keskitytään hienovaraisten värisävyerojen tunnistamiseen painotuotteista, ja yksi tutkimuksen sovelluskohteista ovat ns. funktionaaliset musteet. Funktionaalisten musteiden avulla voidaan valmistaa edullisia ei-elektronisia indikaattoreita, jotka ilmoittavat esimerkiksi tuotteen lämpötilan tai kosteuden värinmuutoksen avulla.

Väitöskirjassa käytetään värisävyerojen laskenta-algoritmeja sekä valvomatonta (unsupervised) ja valvottua (supervised) koneoppimista hienovaraisten värisävyerojen tunnistamiseksi. Värisävyerojen laskennassa käytetään uusimpia ja tarkoitukseen parhaiten soveltuvia matemaattisia kaavoja. Valvomattomissa menetelmissä hyödynnetään erilaisia ryhmittelymenetelmiä (clustering). Valvottujen menetelmien osalta tutkitaan yleisimpiä neuroverkkorakenteita (convolutional neural network). Väitöskirjan kokeellisissa osissa pyritään löytämään ne menetelmät, joilla hienovaraiset sävyerot voidaan tunnistaa parhaiten.

Värisävyerojen laskenta-algoritmit pystyvät tunnistamaan riittävän suuria värieroja todellisissa käyttötapauksissa. Ryhmittelymenetelmät toimivat tarkemmin kuin laskenta-algoritmit ja mahdollistavat myös pienempien värisävyerojen havaitsemisen. Parhaat tulokset saavutettiin konvoluutioneuroverkoilla, joista ResNet-34 osoittautui testeissä tarkimmaksi. Tätä arkkitehtuuria muokattiin edelleen käyttötarkoitukseen sopivammaksi. Sopivin neuroverkko saatiin, kun viimeinen yhdistävä kerros muutettiin keskiarvolaskennasta maksimilaskentaa n. Tässä arkkitehtuurissa käytettiin myös gradienttien keskittämistä osana oppimisprosessin takaisinkytkentää.

Eri menetelmiin vaikuttavat merkittävästi kuvien häiriöt ja kuvien laatu. Kuvien esikäsittelyllä on tärkeä rooli, kun väitöskirjassa esiteltyjä menetelmiä otetaan käyttöön eri sovelluksissa. Käyttötarkoituksesta riippuen ryhmittelymenetelmät voivat tarjota paremman hyöty-panossuhteen kuin monimutkaisemmat neuroverkot. Tämä johtuu siitä, että ryhmittelymenetelmät eivät vaadi aineiston keruuta tai neuroverkon kouluttamista. Nämä menetelmät eivät myöskään pyri oppimaan painotuotteen paperin ominaisuuksia.