Usage of a multilayer perceptron Neural Network in the prediction task : Predicting rare occurring components in product material lists

In modern production, the growing complexity of products, processes, and customization has led to the generation of large amounts of data. However, many companies struggle to make effective use of this data in their daily operations. This challenge is also present in the case company of this thesis, where delays in purchasing certain components have created difficulties in production scheduling. To address this, the thesis applies machine learning and predictive analysis to forecast the occurrence of components in the bill of materials (BOM. To achieve this, the study builds a prediction model on the company’s historical data using a multilayer perception (MLP) neural network designed to identify rare and procurement-critical components early in the process. The work began by defining the scope of the problem and building data sets from five years of historical order data and their BOM lists. The data was prepared by cleaning, normalizing, one-hot encoding, and embedding so that it can be used for training and testing the neural network. An MLP neural network was developed and tested in Python, combining structured product attributes and variant codes as input data for the model. The model was optimized by adjusting hyperparameters, including embedding size, hidden layer configuration, dropout, and learning rate. The model's performance was evaluated using training and test data, and performance was measured using precision, recall, F1 score, and binary cross-entropy loss. The study demonstrated the effectiveness of the MLP neural network in predicting BOM lists by implementing a neural network. The effectiveness of the MLP neural network was demonstrated using test cases that evaluated the model's performance in the prediction task. The results of the study show that the MLP model is suitable for the task of classifying multi-label BOM predictions. It achieves stable and reliable performance when components appear at least 40–50 times in the model training data. The model's predictions are inconsistent for very rare components that appear less than ten times in the training data. However, the model's performance improves as the training frequency increases. The conclusion of the study is that applying neural networks to BOM forecasts can improve procurement success by identifying components that are difficult to procure in advance. In the future, the model's performance could be improved by using oversampling methods and historical data from more than five years ago.

Nykyaikaisessa tuotannossa tuotteiden, prosessien ja räätälöinnin kasvava monimutkaisuus on johtanut suurten tietomäärien syntymiseen. Monet yritykset kamppailevat tämän tiedon tehokkaassa hyödyntämisessä päivittäisessä toiminnassaan. Tämä haaste on läsnä myös tämän opinnäytetyön tapausyrityksessä, jossa tiettyjen komponenttien hankinnan viivästykset ovat aiheuttaneet vaikeuksia tuotannon aikataulutuksessa. Tämän ratkaisemiseksi opinnäytetyössä sovelletaan koneoppimista ja ennustavaa analyysia komponenttien esiintymisen ennustamiseen materiaaliluettelossa (BOM). Tätä varten tutkimuksessa rakennetaan ennustemalli yrityksen historiallisista tiedoista käyttämällä monikerroksista perceptron-neuroverkkoa (MLP), joka on suunniteltu tunnistamaan harvinaiset ja hankinnan kannalta kriittiset komponentit prosessin varhaisessa vaiheessa. Työ aloitettiin määrittelemällä ongelman laajuus ja rakentamalla tietokokonaisuudet viiden vuoden historiallisista tilaustiedoista ja niiden BOM-luetteloista. Tiedot valmisteltiin puhdistamalla, normalisoimalla, one-hot-koodaamalla ja upottamalla, jotta niitä voitiin käyttää neuroverkon kouluttamiseen ja testaamiseen. MLP neuroverkko kehitettiin ja testattiin käyttäen Python ohjelmointikieltä, jossa yhdistettiin strukturoidut tuoteominaisuudet ja varianttikoodit mallin syöttötiedoiksi. Mallia optimoitiin säätämällä hyperparametreja, kuten upotuksen kokoa, piilokerroksen konfiguraatiota, pudotusta ja oppimisnopeutta. Mallin suorituskykyä arvioitiin koulutus- ja testitietojen avulla, ja suorituskykyä mitattiin tarkkuudella, palautuksella, F1-pisteillä ja binäärisellä ristientropiahäviöllä. Tutkimuksessa osoitettiin MLP-neuroverkon toimintakelpoisuus BOM-luetteloiden ennustamisessa toteuttamalla neuroverkko. MLP-neuroverkon tehokkuus osoitettiin testitapauksilla, joissa arvioitiin mallin suorituskykyä ennustustehtävässä. Tutkimuksen tulokset osoittavat, että MLP-malli soveltuu monimerkittyjen BOM-ennusteiden luokittelutehtävään. Se saavuttaa vakaan ja luotettavan suorituskyvyn, kun komponentit esiintyvät vähintään 40–50 kertaa mallin koulutusdatassa. Mallin ennusteet ovat epäjohdonmukaisia hyvin harvinaisille komponenteille, jotka esiintyvät alle kymmenen kertaa koulutusdatassa. Mallin suorituskyky paranee kuitenkin koulutustiheyden kasvaessa. Tutkimuksen johtopäätös on, että neuroverkkojen soveltaminen BOM-ennusteisiin voi parantaa hankintojen onnistumista tunnistamalla etukäteen hankkimisvaikeat komponentit. Tulevaisuudessa mallin suorituskykyä voitaisiin parantaa ylinäytteenottomenetelmillä ja käyttämällä historiadataa yli viiden vuoden takaa.