Hybrid Machine Learning and Time-Series Modelling to Forecast Product Demand: A CRISP-DM Approach

Abstract

Efficient demand forecasting can yield significant competitive advantage for companies in today’s market, making it a crucial process in supply chain management. By exploring and implementing modern demand forecasting models, encompassing time-series, machine learning, deep learning and hybrid approaches, companies can gain benefits in important business areas such as strategic planning, operational efficiency and customer service.

This research is done in collaboration with a case company, and it aims to identify and develop a product demand forecasting model that improves forecasting accuracy compared against a baseline approach and to identify and analyze key demand drivers that influence demand. To meet these goals, an industry standard CRISP-DM framework is utilized to develop and compare multiple time-series, machine learning and their hybrid combination models to find the best performing forecasting solution. Key demand drivers are identified and analyzed by combining SHAP values with statistical analysis.

The results of this study indicate that a hybrid demand forecasting model combining Holt-Winters Exponential Smoothing and Elastic Net Regression outperformed the other models in the comparison and improved the forecasting accuracy significantly compared to the baseline approach. The results also suggest that product demand is driven by trend and seasonal factors, short-term sales pricing and momentum as well as macroeconomic leading indicators such as industry sentiment, interest rates and euro strength.

Despite the significant improvement in forecasting accuracy and practical insights through the identified demand drivers, research limitations such as limited amount of training data, small test set and lack of true causal analysis of the relationships between features and demand are acknowledged to emphasize the need for future research. The development and evaluation of the HW-Elastic Net model contributes to current research by highlighting the importance of exploring hybrid models in demand forecasting, especially on small and noisy real-world datasets.

Tehokas kysynnän ennustaminen voi johtaa merkittävään kilpailuetuun nykypäivän yrityskentällä, tehden siitä tärkeän prosessin toimitusketjun hallinnassa. Tutkimalla ja tuotannollistamalla moderneja kysyntäennustemalleja, kuten aikasarja-, koneoppimis-, syväoppimisja hybridimalleja, yritykset voivat saada hyötyjä tärkeillä liiketoiminta-alueilla kuten strategisessa suunnittelussa, operatiivisessa tehokkuudessa sekä asiakaspalvelussa.

Tämä diplomityö on tehty yhteistyössä kohdeyrityksen kanssa. Tutkimuksen tavoitteena on tunnistaa ja kehittää yrityksen valitsemalle tuotteelle kysyntäennustemalli, joka parantaa ennustetarkkuutta verrattuna lähtökohtaennusteisiin sekä tunnistaa ja tulkita keskeisiä kysyntäajureita. Tutkimus hyödyntää CRISP-DM viitekehystä usean aikasarja-, koneoppimis- sekä hybridimallin kehittämiseen sekä vertailuun tunnistaakseen parhaiten suoriutuvan kysyntäennusteratkaisun. Keskeisten kysyntäajureiden tunnistaminen ja tulkinta perustuu SHAP-arvojen sekä tilastollisen analyysin yhdistelmään.

Tutkimuksen lopputulokset osoittavat, että Holt-Winters Exponential Smoothing sekä Elastic Net Regression malleja yhdistävä hybridimalli suoritui paremmin kuin muut vertailussa sisällytetyt mallit sekä paransi ennustetarkkuutta merkittävästi verrattuna lähtötasomalliin. Tämän lisäksi tulokset osoittavat, että trendi- ja kausittaisuustekijät, lyhyen välin tuotehintasekä myyntitasot sekä makroekonomiset ennakoivat indikaattorit kuten teollisuuden luottamustaso, korkotasot sekä euron vahvuus ovat keskeisiä ajureita tuotekysynnälle.

Diplomityönä kehitetyn mallin tuottamasta ennustetarkkuuden merkittävästä parannuksesta sekä tunnistettujen kysyntäajureiden tuottamasta ymmärryksestä huolimatta tutkimuksessa tunnistettiin rajoitteita. Harjoitusdatan rajallinen määrä, pieni testidatan koko sekä aitojen syyseuraussuhteiden analysoinnin puute korostavat jatkotutkimuksen tarvetta. Tutkimuksen lopputuloksena kehitetty HW-Elastic Net malli edistää nykyistä tutkimusta osoittamalla hybridimallien tutkimisen tärkeyttä kysynnän ennustamisessa, erityisesti pienten ja kohinaa sisältävien datasarjojen yhteydessä.