Possibilities of convolutions in AI-reconstructed music

Abstract

This thesis investigates the application of convolutional layers within an autoencoder to reconstruct one-dimensional audio data in systems with limited computational resources. The primary objective of this study is to explore whether convolutional layers could improve autoencoder performance by retaining key audio characteristics during the reconstruction process. While deep generative models have shown promise for audio synthesis, research has predominantly focused on large-scale implementations, leaving open questions about the adaptability of these approaches to smaller systems. This study hypothesized that convolutional layers would enable improved reconstructions compared to fully connected (FC) layers within a limited VRAM environment.

To test this hypothesis, a controlled experimental approach was employed, which involved a detailed comparison of the performance of both fully connected and convolutional architectures. Each model was trained from scratch on one-dimensional audio sequences until reaching convergence. This approach allowed for a clear and precise evaluation of the relative effectiveness of each model type. To ensure a comprehensive assessment, several key metrics were selected, including mean squared error as one of the primary metrics, alongside observations of convergence rate and memory efficiency to evaluate model performance.

The findings indicate that the convolutional autoencoder achieved superior reconstruc-tion quality, as evidenced by its lower mean squared error and faster epoch-wise progres-sion to accuracy, despite taking slightly longer per epoch than the FC model. These results highlight convolutional architectures' potential to facilitate high-quality audio reconstruc-tion on smaller systems, making advanced AI-driven audio analysis more accessible. The convolutional model’s ability to represent low-frequency components more effectively and with less added noise than the FC model supports the hypothesis, although challeng-es, such as limitations in replicating high-frequency components, were noted in both models. Overall, these results suggest that convolutional autoencoders could offer a prom-ising approach for efficiently reconstructing audio data on constrained hardware.

The study contributes valuable insights to music analysis and AI audio research, particularly in the context of scalable model design for low-resource environments. It acknowledges limitations, such as subjective sound quality assessment and hardware constraints, and recommends future work. Further research might focus on enhancing frequency representation within convolutional networks and improving audio separation capabilities. By advancing methods that operate effectively on smaller systems, this study encourages further exploration of accessible AI applications in music analysis and digital audio processing.

Tässä tutkielmassa tarkastellaan rajatuilla laskentaresurseilla toimivan konvoluutiokerroksia hyödyntävän autoenkoodaajan soveltamista audiosignaalin rekonstruointiin. Tavoitteena on selvittää, voivatko konvoluutiokerrokset parantaa autoenkoodaajan oppimiskykyä ja auttaa sitä säilyttämään musiikille ominaisia piirteitä rekonstruointiprosessin aikana. Aiemmissa tutkimuksissa on todistettu syvien generatiivisten mallien kyky audiosynteesis-sä, kun käytössä on ollut valtavasti laskentatehoa ja muistia, mikä jättää kysymyksen avoi-meksi pienemmän laskentatehon omaavien järjestelmien osalta. Hypoteesina tässä tutki-muksessa on, että konvoluutiokerrokset voivat tarjota parempaa rekonstruktiota kuin täy-sin kytketyt kerrokset rajallisesti keskusmuistia sisältävissä järjestelmissä.

Hypoteesin testaamiseksi toteutettiin vertailukoe, jossa verrattiin täysin kytketyistä ker-roksista koostuvan neuroverkon ja konvoluutiopohjaisten verkon suorituskykyä. Molemmat mallit koulutettiin audiodatan avulla, kunnes ne saavuttivat konvergenssin. Näin saatiin selkeä ja tarkka vertailu arkkitehtuurien tehokkuudesta. Mallien suorituskykyä arvioitiin ensisijaisesti keskineliövirheen avulla, ja lisäksi tarkasteltiin konvergenssinopeutta ja käy-tetyn muistin määrää.

Tutkimuksen tulokset osoittavat, että konvoluutiokerroksia sisältävä autoenkoodaaja re-konstruoi audiosignaalia paremmin, mikä käy ilmi sen matalammasta keskineliövirheestä sekä sen tuottamasta pienemmästä kohinan määrästä. Näiden tulosten perusteella konvo-luutioarkkitehtuuri osoittaa potentiaalia korkealaatuisen audionsignaalin rekonstruointiin laskentateholtaan rajatuissa järjestelmissä, mikä parantaa tällaisten tekoälyyn perustuvien järjestelmien saavutettavuutta. Molemmissa malleissa havaittiin haasteita korkeiden taa-juuksien rekonstruoinnissa.

Johtopäätöksenä voidaan todeta, että konvoluutiokerrokset parantavat autoenkoodaajan kykyä rekonstruoida audiosignaalia, erityisesti matalilla taajuuksilla ja vähentämällä kohi-naa, mikä mahdollistaa mallin käyttämisen myös laskentateholtaan rajatuissa järjestelmissä. Tämä osoittaa konvoluutioon pohjautuvien arkkitehtuurien potentiaalin laadukkaaseen audiodatan rekonstruointiin ja mahdollistaa tekoälyn soveltamisen musiikkianalyysissä ja äänenkäsittelyssä laajemmalle yleisölle. Tulevissa tutkimuksissa voitaisiin keskittyä konvo-luutiomallien kykyyn erotella eri taajuuskomponentteja entistä tarkemmin sekä parantaa niiden suorituskykyä korkeiden taajuuksien käsittelyssä.