Model Distillation in Federated Learning for Human Action Recognition

This thesis explores the intersection of privacy-preserving machine learning and human action recognition (HAR) by investigating federated learning approaches for edge devices. As HAR systems become increasingly prevalent in healthcare, security, and smart environments, concerns about data privacy have grown proportionally. This research addresses these concerns by evaluating the viability of federated learning as a privacy-preserving alternative to traditional centralized training methods. The study employs the CheckMATE (Checking Mutually Average Temporal Encapsulation) algorithm to distill video sequences into representative frames, transforming complex video classification into more manageable image classification tasks suitable for resource-constrained edge devices. Using the UCF101 and HMDB51 datasets as benchmarks, we implement and compare three federated optimization strategies (FedAVG, FedProx, and FedYogi) against centralized training. Our results demonstrate that federated learning with CheckMATE can achieve performance comparable to centralized approaches, with only a 0.2\% accuracy drop on UCF101 (80.5\% vs. 80.7\%) and a 7.1\% gap on the more challenging HMDB51 dataset (59.7\% vs. 66.8\%). We observe that different federated optimization strategies excel under different data distribution characteristics, with FedYogi performing best on UCF101 and FedProx on HMDB51. This research contributes to the growing field of privacy-preserving machine learning by providing empirical evidence that federated HAR systems can maintain acceptable accuracy while preserving data privacy. It also highlights the effectiveness of video distillation techniques in reducing computational requirements for edge deployment. These findings have significant implications for developing privacy-respectful HAR applications in domains where protecting sensitive personal data is paramount.

Tämä maisterintyö tutkii yksityisyyttä säilyttävän koneoppimisen ja ihmisen toiminnan tunnistamisen (Human action recognition - HAR) risteyskohtaa tarkastelemalla hajautetun koneoppimisen lähestymistapoja reunalaitteille. HAR-järjestelmien yleistyessä, terveydenhuollossa, turvallisuudessa ja älykkäissä ympäristöissä huoli yksityisyyden suojasta kasvaa samassa suhteessa. Työ käsittelee näitä huolenaiheita arvioimalla hajautetun koneoppimisen käyttökelpoisuutta yksityisyyttä säilyttävänä vaihtoehtona perinteiselle keskitetylle koneoppimiselle. Työssä käytetään CheckMATE (Checking Mutually Average Temporal Encapsulation) -algoritmia videoiden distilloimiseksi kuviksi, muuttaen monimutkaisen videoluokittelun helpommin hallittaviksi kuvanluokittelutehtäviksi, jotka soveltuvat paremmin resursseiltaan rajoitetuille reunalaitteille. UCF101- ja HMDB51-tietoaineistoja käyttäen vertailukohtina, toteutamme ja vertailemme kolmea hajautettua optimointistrategiaa (FedAVG, FedProx ja FedYogi) keskitettyyn koneoppmiseen. Tuloksemme osoittavat, että hajautettu oppiminen CheckMATE:n kanssa voi saavuttaa keskitettyihin koneoppmisen lähestymistapoihin verrattavan suorituskyvyn, vain 0,2\%:n tarkkuuden laskulla UCF101:ssä (80,5\% vs. 80,7\%) ja 7,1\%:n erolla haastavammassa HMDB51-tietoaineistossa (59,7\% vs. 66,8\%). Havaitsemme myös, että eri hajautetun oppimisen optimointistrategiat toimivat eroavasti riippuen tietoaineiston jakaumista, FedYogin suoriutuessa parhaiten UCF101:ssä ja FedProxin HMDB51:ssä. Tämä työ edistää kasvavaa yksityisyyttä säilyttävän koneoppimisen alaa, tarjoamalla empiiristä näyttöä siitä, että hajautetun koneoppimisen HAR-järjestelmät voivat saavuttaa hyväksyttävän tarkkuuden säilyttäen samalla yksityisyydensuojan. Se korostaa myös CheckMATE-algoritmin tehokkuutta laskentavaatimusten vähentämisessä reunalaitteille. Näillä löydöksillä on merkittäviä vaikutuksia yksityisyydensuojaa kunnioittavien HAR-sovellusten kehittämiseen aloille, joille arkaluonteisten henkilötietojen suojaaminen on ensiarvoisen tärkeää, uhraamatta merkittävästi sovellusten tehokkuudessa.