Bacheloronderzoek; Pruning van neurale netwerken

Machine learning modellen zijn de afgelopen jaren steeds groter in omvang geworden, waar op hetzelfde moment deze modellen steeds vaker worden gebruikt voor deployment op embedded devices. Omdat embedded devices vaak enkel beperkte resources hebben, zijn er een aantal manieren om de modelgrootte alsmede de rekenkracht benodigd voor inference en het energieverbruik te verkleinen, terwijl tegelijkertijd de modelnauwkeurigheid acceptabel blijft. Één van de manieren om dit te bereiken is neural network pruning. Hierbij worden bepaalde weights (unsctructured) of zelfs complete structuren (structured) van een neuraal netwerk gepruned (verwijderd of ‘gesnoeid’).

Er zijn een vele algoritmen in de literatuur beschreven om dit soort pruning uit te voeren, elk met een eigen strategie en daarmee een eigen effect op de grootte, nauwkeurigheid en het energieverbruik van het neurale netwerk. In zijn onderzoek heeft hij een aantal van de meest populaire (meest gerefereerd in literatuur) pruning algoritmen geanalyseerd uit twee verschillende ‘families’ van pruning methoden (unstructured en structured pruning). Hij heeft daarbij, naar zijn beste weten, als een van de eersten gekeken naar het real-world energieverbruik alsmede de real-world modelgrootte en nauwkeurigheid van deze pruning algoritmen, toegepast op een van de meest gebruikte compacte netwerkarchitecturen (MobileNetV2) deployed op een van de meeste gebruikte development boards (gebaseerd op ARM). Het onderzoek probeert de resultaten waar mogelijk te veralgemenen om een mogelijke voorspelling te doen over andere, niet aangeroerde pruningmethodes en modelarchitecturen gebaseerd op bijvoorbeeld de eigenschappen van de onderzochte algoritmen en modelachitecturen. Dit kan mogelijk door ingenieurs worden gebruikt als referentie die inzicht en begeleiding biedt bij het beslissen welke pruning methode zou kunnen worden toegepast op een in een embedded systeem te implementeren machine learning model, afhankelijk van de nauwkeurigheids-, energieverbruik- en modelgroottevereisten.

Met gepaste trots kan Sebastiaan verder melden dat zijn paper gepubliceerd zal worden in Springer’s “IFIP Advances in Information and Communication Technology Series” als onderdeel van de IFIP IoT Conference 2022 proceedings, waar de paper is geaccepteerd en waarvoor hij zijn onderzoek op 27 en 28 Oktober van dit jaar in Amsterdam zal presenteren. De DOI van de paper is beschikbaar via deze link.

Heb jij nog een leuke opdracht of concept dat je wilt verkennen op het gebied van Machine Learning, AI en/of neurale netwerken? Wellicht kan Sebastiaan hier wat in betekenen! Neem gerust contact met ons op.