SST Software – Maatwerk software Enschede
Facebook Instagram LinkedIn

Bacheloronderzoek; Pruning van neurale netwerken

SST Software BV is in 2001 opgericht als spin-off van de Universiteit Twente. Voorheen was SST een technisch studentenbedrijf. En ondanks het feit dat we inmiddels zijn uitgegroeid tot een volwassen softwarebedrijf, zijn er nog altijd technische studenten die bij ons een bijbaan hebben, stage volgen of afstuderen. En Sebastiaan is er daar één van. Hij werkt inmiddels al enkele jaren bij ons als parttime software engineer en heeft onlangs zijn Bachelor op de UT gehaald. Zijn Bachelor-opdracht krijgt veel aandacht, heeft al meerdere peer-reviews ontvangen én wordt gepubliceerd! Als kers op de taart mag Sebastiaan zijn onderzoek ook presenteren op de IFIP IoT Conference, mooi werk!

Sebastiaan over optimaliseren van Machine Learning modellen

Het optimaliseren van Machine Learning modellen

Machine learning modellen zijn de afgelopen jaren steeds groter in omvang geworden, waar op hetzelfde moment deze modellen steeds vaker worden gebruikt voor deployment op embedded devices. Omdat embedded devices vaak enkel beperkte resources hebben, zijn er een aantal manieren om de modelgrootte alsmede de rekenkracht benodigd voor inference en het energieverbruik te verkleinen, terwijl tegelijkertijd de modelnauwkeurigheid acceptabel blijft. Één van de manieren om dit te bereiken is neural network pruning. Hierbij worden bepaalde weights (unsctructured) of zelfs complete structuren (structured) van een neuraal netwerk gepruned (verwijderd of ‘gesnoeid’).

Energieverbruik reduceren in neurale netwerken

Er zijn een vele algoritmen in de literatuur beschreven om dit soort pruning uit te voeren, elk met een eigen strategie en daarmee een eigen effect op de grootte, nauwkeurigheid en het energieverbruik van het neurale netwerk. In zijn onderzoek heeft hij een aantal van de meest populaire (meest gerefereerd in literatuur) pruning algoritmen geanalyseerd uit twee verschillende ‘families’ van pruning methoden (unstructured en structured pruning). Hij heeft daarbij, naar zijn beste weten, als een van de eersten gekeken naar het real-world energieverbruik alsmede de real-world modelgrootte en nauwkeurigheid van deze pruning algoritmen, toegepast op een van de meest gebruikte compacte netwerkarchitecturen (MobileNetV2) deployed op een van de meeste gebruikte development boards (gebaseerd op ARM). Het onderzoek probeert de resultaten waar mogelijk te veralgemenen om een mogelijke voorspelling te doen over andere, niet aangeroerde pruningmethodes en modelarchitecturen gebaseerd op bijvoorbeeld de eigenschappen van de onderzochte algoritmen en modelachitecturen. Dit kan mogelijk door ingenieurs worden gebruikt als referentie die inzicht en begeleiding biedt bij het beslissen welke pruning methode zou kunnen worden toegepast op een in een embedded systeem te implementeren machine learning model, afhankelijk van de nauwkeurigheids-, energieverbruik- en modelgroottevereisten.

Code ter illustratie van machine learning model

Last but not least

Met gepaste trots kan Sebastiaan verder melden dat zijn paper gepubliceerd zal worden in Springer’s “IFIP Advances in Information and Communication Technology Series” als onderdeel van de IFIP IoT Conference 2022 proceedings, waar de paper is geaccepteerd en waarvoor hij zijn onderzoek op 27 en 28 Oktober van dit jaar in Amsterdam zal presenteren. De DOI van de paper is beschikbaar via deze link.

Heb jij nog een leuke opdracht of concept dat je wilt verkennen op het gebied van Machine Learning, AI en/of neurale netwerken? Wellicht kan Sebastiaan hier wat in betekenen! Neem gerust contact met ons op.

Bram Wenting

Bram Wenting is mede-eigenaar van SST Software en SST Labs. Lees zijn blogs.

Volg Bram

welkom oplossing

Cookies zijn nodig voor het contact-formulier. Toon cookiemelding

velden gemarkeerd met een * zijn verplicht