Onderzoekers van BrainCreators ontwikkelen algoritme om efficiëntere deep learning modellen te ontwikkelen

BrainCreators kondigt vandaag FlipOut aan. FlipOut is een nieuw algoritme waarmee organisaties neurale netwerken kunnen verkleinen en tegelijkertijd het verlies aan nauwkeurigheid of prestaties tot een minimum kunnen beperken.

Een groot deel van het succes van deep learning is te danken aan het ontwikkelen van steeds grotere neurale netwerken. Hierdoor kunnen deep learning modellen beter presteren maar zijn ze ook duurder in gebruik. Grotere modellen nemen immers meer storage ruimte in beslag, kosten meer tijd om te trainen en hebben vaak duurdere hardware nodig. Voor veel organisaties vormt dit een uitdaging, zodra ze een applicatie in productie willen nemen. Om deze uitdagingen op te lossen moeten organisaties de grootte van modellen verkleinen via een modelcompressie methode. Echter zorgt modelcompressie ook vaak voor prestatieverlies, waardoor er een grote kans is dat het deep learning model minder nauwkeurig opereert.

Het FlipOut algoritme bestaat uit een combinatie van de Neural Network Pruning en quantization compressiemethodes. Bij Neural Network Pruning worden de overtollige gewichten van een getraind model verwijderd, terwijl bij quantization het aantal bits wordt verminderd waardoor er minder berekeningen worden uitgevoerd en het resulterende model kleiner zal worden.

Als FlipOut alleen wordt toegepast middels Neural network Pruning, is het in staat om 90% van de verbindingen in de netwerken te verwijderen, zonder in te boeten in nauwkeurigheid of prestaties. Bij quantization is het algoritme in staat om de hoeveelheid bits te verkleinen van 32 tot 8 bits per verbinding. De onderzoekers kwamen er tijdens hun onderzoek ook achter dat de twee methodes complementair zijn aan elkaar en uitermate goed samenwerken. Als de twee compressiemethodes worden gecombineerd kan het algoritme 75% van de verbindingen verwijderen, terwijl de gewichten met vier keer minder bits worden opgeslagen zonder degradatie in nauwkeurigheid.

Volgens de onderzoekers is het FlipOut algoritme een belangrijke stap als het gaat om het verlagen van de kosten en het besparen van energie. Dankzij het algoritme hoeven organisaties straks minder storage ruimte te gebruiken waardoor ze aanzienlijk kunnen besparen in energie en kosten, zonder in te boete in prestaties en nauwkeurigheid.

Meer informatie over FlipOut en het onderzoek kunt u vinden in de volgende blogpost: https://www.growkudos.com/publications/10.3233%25252Faic-210127/reader