Slimme hardware maakt het trainen van neurale netwerken makkelijker

Onderzoekers van de TU/e, onder leiding van Yoeri van de Burgt en Marco Fattori, hebben naar eigen zeggen een belangrijk probleem met betrekking tot neuromorfische chips opgelost. Het nieuwe onderzoek is gepubliceerd in Science Advances.

Grootschalige neurale netwerkmodellen vormen de basis van veel AI-gebaseerde technologieën zoals neuromorfische chips, die geïnspireerd zijn op het menselijk brein. Het trainen van deze netwerken kan omslachtig, tijdrovend en energie-inefficiënt zijn, omdat het model vaak eerst op een computer wordt getraind en vervolgens naar de chip wordt overgebracht. Dit beperkt de toepassing en efficiëntie van neuromorfische chips.

TU/e-onderzoekers hebben dit probleem opgelost door een neuromorfisch apparaat te ontwikkelen dat on-chip-training kan uitvoeren, waardoor het overbodig is om getrainde modellen naar de chip over te brengen. Dit zou kunnen leiden tot efficiëntere AI-chips in de toekomst.

Neurale netwerken kunnen helpen bij het oplossen van complexe problemen met grote hoeveelheden gegevens, maar naarmate de netwerken groter worden, brengen ze toenemende energiekosten en hardwarebeperkingen met zich mee. De neuromorfische chips bieden een oplossing.

Net als neurale netwerken zijn neuromorfische chips geïnspireerd op hoe de hersenen werken, maar in de chips wordt de imitatie naar een heel nieuw niveau getild. Wanneer in de hersenen de elektrische lading in een neuron verandert, kan het elektrische ladingen naar aangesloten neuronen sturen. Neuromorfische chips bootsen dit proces na.

Maar er zit een neuromorfisch addertje onder het gras – en dat heeft te maken met de twee manieren waarop mensen hardware op basis van neuromorfische chips trainen. Bij de eerste manier wordt de training gedaan op een computer en worden de gewichten van het netwerk toegewezen aan de hardware van de chip. Het alternatief is om de training in-situ of op de hardware te doen, maar de huidige memristors moeten één voor één worden geprogrammeerd en vervolgens op fouten worden gecontroleerd. Dit is nodig omdat de meeste memristors stochastisch zijn en het onmogelijk is om het apparaat te updaten zonder het te controleren.

Hoewel de onderzoekers hebben aangetoond dat de nieuwe trainingsaanpak werkt, is het de volgende logische stap om de neurale netwerken groter, gedurfder en beter te maken.

Foto: Bart van Overbeeke