Nieuwe AI-methode vergroot de kracht van kunstmatige neurale netwerken

Een internationaal team van wetenschappers van de TU Eindhoven, de Universiteit van Texas in Austin (VS) en de University of Derby (VK) heeft een revolutionaire methode ontwikkeld die de algoritmen voor kunstmatige intelligentie (AI) kwadratisch versnelt. Hierdoor wordt AI beschikbaar op goedkope computers, en kunnen supercomputers binnen één tot twee jaar kunstmatige neurale netwerken benutten die de mogelijkheden van de huidige kunstmatige neurale netwerken kwadratisch overstijgen. De wetenschappers presenteren hun methode vandaag in het tijdschrift Nature Communications.

Kunstmatige neurale netwerken (of Artificial Neural Networks) vormen de kern van de AI-revolutie die op dit moment elk aspect van de samenleving en technologie vormgeeft. Maar de kunstmatige neurale netwerken die we tot nu toe tot onze beschikking hebben, zijn nog ver verwijderd van het oplossen van zeer ingewikkelde problemen. De allernieuwste supercomputers worstelen met een netwerk van 16 miljoen neuronen (ongeveer zo groot als een kikkerbrein), terwijl het bijna twee weken duurt voordat een krachtige desktopcomputer een netwerk van 100.000 neuronen heeft getraind.

De voorgestelde methode, de Sparse Evolutionary Training, haalt inspiratie uit biologische netwerken en in het bijzonder neurale netwerken die hun efficiëntie danken aan drie eenvoudige functies: netwerken hebben relatief weinig verbindingen, slechts enkele hubs en maken gebruik van korte paden. Het in Nature Communications gepubliceerde werk laat de voordelen zien van het loslaten van de huidige volledig verbonden kunstmatige neurale netwerken, door de introductie van een nieuwe trainingsprocedure die begint met een willekeurig netwerk met weinig verbindingen en iteratief evolueert naar een schaalvrij systeem. Bij elke stap worden de zwakkere verbindingen geëlimineerd en worden nieuwe verbindingen willekeurig toegevoegd, vergelijkbaar met een biologisch proces dat bekend staat als synaptische plasticiteit.

De opvallende winst in snelheid van deze methode is van grote betekenis, omdat het de toepassing van AI op problemen mogelijk maakt die vanwege het enorme aantal parameters met de huidige methoden niet op te lossen zijn. Voorbeelden hiervan zijn betaalbare gepersonaliseerde geneeskunde en complexe systemen. In complexe, snel veranderende omgevingen zoals smart grids en sociale systemen, waarvoor het frequent opnieuw trainen van een kunstmatig neuraal netwerk is vereist, zijn verbeteringen in de leersnelheid (zonder afbreuk te doen aan de nauwkeurigheid) van essentieel belang. Omdat een dergelijke training kan worden bereikt met beperkte berekeningskracht, zal de voorgestelde Sparse Evolutionary Training methode bovendien de voorkeur hebben voor embedded systems, waarbij vele gedistribueerde apparaten met vaak weinig individuele rekenkracht op een groter systeem zijn aangesloten.

Concreet houdt dit in dat iedereen met SET op zijn eigen laptop een kunstmatig neuraal netwerk van maximaal 1 miljoen neuronen kan bouwen, terwijl dit met de modernste methoden alleen was voorbehouden aan dure computing clouds. Dit betekent echter niet dat deze clouds niet meer bruikbaar zijn. Momenteel hebben de grootste kunstmatige neurale netwerken, gebouwd op supercomputers, een grootte van een kikkerbrein (ongeveer 16 miljoen neuronen). Na het overbruggen van enkele technische uitdagingen is het met SET over 1 á 2 jaar mogelijk om op dezelfde supercomputers kunstmatige neurale netwerken te bouwen die de capaciteit van het menselijk brein benaderen (ongeveer 80 miljard neuronen).

Hoofdauteur Dr. Decebal Mocanu: “En ja, we hebben zulke extreem grote netwerken nodig. Er is bijvoorbeeld aangetoond dat kunstmatige neurale netwerken goed zijn in het detecteren van kanker uit menselijke genen. Volledige chromosomen zijn echter te groot om te passen in de huidige kunstmatige neurale netwerken, maar ze zouden kunnen passen in een netwerk van 80 miljard neuronen. Hypothetisch gezien kan dit leiden tot betere gezondheidszorg en betaalbare gepersonaliseerde geneeskunde voor iedereen.”