Hartslag kan verraden dat een video deepfake is

Het Nederlands Forensisch Instituut en de Universiteit van Amsterdam (UvA) hebben een nieuwe methode ontwikkeld om deepfake video’s te herkennen, dankzij onze hartslag.

Door de snelle technologische ontwikkelingen op het gebied van deepfake-AI wordt het steeds moeilijker om nepvideo’s met het blote oog te herkennen. Het NFI investeert daarom in nieuwe manieren van deepfakedetectie, zodat het ook in de toekomst forensische vragen over de echtheid van beeldmateriaal kan beantwoorden.

Bij bloedstroomdetectie wordt gekeken naar het uitzetten en inkrimpen van adertjes in het gezicht. Door kortstondige vaatverwijding bij iedere hartslag neemt de hoeveelheid bloed tijdelijk toe, wat een subtiel kleurverschil veroorzaakt dat meetbaar is.

In deepfakes ontbreekt die veranderende bloedstroom in het gezicht. Vooral de adertjes rond de ogen, het voorhoofd en de kaak zijn geschikte plekken om die verwijding te meten, omdat de bloedvaten daar dicht onder de huid liggen.

Rond 2012 werd het NFI weleens gevraagd om forensisch onderzoek te doen naar zogeheten snuffmovies: zeer gewelddadige films waarin mensen worden mishandeld, gemarteld, verkracht en soms zelfs vermoord — al dan niet in scène gezet. Dit soort films circuleren op clandestiene kanalen zoals het darkweb of versleutelde platforms.

Zeno Geradts, forensisch digitaal onderzoeker bij het Nederlands Forensisch Instituut (NFI) onderzocht destijds of personen in bepaalde snuff-films daadwerkelijk waren overleden. In die tijd stuitte hij toevallig op een publicatie van het Massachusetts Institute of Technology (MIT), waarin hij las dat onderzoekers hadden ontdekt dat je aan de hand van de adertjes in het gezicht iemands hartslag kunt meten.

Deze manier van hartslagmeting komt oorspronkelijk uit de sportwereld. Er zijn in de loop van de tijd allerlei technieken ontwikkeld waarmee hart- en polsslag gemeten kunnen worden, met het oog op het registeren en verbeteren van sportprestaties. Dit kan bijvoorbeeld door elektrische signalen van het hart op te vangen, of door de subtiele verwijding van de polsaders bij iedere hartslag te meten.

Paula Pronk, wetenschappelijk medewerker bij het NFI, zette het onderzoek naar bloedstroomdetectie op. Dit onderzoek werd afgelopen jaar voortgezet en uitgebreid door NFI-stagiaire Sanne de Wit. Zij verzamelde extra data en trainde het model. Sanne deed haar bachelor Computer Science aan de TU Eindhoven en rondt nu haar master Forensic Science af aan de UvA. Voor het onderzoek filmde zij proefpersonen die zowel een smartwatch als een hartslagmeter droegen. Vervolgens vergeleek ze de zeer nauwkeurige metingen van deze apparaten met de hartslag die zichtbaar was in het gezicht van de proefpersonen.