-

Digitaal klonen; hebben we nog acteurs nodig?

We kunnen naar concerten van overleden artiesten, zien films met sterren van voorheen. Wat houdt ons nog tegen dit soort artistieke processen volledig te automatiseren? 

McFly!

In 1985 speelde Crispin Glover de memorabele rol van vader George McFly in de film “Back to the Future”. Na het enorme succes van deze film was een vervolg onvermijdelijk. Dit greep Crispin natuurlijk aan om even hard te onderhandelen over z’n contract. Hier kwamen de twee partijen niet uit en Robert Zemeckis besloot de film zonder deze acteur maken. De rol van George McFly was essentieel voor het verhaal, dus moesten ze op zoek naar een andere oplossing, en hebben ze deze rol hercast. De nieuwe acteur Jeffrey Weissman leek lichtelijk op meneer Glover; wat in dit geval wel concrete problemen met zich meebracht. De Back to the Future” serie gaat over tijdreizen, en in de tweede film zouden ze gebruik moeten maken van beelden van de originele acteur uit de eerste film, en dit moest matchen. Hier bleek een zeer praktische oplossing voor; voor de eerste film hadden ze een afgietsels gemaakt van de gezichten van de acteurs en hier konden ze bruikbare maskers van maken. Dus Jeffrey droeg tijdens het spelen van George McFly een Crispin Glover masker, met een rechtszaak tot gevolg. Voor de gelijkenis heeft Crispin een miljoen gekregen, maar helaas is met deze rechtszaak geen jurisprudentie gecreëerd om dit in de toekomst te vermijden. Het ‘klonen’ van een acteur was feit.

It’s a UNIX system! I know this!

In 1993 veranderde Steven Spielberg de filmwereld met Jurassic Park. Voor het eerst werden fotorealistische CGI(Computer-Generated Imagery)-wezens (dinosaurussen) gebruikt in een film. Maar naast deze milestone is Jurassic Park ook de eerste film waarbij digitale gezichtsvervanging werd gebruikt. Tijdens een stunt waarbij een stuntvrouw door een systeemplafond moest vallen keek deze per ongeluk omhoog. De stunt en shot waren voor de rest erg goed gelukt, behalve dat je een korte tijd het gezicht van de stuntvrouw kon zien. Dus besloten de makers dat, nu ze toch bezig waren met geschiedenis schrijven op special-effects-vlak, dit gezicht digitaal te vervangen met het gezicht van de actrice die deze rol in de film speelde. En de eerste digitale gezichtsvervanging was hier. 

Om video's van Youtube te kunnen tonen, dienen analytische cookies en tracking cookies geaccepteerd te worden.

Enge mensen

Voor ik verder ga zal ik een term moeten uitleggen. De term “Uncanny Valley”. Deze term staat voor het “Dit klopt niet” gevoel wat we hebben bij veel computer-gegenereerde of met de computer bewerkte mensen wanneer deze erg realistisch zijn, vaak geen zichtbare fouten of gebreken vertonen maar je er toch een akelig gevoel bij krijgt. Dit komt omdat wij als mensen enorm goed zijn in het onbewust herkennen van gezichtsuitdrukkingen, micro-emoties en andere hele subtiele eigenschappen. Als dit ook maar een beetje niet klopt, voelt het vreemd. Dit maakt het verloop van cartooney naar volledig realistisch geen lineaire lijn, maar een vallei, die moeilijk te overbruggen is.

De één z’n dood

In de jaren na Jurassic park werd deze techniek vooral gebruikt bij het overlijden van een acteur tijdens een productie. Zoals Brandon Lee (zoon van Bruce Lee) die tijdens de opnames van de film “The Crow” geraakt werd door een iets te losse flodder en overleed. De scènes die nog opgenomen moesten worden hebben ze met slimme look-alikes en gezichtsvervanging opgelost.

Het was een zeer innovatieve techniek, maar niet heel flexibel. De techniek maakt gebruik van bestaande beelden van acteurs. Dat is op zich prima wanneer de beelden specifiek geschoten kunnen worden voor deze face replacement zoals in Death Becomes Her.

Maar vaak is dit geen optie, zoals bij overlijden van de acteur, en dan is het een grote uitdaging de gebruikte beelden qua licht te benaderen. Ook het reeds bestaande gezicht te laten spreken is een mammoettaak. Zie dit voorbeeld uit Forrest Gump. Dit is geen gezichtsvervanging, maar laat wel duidelijk zien hoe moeilijk het is iemand realistisch te laten spreken in al bestaand materiaal. 

Leeftijd speelt geen rol

Ik neem even een zijstap naar een andere techniek die veel invloed heeft op digitale acteurs. Dit is digitale leeftijdsmanipulatie. Voorheen werd voor jongere of oudere versies van karakters vaak gekozen voor het casten van een extra acteur of dikke lagen make-up. Maar gezien de enorme opmars van Special Effects leek het nu mogelijk deze de-aging te doen via software. De eerst film waar dit in een lange scène gebruikt werd was ‘X-men, the last stand’, waar er bij Patrick Stewart en Ian Mckellen toch een jaartje of twintig vanaf moest worden gesnoept. 

Het resultaat was zeer acceptabel te noemen. De acteurs leken wel ietwat van plastic te zijn, maar desalniettemin een enorme stap naar volledig fotorealisme. De jaren erna is deze techniek geperfectioneerd in vooral Marvel films. Zoals Michael Douglas in Ant-Man.

Wat belangrijk is om te weten, is dat er bij de-aging twee manieren zijn om dit digitaal te doen. Bij deze Marvel films worden de bestaande beelden als basis gebruikt en gemanipuleerd om gezichten te vervormen, rimpels weg te werken, etc. Zie dit als een zeer geavanceerde photoshop. 

De andere techniek die gebruikt wordt is te zien in “The Irishman”, de Netflix-film over de dertig jaar durende carrière van een maffioso. Voor deze film hebben ze volledige 3D gezichten van alle acteurs gescand, bewerkt om ze jonger te laten lijken en teruggeplaatst in de beelden. 

Het verschil tussen deze twee technieken, is dat bij de eerste de ‘echte’ acteurs de scènes moeten opnemen. Bij de tweede techniek zou het mogelijk zijn de acteur te vervangen door een heel ander persoon. En zo wordt deze techniek de laatste jaren ook toegepast in film.

CGI doubles

Nu de techniek bestaat om acteurs fotorealistisch te scannen en om te zetten naar een 3D model wordt dit ook regelmatig gebruikt de gezichten om stuntmensen te vervangen door de werkelijke acteur. Net zoals de eerste toepassing van gezichtsvervanging in Jurassic Park maar dan met een volledig computer gegenereerd gezicht. Zoals hier te zien is in Logan.

En natuurlijk maakt de filmindustrie hier ook gretig gebruik van bij overleden acteurs. Na het overlijden van Paul Walker tijdens de opnames van Furious 7 hebben zijn broers, met ongeveer dezelfde bouw de laatste scènes op zich genomen, en zijn de gezichten vervangen door een 3D versie van het gezicht van Paul. Met vrij spectaculaire resultaten.

Maar het is niet altijd raak met het vervangen van acteurs door CGI doubles. Zoals in de film “Star Wars Rogue One”. Een film die zich afspeelt voor de eerste Star Wars film uit 1977. In dit origineel speelde de karakteracteur Peter Cushing de rol van Grand Moff Tarkin, een rol die verhaaltechnisch erg veel toe zou kunnen voegen aan Rogue One, ware het niet dat deze acteur al in 1994 was overleden. Toch werd er gekozen een oud gezichts-afgietsel te scannen, een andere acteur de rol te laten spelen en deze te vervangen door de CGI versie van Peter Cushing. Een imponerend proces, met een wat mij betreft niet volledig overtuigend resultaat. Een goed voorbeeld van de “uncanny valley”.

En zo zie je dat al deze technieken steeds beter en indrukwekkender worden. Maar de overeenkomst is dat ze zeer complex zijn en enorme teams met specialisten vereisen.

Deep learning

Voor de volgende stap in het verhaal zal ik Deep Learning even in een notendop uitleggen.

Bij deep learning geef je een computerprogramma een heleboel input, bijvoorbeeld afbeeldingen van katten en honden. Je geeft ook de verwachte output: alleen de katten. Vervolgens laat je het programma alle noodzakelijke verbanden leggen (een neuraal netwerk maken) om vanuit de input de output te produceren. Deze verbanden en voorwaarden die het programma heeft gemaakt noemen we het model. Dit model kan katten en honden onderscheiden. 

Nou is dit een heel simpel voorbeeld, maar dit is toe te passen op elke vorm van data. Van zelfrijdende auto’s tot het voorspellen van rampen. 

FakeApp

In 2018 werd de app FakeApp vrijgegeven. Dit programma werkt volgens deze deep learning principes. Je voert deze applicatie duizenden foto’s van een gezicht van een persoon. Dan maakt deze een model van dit gezicht. Dit kan hij gebruiken om dit gezicht te herkennen, maar ook te genereren. Herhaal dit met een tweede persoon. Nu heb je twee modellen van personen. Vervolgens geeft je de applicatie een videobestand met een van deze twee personen er in. Omdat de applicatie detailinformatie heeft over beiden personen kan deze nu, zonder verdere tussenkomst van een special effects-expert het gezicht van de acteurs met elkaar vervangen. En dit met vaak imponerende resultaten.

De ontwikkeling van deze en soortgelijke software betekent dat Hollywood-kwaliteit effecten op het gebied van gezichtsvervanging door elke zolderkamer-hobbyist kunnen worden toegepast. En dat is ook meteen het gevaar. Naast dat deze applicatie voor 99% gebruikt werd om gezichten van acteurs op pornoscenes te plakken kwamen alle ethische discussies op gang. Ook waren we ineens in een wereld waar we naast fotomateriaal ook videomateriaal niet meer konden vertrouwen.

FakeApp en afgeleiden staan nog in de kinderschoenen, en zijn iets te wispelturig voor de grote hollywood studios. Maar de potentie van deze techniek is duidelijk, dus springt conglomeraat Disney er bovenop om deze techniek productiewaardig te maken. Zo hebben ze recent een video vrijgegeven van hun onderzoeksafdeling met de naam “High Resolution Neural Face Swapping for Visual Effects”. 

Dit laat zien dat Disney op een gevaarlijk realistisch niveau is met het gebruiken van deep learning en neurale netwerken om gezichten in video te vervangen.

De ander z’n brood?

Zoals je ziet is de techniek geen remmende factor meer bij het vervangen, tot leven wekken van of het volledig genereren van acteurs. Dus dan komt het aan op rechten en ethiek; en gaan we hier volledig correct mee om, zoals we bij al dit soort innovaties doen? Of toch niet? Een korte tijd geleden is het bedrijf “Worldwide XR” opgericht wat de rechten beheert van overleden acteurs juist voor dit soort gebruik. 

Zo is er op dit moment een oorlogsfilm in productie met de naam “Finding Jack”, met in de hoofdrol niemand anders dan James Dean. Dit is vanuit ethisch oogpunt een discutabel zaakje. En dit zal zeker niet de laatste acteur zijn die tot leven gewekt wordt voor een film.

Maar een acteur: echt, namaak of fictief is natuurlijk niets zonder capabel acteerwerk. Wij houden van acteurs door hun fijnzinnigheden, maniertjes en vreemde gewoontes; het blijft een vak en mensenwerk. Alhoewel, gezien de vorderingen in machine learning durf ik niet te beloven dat we oprechte emoties en persoonlijke eigenaardigheden binnenkort niet volledig geloofwaardig kunnen simuleren. 

Over de auteur: Tijmen Mulder is co-founder van Robot Kittens.

Op de hoogte blijven van het laatste nieuws binnen je vakgebied? Volg Emerce dan ook op social: LinkedInTwitter en Facebook.

Deel dit bericht

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond