Deepfakes maken een eind aan nasynchronisatie

Amsterdamse startup Perfect Dubs gaat ervoor zorgen dat je je nooit meer irriteert aan nagesynchroniseerde reclames. Met behulp van Deep learning technologie – vooral bekend door Deepfakes – maken ze de mondbeweging kloppend met de nasynchronisatie.

Iedereen kent ze, reclames waarbij het door de mismatch tussen de stem die je hoort en de mondbeweging die je ziet overduidelijk is dat de reclame niet in Nederland gemaakt is. Ondanks het feit dat al jaren bekend is dat mensen zich irriteren aan nagesynchroniseerde reclames hadden bedrijven tot op heden slechts de keuze tussen nasynchronisatie (dubbing) of een voice-over. “Ongeveer 5% van de tv-reclames wordt gedubbed. Terwijl uit verschillende onderzoeken blijkt dat consumenten merken slechter waarderen wanneer reclames worden nagesynchroniseerd¹. De koppeling van deze twee feiten was voor ons de reden om deze oplossing te bouwen.”, aldus Douglas Voeten, founder van Perfect Dubs.

Perfecte nasynchronisatie
In 1932 werden de eerste films nagesynchroniseerd en sindsdien is er weinig aan de techniek veranderd. Perfect Dubs introduceert nu een alternatief voor nasynchronisatie – Deep Sync – waarbij gebruik wordt gemaakt van deep learning technologie om de mond van de acteur synchroon te laten lopen met de audio. De oplossing is gebaseerd op dezelfde methodes die worden gebruikt bij het maken van deepfakes.

“Elke seconde van een commercial bestaat uit 24 frames (foto’s) die snel achter elkaar worden afgespeeld. Ons algoritme leert op basis van enkele minuten beeld van de hoofdpersoon – de zogenoemde target – hoe het gezicht eruitziet en hoe het beweegt.” Douglas vervolgt: “Nadat het algoritme is getraind kan deze het gezicht van de target genereren op basis van beeld van een acteur in de nieuwe taal – de driver. Klinkt ingewikkeld, maar ik noem het altijd Photoshop on steroids omdat het algoritme in staat is om pixel voor pixel foto’s te creëren die samen het bewegend beeld vormen.”

Een oplossing voor internationale merken
Internationale merken hebben door deze nieuwe oplossing een middel in handen om hun commercials schaalbaar te maken, zonder af te doen aan de kwaliteit en authenticiteit van de reclame uiting. Douglas: “Ons doel is om merken te helpen zich sterker te positioneren in elk land waar ze actief zijn, ongeacht de grootte van die markt.”.

Toekomstige toepassingen
De Deep Sync technologie is nu in staat om commercials perfect te dubben. Maar de deep learning techniek die er aan ten grondslag ligt is constant in ontwikkeling. Binnen een paar jaar zal het met dezelfde techniek ook mogelijk zijn om volledige films en series perfect na te synchroniseren. “We richten ons nu op commercials omdat dit met de huidige techniek tot mooie resultaten leidt. Maar stel je eens voor dat je Squid Game kunt kijken en dat het lijkt alsof hij in het Engels, Nederlands of Spaans is gemaakt. Dat zullen we over een paar jaar mogelijk maken.” Aldus Douglas.

Over Perfect Dubs
Perfect Dubs is ’s werelds eerste nasynchronisatie bureau dat deep learning technologie gebruikt om reclames perfect na te synchroniseren. De technologie – Deepsync – zorgt ervoor dat de consument zich niet meer hoeft te irriteren aan slechte nasynchronisaties. En stelt bedrijven in staat om reclames schaalbaar te produceren met behoud van authenticiteit en effectiviteit.

—Einde—

Noot voor de redactie:

Fotocredit: Perfect Dubs

Eventuele achtergrond info over deepfakes

Meer over Deepfakes

Bij het grote publiek zijn deepfakes vooral bekend van grappige video’s waarin Mark Rutte en Hugo de Jonge een dansje doen of Sylvester Stallone ineens de hoofdrol speelt in Home (Sta)alone . Maar er zijn ook kwalijke voorbeelden, zoals de oproep van “President Zelensky” aan het Oekraïense volk om zich over te geven. Gelukkig zijn er ook talloze nuttige toepassingen van de technologie. Bijvoorbeeld applicaties waarbij je bij het online shoppen kunt zien hoe kleding van een webshop bij jou staat of Deep Therapy, waarbij nabestaanden worden geholpen het (onverwachte) overlijden van een geliefde te verwerken.