Emoties zijn de nieuwe cookies

Smartphones, horloges of laptops begrijpen onze emoties steeds beter. Microsoft, Apple, Samsung en Intel ontwikkelen empathische technologie, en ook adverteerders zien veel kansen. “Nu zet je cookies aan of uit, straks doe je dat met emotiemetingen.”

Trek je een wenkbrauw op bij het zien van die banner van een vakantieaanbieding in Turkije? Of vormen je mondhoeken juist een glimlach? En hoe zit het met je ogen, en met allerlei minder zichtbare gezichtsspieren? De webcam van het Britse bedrijf Realeyes herkent met behulp van gezichtsanalysesoftware je emotionele reactie op wat er ook maar op je computerscherm voorbijkomt – van een videoclip, een advertentie tot een game.

Realeyes methodiek slaat aan. Nu er steeds betere camera’s in laptops en smartphones zitten en de herkenningssoftware steeds geavanceerder wordt, is Mihkel Jäätma, de CEO en oprichter van het in Londen gevestigde emotie-metingen-bedrijf, plotseling dan ook een veel gevraagd man. Investeerders hebben interesse en dus spreekt hij op belangrijke marketingcongressen wereldwijd. “Vorig jaar was het breekpunt, toen is het aantal klanten snel gegroeid”, aldus de CEO.

Marktonderzoeken zijn volgens hem nog maar de eerste stap. Over niet al te lange tijd zullen adverteerders wat hem betreft met camera’s real time emoties gaan meten, en op basis daarvan meteen hun videocommercial of banner aanpassen. Vanaf dan is het mogelijk om direct in te prikken in de gemoedstoestand van de gebruiker. Een empathische vorm van neuromarketing. Dus vergeet cookies, emotiemetingen hebben de toekomst, aldus Jäätma.

Vragenlijst
Technologie die onze emoties begrijpt, heet affective computing en is sterk in opkomst. Het gezaghebbende Amerikaanse magazine Forbes omschrijft het zelfs als een van de meest disruptieve technologieën toen ze er begin dit jaar de eerste tekenen van zagen op de Consumer Electronics Show in Las Vegas. De technologie die jou beter kent dan jezelf, aldus Forbes, heeft bij het Massachusetts Institute of Technology, MIT, zelfs al een eigen vakgroep. De Affective Computing-onderzoeksgroep, opgezet door Rosalind Picard, ontwikkelt daarbij allerlei methoden en technologieën, om ‘emoties en technologie’ beter op elkaar te laten aansluiten. Maar ook bedrijven als Intel, Apple, Samsung en Microsoft doen er onderzoek naar en ontwikkelen toepassingen. In Nederland zijn er verschillende universiteiten mee bezig, waaronder de Radboud Universiteit in Nijmegen en de VU in Amsterdam, maar ook een instituut als TNO.

De eerste echte producten komen nu nog vooral op de markt via de wat kleinere bedrijven, vooral startups, zoals Affective Interfaces uit Sillicon Valley, het Israelische eMotion, Acriil uit Korea, het Italiaanse Stereomood en The Affective Computing Company uit Pittsburgh.  De Amerikaanse onderneming Affectiva heeft al een hele reeks grote bedrijven als klant, waaronder Coca-Cola. Op Affectiva.com kan iedereen testen wat zijn of haar emotionele reactie is op reclamespotjes.

Marktonderzoeker Gartner noemt affective computing in verschillende rapporten een belangrijke businesstrend. Concrete cijfers of verwachtingen over deze nieuwe bedrijfstak, zoals omzet en groei, geven onderzoekers echter nog niet, daarvoor is het vakgebied te nieuw. De groeicijfers van bedrijven als Realeyes, en van concurrenten zoals Affectiva, zeggen echter genoeg. Eerstgenoemde heeft momenteel ongeveer honderd grote klanten, waarvan de meeste in de Verenigde Staten en het Verenigd Koninkrijk zitten. Maar ook het Nederlandse Blauw Research Marktonderzoek is een van de afnemers. Allemaal willen ze marketingonderzoek doen met hulp van de webcammetingen van het Britse bedrijf. In plaats van traditionele vragenlijsten willen ze het antwoord van de camera. Hiervoor klikken deelnemers op een link, zetten hun camera aan en bekijken een video of advertentie. “Als je mensen vraagt naar hun mening over een product of advertentie met een vragenlijst, dan komen ze vaak met een rationeel antwoord. De directe emotionele reactie die onze camera’s meten, zegt veel meer over wat iemand echt vindt”, aldus de CEO van Realeyes.

iWatch
Het analyseren van gelaatsuitdrukkingen is slechts een van de manieren waarop computers op onze emoties kunnen inspelen. Het analyseren van spraak is een andere: de manier waarop we praten – de hoogte van onze stem, het tempo van praten – kan veel zeggen over hoe we ons voelen. Bedrijven als TNO en elektronicafabrikant Samsung zien hier mogelijkheden, en doen dan ook al onderzoek naar dergelijke vormen van spraakanalyse. Met de smartphonemicrofoons zijn volgens de telefoonfabrikant een aantal interessante toepassingen te bedenken.

Kijk je echter naar de onderzoeken uit de labs van MIT, Apple en Microsoft, dan blijkt dat sensoren de populairste manier zijn om emoties in de nabije toekomst te meten. Volgens Egon L. van den Broek, onderzoeker bij TNO, de Universiteit Twente en het Karakter Universitair Centrum, moet je daarbij denken aan biosignals, zoals iemands hartslag, zweetsecretie, spierspanning, bloeddruk of huidtemperatuur: fysieke uitingen van emoties of gemoedstoestanden. Ga je meer zweten, dan kan dat een teken van stress zijn, terwijl een rustige, regelmatige ademhaling duidt op een ontspannen houding. Zo bestaan er hele lijsten van fysieke reacties die je kunt koppelen aan emoties en stemmingen.

De affective computing trend gaat samen met die van de opkomst van wearable tech – technologie die vol zit met sensoren en letterlijk dicht op je huid zit – van brillen (Google Glasses) tot kleding. “Wat betreft hardware hebben we al een grote stap gemaakt”, zegt Van den Broek, die veel publiceert over affective computing en hier onderzoek naar deed met verschillende bedrijven, waaronder Intel.

Volgens internetdenker en TEDx-organisator Jim Stolze is de versmelting van mens en machine hierdoor geen eng toekomstbeeld meer, maar een zeer logisch gevolg van de volgende fase van het internet. “De Kinect van Microsoft interpreteert bewegingen van ons lichaam; Siri van Apple onze gesproken instructies en sommige gadgets dragen we al op ons lichaam, zoals de Nike Fuelband of de UP van Jawbone, zodat ze reageren op onze hartslag, lichaamstemperatuur of de hoeveelheid beweging die we krijgen op een dag.” Diverse technologiebedrijven zijn dan ook bezig met het ontwikkelen van een nieuwe generatie slimme horloges. “Bij het doen van metingen is een dergelijke accessoire veel handiger dan een smartphone. Een horloge zit direct op je huid, en kan zo beter temperatuur of harstlag meten”, aldus Van den Broek.

Uit een patentaanvraag van Apple, ingediend in februari dit jaar, blijkt dat het technologiebedrijf ook bezig is met de ontwikkeling van geavanceerde sensorentechniek. Hoewel de term horloge of iWatch niet valt, gaat het in het patent voortdurend over sensoren die dicht op de huid zitten. Opvallend detail: Apples sensoren zouden zelfs chemische samenstellingen kunnen meten.

Productiviteit
Een andere manier om emoties te begrijpen, is met behulp van bewegingen. Zo hebben wetenschappers een stoel ontwikkeld die onze gemoedstoestand meet aan de hand van onze bewegingen. Zitten we verkrampt, bewegen we veel of hangen we relaxed? De slimme stoel anticipeert hierop door de verlichting in huis of op kantoor te dimmen of juist feller te laten branden, de verwarming op een ander temperatuur te zetten of de muziek te veranderen.

Terwijl de empathische stoel nog in ontwikkeling is, worden empathische technieken vast toegepast in auto’s. Ford, Mercedes Benz, Volkswagen en Volvo hebben in sommige van hun modellen al systemen ingebouwd die zien of een chauffeur nog alert en wakker is. Hiervoor zijn verschillende methoden. Zo kijken sommige automerken naar de input: verricht de chauffeur nog wel genoeg handelingen? Zo niet, dan krijgt hij een signaal om hem weer ‘bij de les te brengen’. MIT deed soortgelijk onderzoek in samenwerking met Ford. Het resultaat: de bestuurder wordt gewaarschuwd zodra hij te gespannen achter het stuur zit.

Een ander bedrijf dat zich net als Realeyes op affective computing richt, is het Portugese Plux. De onderneming heeft met zijn draagbare en draadloze sensortechnologie vooral klanten in de medische hoek, maar ziet ook steeds meer mogelijkheden voor bedrijven en scholen. Een van hun producten is een muis waarin allerlei sensoren zijn verwerkt. “Die meten je huidtemperatuur, je manier van bewegen, spierspanning en zweetniveau”, aldus Hugo Gamboa, oprichter van Plux.

De muis wordt al gebruikt door een bedrijf dat educatieve software maakt om te kijken hoe leerlingen emotioneel op lesstof reageren. Raken ze erdoor in de stress of juist niet? Straks moet de muis volgens hem veel meer kunnen. Gamboa: “Als we zien dat een leerling niet genoeg wordt geprikkeld, kunnen we bijvoorbeeld de lesstof real time aanpassen, zodat hij meer wordt uitgedaagd.”

Vergelijkbare toepassingen ziet de Portugees bij computergames die inspelen op de emoties van spelers. Of bij bedrijven. “Stel je iemand voor die bij een consultancybedrijf werkt. Met hulp van de muis kan de computer feedback geven, in de trant van: je bent te gespannen, neem even rust.” Of het tegenovergestelde als hij juist te relaxed is en harder moet werken. “Het is een manier om de productiviteit van werknemers te vergroten.”

Affective computing is ook geschikt voor verkoopdoeleinden. De beste verkoper is namelijk degene die zijn klanten weet te doorgronden. Omdat niet alle verkopers een groot empathisch talent hebben, biedt deze technologie uitkomst. Zo test en analyseert Realeyes in een aantal winkels momenteel via veiligheidscamera’s gezichten van klanten. “De camera’s zien of klanten blij zijn”, aldus het bedrijf.

In eerste instantie gebeurt dit nog om de tevredenheid van winkelbezoekers te meten, maar over niet al te lange tijd is een scenario denkbaar waarbij een verkoper via een oortje te horen krijgen hoe de klant tegenover hem zich voelt. En ja, Jäätma is zich bewust van de privacy issues. “De camera’s slaan geen gezichten op”, betoogt hij. De camera zou alleen maar kijken naar meetkundige lijnen in het gezicht.

Onderzoeker Van den Broek wil affective computing onder meer inzetten om autistische kinderen te helpen, zodat ze emoties van andere mensen leren begrijpen. Hij is namelijk sceptisch over de mogelijkheden van camera’s om emoties op hun waarde te kunnen schatten. “In het gezicht zitten wel vijftig spieren. De bewegingen daarvan kun je niet allemaal zien met een camera.” Wil je een subtieler beeld van wat degene tegenover je voelt, dan moet je volgens hem met andere methodes gaan werken. Bijvoorbeeld met een sensor die je boven de ogen plakt, waarmee bewegingen kunnen worden gevoeld die een camera niet kan registreren. Hoewel een camera praktisch is, zullen juist nieuwe producten uit de hoek van wearable technologie dit soort methodes steeds beter toepasbaar maken.

Cookies
Ook al heeft de verkoper straks hulp van een camera of andere empathische technologie, dan nog heeft hij een nadeel: hij ziet zijn klant maar heel even, namelijk als die bij hem in de winkel is. Hij kan hem niet dag en nacht volgen en de schoenen onder zijn neus duwen, zodra de klant in de juiste stemming is voor een impulsaankoop. Maar wat als dat straks wel kan? Als we onze emoties permanent meten en ook nog eens uploaden, is die mogelijkheid niet eens vergezocht.

Uploaden? Ja. In het sensoren-patent van Apple gaat het tevens over een systeem waarbij alle bio- en omgevingssignalen als temperatuur en luchtddruk voortdurend worden geüpload naar de iPhone, iMac of iCloud. Zo ontstaat er een log waarin van minuut tot minuut te zien is hoe iemand zich voelt. Hoewel die data volgens Apple niet bedoeld zijn voor derden, is dat dan nog maar een kleine stap. Bij het downloaden van een nieuwe app krijg je dan ook de vraag of je de app automatisch toegang geeft tot je ‘emoties’. Daar zijn allerlei toepassingen voor te bedenken, ook voor adverteerders.

Microsoft heeft onlangs een onderzoek afgerond dat hierop aansluit. Het bedrijf spreekt daarbij over AffectAura, een ‘emotionele prothese’, die met hulp van allerlei sensoren, permanent de emoties van de gebruiker meet. Daarnaast worden ook allerlei data opgeslagen en gemeten uit de gebruikersomgeving met hulp van video, audio en locatie-informatie. Op die manier kunnen er ook relaties worden gelegd tussen emoties en gebeurtenissen. Heel simpel gezegd: op locatie X ben je meestal ontspannen, op locatie Y juist gespannen. Op tijdstip A, ben je geconcentreerd, op tijdstip B meestal moe. Idee is dat iemand met behulp van zo’n emotie-logboek zichzelf beter leert kennen, zo wil althans het verhaal.

Mooi al die toepassingen, maar we moeten niet vergeten dat emoties ontzettend complex zijn, aldus Van den Broek. Een zwetende vinger betekent niet bij iedereen hetzelfde.  “Mensen verschillen in hoe ze emoties voelen. De hoeveelheid zweetklieren is per persoon anders. En er zijn ook verschillen tussen volken. Aziaten hebben op verschillende plekken een ander aantal zweetklieren dan West-Europeanen. Zo kan Microsoft bijvoorbeeld iets maken wat prima werkt voor Nederlanders, maar niet voor Japanners.” En mensen in verschillende culturen uiten zich anders. Van den Broek: “In sommige culturen lachen mensen uit schaamte, en niet omdat ze iets grappig vinden. Dat soort zaken moet je allemaal meenemen als je dit soort producten ontwikkelt.”

We zitten dus nog maar aan het begin van een nieuwe ontwikkeling, gezien geen enkele methode een volledige verklaring geeft voor alle emoties. Een combinatie van metingen is volgens Van den Broek dan ook het beste. “Denk aan het meten van zweet via een sensor, gezichtsanalyse met een camera en bewegingsmetingen. En dat allemaal tegelijk. Complex, ja, maar onmogelijk: nee.”

Bij Realeyes houden ze het voorlopig gewoon bij de camera. Met nieuw investeringsgeld wil het bedrijf dit jaar groeien van 25 naar zestig medewerkers. Maar de echte grote klapper komt, aldus oprichter Jäätma, op het moment dat hij real time metingen kan doen. Maar dat zal nog drie tot vijf jaar duren, denkt hij. En de grote vraag is natuurlijk wie er toestemming gaat geven. Wie wil zijn privacy opgeven, zijn emoties vrijgeven? Op dit moment zitten we nog middenin het cookiedebat, straks gaat het om een hele andere vraag. Jäätma: “Nu zet je cookies aan of uit, straks doe je dat met emotiemetingen”.

EmotionML
Grondlegger van de huidige affective-computingbeweging is professor Rosalind Picard. De term werd populair nadat zij in 1997 haar boek Affective Computing publiceerde. Naast oprichter en directeur van de Affective Computing-onderzoeksgroep op MIT, is zij medeoprichter van Affectiva, een bedrijf dat technologische toepassingen maakt op het gebied van affective computing.

Om de emotionele interactie tussen mensen en computers te verbeteren, heeft The World Wide Web Consortium (W3C) de Emotion MarkUp Language (EML of EmotionML) ontwikkeld. Een eerste openbare conceptversie werd in 2009 gepubliceerd. De taal is een toevoeging aan HTML. Voorbeelden uit EML:

<emotion>

    <dimensions set=”myFriendlinessDimension”>

        <friendliness value=”-0.7″/><!– a pretty unfriendly person –>

    </dimensions>

</emotion>

en:

<emotion>

    <dimensions set=”discreteValenceArousal”>

        <arousal value=”very high”/>

        <valence value=”slightly negative”/>

    </dimensions>

</emotion>

Empathische koptelefoon
In maart heeft het Japanse Neurowear ‘The Mico mind controlled headphones’ gedemonstreerd op de muziek-, film- en technologiebeurs SXSW in Austin. De koptelefoon analyseert hoe je je voelt en bepaalt vervolgens welke bijpassende muziek er van je smartphone wordt afgespeeld.

Een sensor op je voorhoofd meet hiervoor je hersenactiviteit. Na analyse door de bijbehorende app kiest de koptelefoon de juiste muziek. Zelf kiezen is dus niet meer nodig, aldus de mannen achter Neurowear.
Als ‘extraatje’ wordt de stemming van de drager ook nog eens via een indicator op de zijkant van de hoofdtelefoon weergegeven. Over de prijs is nog niets bekend. De bedenkers zelf noemen deze automatische muziekselectie ‘music serendipity’, omdat de playlist altijd een verrassing blijft.

*) Dit artikel verscheen in het aprilnummer van Emerce magazine (#121)