-

Sentimentanalyse: hoe werkt het en welke tools zijn bruikbaar?

“Ik heb een lief bedrag over voor een tool die mij betrouwbare sentimentdata kan verschaffen. Maar stop een query in vijftien monitoringtools en je krijgt vijftien verschillende uitkomsten. Onbetrouwbaar, en dus waardeloos!” Aan het woord een klant, grote speler in de automotive, in een meeting die ik een tijdje terug met ‘m had.

Inderdaad staat sentimentanalyse van online monitoringstools (ik noem ze hierna voor het gemak ‘tools’) nog in de kinderschoenen. Hoe komt dat, en waarom is dat zonde?

Sentiment-analyse uit CoostoSentimentanalyse uit Coosto

Share of voice = share of market

Laten we beginnen met het goede nieuws. Het aantal absolute berichten waar je merk of organisatie in voorkomt valt tegenwoordig prima te meten. Dat gold al een tijdje voor online berichten zoals op fora en social media, maar offline berichten zoals in krant, op radio en TV worden tegenwoordig ook gedigitaliseerd dus kunnen in metingen meegenomen worden. Zet dat af tegen het aantal berichten waar je concurrenten in voorkomen en <tromgeroffel> daar is je share of voice (SOV).

Share of Voice rapportage uit Obi4WanShare of Voice rapportage uit OBI4wan

Een knappe kop bij Nielsen heeft uitgevonden dat SOV te koppelen is aan share of market (SOM): ‘All things being equal, a brand whose share of voice (SOV) is greater than its share of market (SOM) is more likely to gain market share.’ Op z’n Rotterdams gezegd: hoe meer er over je wordt gekletst, hoe beter het met je toko gaat.

Hartstikke leuk, maar rondom hun faillissement was DSB Bank ook wekenlang trending topic. En bepaald goed ging het niet met die toko. Oftewel: hoe er over je wordt geluld, sentiment dus, is een essentiële sub-metric.

Cynisme en sarcasme

Waarom is het meten van sentiment nou zo moeilijk? Nou, neem bijvoorbeeld cynisme en sarcasme. We zeggen A, maar bedoelen juist B, of andersom. Een computer heeft niet het delicate taalgevoel van een mens en zal dus nooit slim genoeg zijn om deze nuances te herkennen. Maar.. wacht, is dat wel zo?

Screen Shot 2016-04-26 at 05.20.51

Het bepalen van sentiment: nobody said it was easy

Alweer goed nieuws: IBM heeft een supercomputer gemaakt (naam: Watson) die tekst zo goed begrijpt dat het taalquizzen op TV wint. Hoera! Klein puntje: het apparaat past niet in de gemiddelde huiskamer. Maar dat hoeft ook niet! We hebben internet, dus wordt ‘ie momenteel ingezet om in the cloud ingewikkelde berekeningen te maken en grote opdrachten te processen.

De mogelijkheden tot adequate sentimentanalyse zijn er dus wel, de beperkende factor is hoogstwaarschijnlijk gewoonweg een kostenplaatje.

IBM's WatsonIBM’s Watson (bron: Wikipedia)

Waarom is sentimentanalyse dan toch zo belangrijk?

Ik zal het uitleggen. Hoe denkt je doelgroep over jou? Net Promoter Score (NPS) leek het antwoord te hebben. ‘Zou je ons aanbevelen bij anderen?’ is de magische vraag die gesteld wordt aan klanten op het moment dat ze brak op de bank liggen en met rust gelaten willen worden. Maar ook wanneer ze stuiterend van de energie net hun groenteshake op hebben, keurig 8 uur geslapen hebben en bovendien zojuist enorme korting kregen in de uitverkoop bij jouw winkel. Tot zover dus eerlijke resultaten uit NPS. ‘Flost u regelmatig?’ ‘Ja, tandarts’. De praktijk wijst anders uit.

Dus: wat is eerlijkheid? Data is eerlijk. Met als voorwaarde dat er genoeg van is, en op regelmatige basis vanuit een un-biased situatie wordt aangevuld. Er wordt door ons allen met statusupdates, blogs, video’s en foto’s zoveel data gegenereerd dat de grens van het consumeerbare bereikt wordt. Is dat erg? Nee! Want met die data valt juist slimme dingen te doen. Stemmen voor het volgende kabinet? Ja of nee tegen associatieverdrag Oekraïne? Koningshuis of Farao der Nederlanden? De mening over jouw merk? Met goedwerkende sentimentanalyses valt het zo uit de contentberg te halen.

Soundcloud NPS

Wie kunnen de kar trekken als het gaat om Big Data in combinatie met trendvoorspelling en sentimentanalyse? Monitoringtools! Want die doen het immers al. Hoeveel toolleveranciers waren er laatst aanwezig op een zeker event over Big Data? Eentje! Jammer. En ook weer niet, want het betekent ongekende mogelijkheden in het verschiet. Als het tij dan nu maar keert.

Sentimentanalyse: automatisch of handmatig?

Er zijn plusminus 25 noemenswaardige tools beschikbaar voor de Nederlandse markt. Da’s best veel. Een beperkt aantal daarvan doet sentimentanalyse. En grofweg valt die selectie weer te splitsen in automatische en handmatige sentimentanalyse. In het eerste geval stop je een query (zoekopdracht) in de tool en poept de tool met behulp van het ingebouwde algoritme meteen een resultaat uit.

In het tweede geval gaan er ‘menschen van vleesch en bloed’ met een sample van de resultaten aan de slag, om handmatig het sentiment te bepalen en dat te extrapoleren naar de rest van de selectie. En bij een tool als Buzzcapture doen Buzzcapture mensen dat, bij Media Injection en Clipit doe je dat als klant zelf. Wat opvalt is dat beide methodes weliswaar een query zelf verfijnen, maar niet het algoritme ‘opvoeden’. Wat als al die 30 tools nu eens de koppen bij elkaar zouden steken en een sentiment-Watson zouden bouwen? Hold that thought.

Welke tools moet je wel en welke vooral niet hebben als je aan de slag gaat met online sentiment?

Oké, noem mij een pionier. Zie jij echter als marketeer kansen op het gebied van Big Data en sentiment, dan ben je dat ook al gauw. In dat geval is het wel handig als je weet welke partijen geneigd zijn tot op z’n minst communicatie, laat staan bereidheid tot doorontwikkelen, openstaan voor ideeën en misschien zelfs samenwerking om dingen beter te maken.

In deel 1 van deze serie heb ik verschillende tools getest op adequaatheid waarmee ze sentiment meten. Mijn vraag aan 25 tools (Hootsuite trouwens helemaal vergeten, stom!) of ze mee wilden werken aan de test en het tijdrovende proces dat hierop volgde, maakt mij onbedoeld ervaringsdeskundige. Nu ik dat eenmaal ben: zonde om het niet met jullie te delen. Grofweg vallen mijn ervaringen in de communicatie met de tools in te delen in de volgende categorieën. Om de feel good toon van dit artikel te handhaven, eindig ik met de meest positieve en begin met de rampzaligste.

Categorie 1: Geen antwoord
  • Scenario: Herhaaldelijke uitnodiging tot meedoen met de test, maar geen antwoord van de toolleveranciers. Veel van dit soort partijen verschuilen zich achter webformulieren en beantwoorden geen vragen op social. Waarschijnlijk ben ik een te onbeduidende partij voor ze, hoewel Radian6 ook niet reageerde toen ik een paar jaar geleden vanuit mijn baan bij Publicis al offerte-opvragend op zoek was naar een tool.
  • Welke tools: Radian6, Brandwatch, Microsoft Dynamics, Syndicia, Sumall, Engagor
  • Conclusie: Links laten liggen als je spannende, vernieuwende dingen van plan bent. Dit zijn toch weer de grote organisaties met bureaucratische structuren die niet in de markt zijn voor enthousiast pionieren en experimenteren.
Categorie 2: In eerste instantie antwoord, maar daarna niet meer
  • Scenario: Wederom ik die tot 1 tot 3 keer toe mijn vraag herhaal aan een tool. In eerste instantie geen reactie, maar dan een voorzichtige reply om meer info. Die geef ik dan uitgebreid, waarop dan weer radiostilte volgt. Waar het nu precies misloopt is onduidelijk.
  • Welke tool: Tracebuzz, Qteco
  • Conclusie: Ergens gaat er iets mis in het communicatieve proces. Wellicht (hopelijk) is het meer slordigheid dan onwil.
Categorie 3: Te druk
  • Scenario: “We hebben het helaas te druk om hieraan mee te werken”. Aldus de tools. Wat wel frappant is, dat er wel redelijk lijvige e-mailconversaties vooraf gaan aan dit antwoord. Je kunt jezelf dus de vraag stellen of tijdgebrek de echte reden is, of dat er toch sprake is van enige plankenkoorts.
  • Welke tools: Teezir, Coosto, HowardsHome
  • Conclusie: Dit zijn echt geen slechte tools, maar ze zitten niet te wachten op kritische vragen. Ze bezitten vermoedelijk een flink stuk van de markt, waardoor ze zich defensief en behoudend opstellen en moeite hebben om zich open te stellen om gechallenged te worden. En dit zijn natuurlijk geen succesfactoren voor verdere ontwikkeling.
Categorie 4: Doen geen sentiment.
  • Scenario: Simpel, deze tools hebben geen sentimentanalyse.
  • Welke tools: ANP360, Apostle, Bynder
  • Conclusie: Maak een keuze voor een andere tool als je aan de slag wilt met sentimentanalyse.
Categorie 5: Meten wel sentiment maar is geen main feature of slechts op specifiek gebied
  • Scenario: Komfo reageerde erg enthousiast maar doet alleen sentimentanalyse voor communities. Fair enough! Media Injection meet ook sentiment maar wilde niet meedoen omdat “sentimentanalyse maar een heel klein onderdeel van de tool beslaat” (aldus Media Injection). Mijns inziens vergelijkbaar met, bijvoorbeeld, Opel die niet aan een navigatiesystemen-test wil meedoen onder het mom van ‘het navigatiesysteem beslaat maar een klein gedeelte van de auto’. De vraag is waarom ‘ie er dan uberhaupt inzit. Wellicht is een goede koppeling met een specifiek op dit segment gerichte tool of systeem dan een beter idee.
  • Welke tools: Media Injection, Komfo
  • Conclusie: Sentimentanalyse is wel beschikbaar maar is geen main feature (Media Injection) of alleen in specifieke situaties gemeten (Komfo).
Categorie 6: Sentiment-stuk under construction
  • Scenario: “Jammer dat je het gaat testen, we zijn net de boel aan het verbouwen!” Van Falcon geloofde ik het (want die reageerden meteen met bovenstaande reactie) van OBI4wan niet helemaal (want hoorden me eerst uitgebreid uit en gaven toen pas bovenstaande reactie).
  • Welke tools: Falcon, OBI4wan
  • Conclusie: OBI4wan staat bij mij te boek als een stel pioniers die graag willen sleutelen en meedenken. Ik hoop niet dat dat in de afgelopen jaren veranderd is. Met Falcon heb ik laatst in Kopenhagen uitgebreid kennisgemaakt, ze zijn hele spannende dingen aan het bouwen waar ik snel uitgebreid op terug zal komen.
Categorie 7: Doen mee
  • Scenario: Tools die meedoen met de test en waarmee ik een leuk contact heb gehad.
  • Welke tools: Clipit, iMonitoring, Buzzcapture
  • Conclusie: Prima hoor! Deze tools willen en kunnen wel wat. Communiceren prettig, komen afspraken na, bellen nog eens op bij onduidelijkheden, werken oplossingsgericht, doen hard hun best om je zo goed mogelijk te helpen met de tool en de uitvoer van de test. En doen dus sentimentanalyse (iMonitoring niet op basis van historische data, daarom konden ze helaas niet mee in mijn test).

Dashboard ClipitHet Clipit dashboard: overzichtelijk, eye candy, informatief en gebruiksvriendelijk

Categorie 8: Doen mee, denken mee en bouwen mee
  • Scenario: Er waren twee dingen waar ik ontzettend van onder de indruk was:  de sublimiteit van de tool SentiOne en de inzet van Meltwater. Niet dat Meltwater niet subliem is, en niet dat SentiOne geen inzet heeft, maar van beiden verwacht je wat anders. Van challenger SentiOne verwacht je een tool die nog in de steigers staat, van Meltwater verwacht je dat ze zich te groot voelen (55 kantoren in 17 landen) om mee te werken aan mijn test. Niets bleek minder waar, in beide gevallen. Met beiden was het prima schakelen en urenlang oreren over alle ins en outs van sentimentanalyse, ontwikkelingen in de markt, bouwen aan de query, oplossen van problemen, etc.
  • Welke tools: Meltwater, SentiOne
  • Conclusie: Twee partijen die volop in ontwikkeling zijn, enthousiast worden van uitdagingen en gretig hun tanden zetten in moeilijke projecten. Is het verbeteren van sentimentanalyse voor jou van belang? Ziehier jouw partners in crime!

Dashboard SentiOneDe prachtige interface van SentiOne

Dus. Wat zijn we nu eigenlijk wijzer?

Nou, in ieder geval dat er nog enorme kansen liggen op het gebied van Big Data in combinatie met social media in het algemeen en met name sentiment. En een flink aantal tools is welwillend om hieraan te gaan sleutelen. Ik zie de toekomst daarom positief in, simpelweg omdat er nog zoveel mogelijkheden zijn. Marketing automation en social Big Data gaan ons zulke mooie dingen brengen: de juiste boodschap bij de juiste persoon op het juiste moment en de juiste plek. Big Data is er, laten we het slim gaan gebruiken om dingen beter te maken!

Deel dit bericht

5 Reacties

Mike

Hi Manoah,

Dank voor je uitgebreide analyse en het delen van je ervaringen met alle partijen. Je richt je voornamelijk op sentiment binnen Social Media, wat begrijpelijk is gezien de trends die hierin zijn ontstaan.

Ik vroeg me af in hoeverre je tijdens je analyse partijen hebt ontdekt, die (ook) bezig zijn met sentiment analyse binnen reviews (shopreviews en/of productreviews)?

Grt,
Mike

Manoah

Hi Mike,

dank voor je reactie. Nee niet ontdekt, maar wel heel benieuwd ernaar! Even redenerend vanuit m’n boereverstand: een review gaat meestal gepaard met een aantal sterren toch? Dat drukt dan meteen het sentiment uit.

Grt!
Manoah

Mike

Jazeker, de sterren (of het cijfer) geeft aan wat het (eind)oordeel is van de gebruiker over een site/shop/product. Helaas heb je te maken met de zogenaamde J-shaped ontwikkeling bij sterren of een cijfer. Oftewel, men is erg negatief (1 ster) of juist erg positief (4/5 sterren).

Ik doel meer op het onttrekken van het sentiment uit de geschreven ervaringen, om deze vervolgens als kwalitatieve data in te zetten voor optimalisatie van de site/shop/het product of de dienst.

Voornamelijk wanneer je te maken hebt met duizenden reviews per dag/week, dan is dit handmatig niet meer bij te houden.

Dank voor je reactie!

Grt,
Mike

Pieter Vlamings

Vernakelijk en inhoudelijk interessant artikel, bedankt!

Manoah

@Mike Aha dank voor de insight. Lijkt me een zeer nuttige ontwikkeling, ik hoop dat je de teneur uit mn artikel hebt weten te vatten dat we op moeten schieten met zn allen om goeie dingen te doen met al die data. Hierover later meer, volg me op Twitter oid want er komen nog een hoop andere artikelen aan over slim en menselijk big data inzetten!

@Pieter Dank. Gaarne!

Plaats een reactie

Uw e-mailadres wordt niet op de site getoond