Nederlandse zoekmachine vindt video’s met emoticons

Onderzoekers Spencer Cappallo, Thomas Mensink en Cees Snoek van de Universiteit van Amsterdam en Qualcomm Research Nederland hebben een zoekmachine ontwikkeld waarmee men met behulp van emoji’s Youtube-video’s kunt doorzoeken.

Als bezoeker op de site van Emoji2Video kun je kiezen uit 385 emoticons: kleine pictogrammen van voorwerpen, mensen, dieren en emoties, die tegenwoordig vast onderdeel zijn van telefoons, tablets of computers. Selecteer je bijvoorbeeld het pictogram van een danser en een piano, dan krijg je een scala aan video’s te zien waarin deze twee voorkomen. De zoekmachine gaat uit van een intuïtieve manier van zoeken, ongeacht welke taal je spreekt.

Om de emoticons te koppelen aan video’s hebben de onderzoekers gebruik gemaakt van deep learning-technieken. Elke vijftig frames werd er geanalyseerd wat er op dat specifieke moment in de video te zien was, en werd die informatie vertaald naar passende emoticons.

De zoekmachine is nog volop in ontwikkeling. Er zijn nu pas 45.000 video’s beschikbaar, en dat is een fractie van wat er aan video’s op YouTube staat. Het doel lijkt bereikt: De machine kan het zoeken naar video’s vergemakkelijken; op kleine apparaten, en voor gebruikers die (nog) niet goed kunnen lezen en schrijven.