Lipperhey wil de grootste linkdatabase ter wereld ontwikkelen. De gratis toegankelijke database heeft voorzichtig de deuren geopend en is vooralsnog in betaversie te bekijken. “Een zoekmachinebureau kan met onze database bijvoorbeeld een concurrentieanalyse uitvoeren”, aldus Marc Noët, Directeur Lipperhey.com.
Er werd twee jaar lang achter gesloten deuren aan het grootschalige project gewerkt. Samen met Target Holding en een team van duizend vrijwilligers heeft Lipperhey link.lipperhey.com neergezet. Het project moet de belangrijkste navigatie op het internet in kaart brengen: de links.
Niet alleen worden de links getoond, ook komt naar voren welke site naar welke andere site linkt en wat de reden en waarde van die link is. Daarmee moet het sentiment en de context van een link duidelijk worden.
De ambitieuze doelstelling is om binnen twaalf maanden 80 procent van alle links op het internet te indexeren en daarmee de grootste doorzoekbare database met linkinformatie te worden die gratis toegankelijk is.
Volgens Noët is dat mogelijk. “We hebben genoeg capaciteit opgebouwd om een rondje over het internet te maken. Daarnaast kan ‘de crowd’, iedereen die dat wil, een programmaatje downloaden, waarmee de eigen computer rekenkracht beschikbaar stelt aan dit project.”
Met het project worden de links op het internet in kaart gebracht en re relaties tussen links gelegd. Noët: “Dat kan negatief of positief zijn, we kijken naar de context er omheen. Met het algoritme kan een waardeoordeel worden gevormd. Dit is een uitgebreide vorm van de originele page rank zoals wij die kennen. Het hele sociale spectrum wordt ook meegenomen. En onze spider is zelfdenkend, die leert continu van de dingen die hij online tegenkomt.”
Volgens Noët moet op den duur zelf sarcasme herkend worden. “De spider leert door kunstmatige intelligentie. Soms zie je op een website staan dat iets ‘vet slecht’ is, waarmee ze bedoelen dat iets goed is. De spider leert en kijkt naar de context er omheen. Het sentiment wordt gemeten en er komt een waardeoordeel uit dankzij verbanden die gelegd worden.”
Het grootste probleem, zo geeft Noët toe, was de opslag. “Je praat over enorme bakken aan data. Uiteindelijk hebben we daar een oplossing voor gevonden in Groningen.” Het project heeft onderdak gevonden bij het kenniscluster Target waar recent een zeer snelle testbed is opgebouwd in het rekencentrum van de Rijksuniversiteit Groningen met een opslagcapaciteit van maar liefst 12 Petabyte.
De data van het project kan als basis dienen voor marktonderzoek plus algemene en specifieke zoekmachines. De data is gratis beschikbaar voor iedereen, zo belooft Noët. Mensen die voor een online project een waardeoordeel nodig hebben van bijvoorbeeld verschillende hotels, mensen die een concurrentieanalyse willen uitvoeren en meer. Over anderhalve maand komt er bovendien een API. Voor hele specialistische opdrachten vraagt Noët wel geld. “De spider haalt veel data binnen. Als bedrijven willen dat wij iets specifieks in kaart brengen, over bijvoorbeeld een merk, dan kunnen wij dat doen.”
Met wat er nu al in kaart is gebracht vindt Noët het opvallend te zien dat het internet eigenlijk vooral een lokale aangelegenheid lijkt te zijn. “De eerste resultaten laten nu al mooie onderzoeksdata zien. Nederlandse websites linken vooral naar andere Nederlandse websites. Ongeveer 10 procent van alle links op Nederlandse websites gaat naar een Belgische website. Duitse websites spelen geen rol van betekenis op Nederlandse websites met een linkaandeel van 0,47 procent. Dat is opmerkelijk want Duitsland is toch de tweede e-commercemarkt van Europa.”
Hmmm, de link in het artikel is onjuist. Dat moet zijn http://links.lipperhey.com/