Ongestructureerde data benutten: de ware disruptieve kracht achter AI

Hoewel AI door velen al wordt omarmd als productiviteitstool, beseffen slechts weinigen de ware disruptieve kracht van AI. Die kracht is het begrijpen en benutten van ongestructureerde data. De kansen voor deze toepassing liggen in elke industrie voor het oprapen, voor zowel grote als kleine bedrijven.

Een paar veelzeggende statistieken over ongestructureerde data:

• 80 tot 90 procent van de data binnen bedrijven bestaat uit ongestructureerde data.
• Slechts achttien procent van de bedrijven benut ongestructureerde data optimaal.
• De markt van ongestructureerde data groeit van 17,8 miljard dollar in 2023 naar 51,3 miljard dollar in 2030.

Kortom, de data, middelen en kansen zijn er, maar ze moeten nog wel benut worden.

Dit artikel legt uit wat de disruptieve kracht van ongestructureerde data is, hoe deze data via AI en vectordatabases worden benut en geeft enkele praktische voorbeelden. Maar voordat we ingaan op de waarde van het onbenutte potentieel, staan we kort stil bij de definitie ervan.

Wat zijn ongestructureerde data?

Ongestructureerde data herken je aan het feit dat ze niet eenvoudig in een gestructureerde (SQL) tabel geplaatst kunnen worden. Denk aan afbeeldingen, video’s, audiofragmenten, tekstbestanden, e-mails, recensies van klanten, of socialemediaberichten. Deze data hebben geen vaste structuur en verschillen veel van elkaar. De ongestructureerde aard en de enorm toenemende hoeveelheid van zulke data maakt het voor bedrijven lastig om ze op te slaan en te verwerken.

De explosieve groei van ongestructureerde data komt mede door de stijging in socialemediaberichten. Daarnaast neemt het aantal datagedreven applicaties, clouddiensten en apparaten snel toe. Denk aan een Tesla die acht camera’s benut voor de autopilot, een Ring deurbel die videobeelden opslaat, een Roomba robotstofzuiger die zijn weg vindt door je huis of een Apple Watch die je slaappatroon analyseert. Dit zijn allemaal toepassingen die bergen aan ongestructureerde data produceren.

Kunstmatige intelligentie als alternatief

De afgelopen dertig jaar waren we grotendeels afhankelijk van mensen om ongestructureerde data te benutten. Door het ontbreken van alternatieve dataverwerkers, lag de focus snel op een betere toegankelijkheid van deze data voor de menselijke gebruiker. De komst van internet, mobiele telefoons, zoekmachines en cloud computing hebben informatie toegankelijker gemaakt dan ooit. Maar nu ongestructureerde data elk jaar ongeremd blijft groeien en er behoefte is aan realtime oplossingen, is de markt klaar voor een beter alternatief: kunstmatige intelligentie

Kunstmatige intelligentie en de bijbehorende taalmodellen hebben een nieuw tijdperk ingeluid voor de analyse en het begrip van ongestructureerde data. AI kan de essentie van bestanden, video’s en afbeeldingen begrijpen en de inzichten toepassen via verschillende functies.

Waarom werkt AI zo goed met ongestructureerde data?

• Sneller informatie ophalen – Omdat AI documenten vooraf analyseert, begrijpt en opslaat (meer hierover in het stuk over vectordatabases), kan het veel sneller de juiste documenten ophalen dan traditionele zoekmachines en databases.
• Nauwkeuriger – Dankzij AI hoeven we onze vragen niet meer om te zetten in cryptische zoekwoorden. AI begrijpt de context en intentie perfect, en doorzoekt meerdere documenten om exact antwoord te geven.
• Grotere schaal – Dankzij vectordatabases kan AI veel grotere hoeveelheden data aan dan via traditionele databases behapbaar zijn.
• Diverse toepassingen – AI kan op basis van ongestructureerde data nieuwe data genereren, in de vorm van tekst, spraak, audio, video of beeld.

AI zal mensen niet volledig vervangen, maar wel taken op grote schaal overnemen of vereenvoudigen. Denk aan een medewerker van Gamma die een lastige klusvraag van een klant wil beantwoorden. De medewerker wordt niet vervangen, maar kan dankzij AI de klant snel en relevant helpen.

De kracht van vectordatabases

Een van de sleuteltechnologieën die het effectieve gebruik van ongestructureerde data mogelijk maakt, is de vectordatabase. Dat zijn databases ontworpen om ongestructureerde data op te slaan en beschikbaar te maken.

Een vector is een cijferreeks die je kunt zien als een GPS-locatie. Met behulp van AI worden alle documenten omgezet in een vector en krijgen ze een plek in een vector database. Hoe meer overeenkomsten vectors/documenten hebben, hoe dichter ze bij elkaar staan. Zo staan koffiefilters in het Albert Heijn-assortiment dicht bij koffiebonen, maar verder van schoonmaakmiddel.

De vraag of opdracht die je met AI deelt, wordt ook omgezet in een vector en geplot in de database. Vervolgens raadpleegt AI slechts de omliggende vectors om zelf een antwoord te formuleren. Hierdoor hoeft AI slechts een fractie van de database te raadplegen en zijn de resultaten ultra relevant.

Kijk voor een visuele uitleg die nog dieper op deze techniek ingaat bijvoorbeeld deze video.

Wat kan AI met deze informatie?

Dit brengt ons bij de vraag: wat kan AI met deze enorme hoeveelheid ongestructureerde data? Een van de grootste strategische voordelen van AI ligt in ongestructureerde data. Het is namelijk praktisch onmogelijk om de volledige database van een concurrent na te bouwen. Deze eigenschap maakt ongestructureerde data een perfect vertrekpunt om concurrentievoordeel te creëren. In tegenstelling tot een AI-productiviteitstool is het veel moeilijker om deze toepassingen na te bouwen.

Wel is het vaak een creatieve uitdaging om een disruptieve AI-oplossing te bedenken die inspeelt op de marktvraag, ongestructureerde data volledig benut en ook nog in lijn ligt met de strategische waarde van een bedrijf. De volgende bedrijven en toepassingen laten zien dat het oplossen van deze puzzel de moeite meer dan waard is:

• Vivino – Een app zoals Vivino kan worden ontwikkeld met behulp van een vectordatabase. De app beschrijft zichzelf als een “centrale database van wijn” en helpt gebruikers bij het ontdekken, aanraden en herkennen van nieuwe wijn. Alternatieve toepassingen kunnen in vele andere industrieën gevonden worden.
• Anomaly Detection – Door de ‘normale’ en ‘afwijkende’ patronen op te slaan in een vectordatabase, kan AI afwijkingen herkennen. Deze techniek wordt bijvoorbeeld gebruikt voor medische diagnoses in ziekenhuizen of bij fraudedetectie bij banken.
• Zelfsturende auto’s – Data van sensoren op zelfsturende auto’s worden omgezet in vectoren, waardoor voertuigen razendsnel objecten zoals personen, verkeerslichten en obstakels herkennen.
• Productaanbevelingen – Door je e-commerce-assortiment om te zetten in vectoren, kan AI perfecte productaanbevelingen geven. AI kan zelfs op basis van foto’s outfits bij elkaar zoeken, of via de naam van je favoriete artiest of film aanbevelingen doen.
• (Website)zoekfunctie – Geen problemen meer met lage zoeknauwkeurigheid, niet-herkende synoniemen of verkeerd gespelde woorden. AI en vectordatabases bieden samen de meest geavanceerde zoekfunctie ooit.
• Spotify – Spotify maakt het mogelijk om gepersonaliseerde muzieklijsten te maken op basis van simpele prompts: “roadtrip naar Berlijn”, “fietsen op Mont Ventoux”, “studeren in de bibliotheek”.

Veelzijdigheid en toegankelijkheid

De diversiteit van de bovenstaande cases toont aan dat de inzet van AI in combinatie met vectordatabases extreem veelzijdig is. Deze veelzijdigheid komt deels door het AI-model, dat zich, net als onze hersenen, kan specialiseren in duizenden verschillende vakgebieden, talen en onderwerpen. Daarnaast zijn de handelingen die AI kan uitvoeren net zo veelzijdig. Of AI nu output moet omzetten in tekst, spraak, video, afbeeldingen, documenten, Spaans of Python, het kan het allemaal.

Het mooie van deze ontwikkelingen is dat het geen toekomstmuziek meer is. Waar de techniek achter AI ooit nog bijna sciencefiction was, is het nu toegankelijk voor elk bedrijf. AI-modellen van Llama, Google Gemini, OpenAI en Mistral bieden hun off-the-shelf kunstmatige intelligentie aan tegen betaalbare prijzen. Bovendien zijn cruciale technieken zoals vectordatabases toegankelijker dan ooit.

Momenteel liggen de meeste markten nog open voor hun nieuwe AI-marktleiders, maar dat zal de komende twee jaar snel veranderen. De oplettende LinkedIn-gebruiker ziet dat zowel grote bedrijven als kleine ondernemingen volop AI-engineers, managers en partners aannemen om hun slag te slaan. Hierbij wordt het vooral interessant om de bedrijven te volgen die inzetten op strategische AI-meerwaarde, en het niet alleen beschouwen als een handige efficiëntietool.

Nu de bal bij jou ligt is de vraag: wat lijkt jou een goed idee om onderscheidend vermogen te creëren met behulp van AI?

Over de auteur: Vincent Gill is Mede-oprichter & AI Strategy Director bij Jidouka.