AI faalt op juridische basiskennis, maar overtreft  verwachtingen bij complexe vraagstukken 

Juristen kunnen AI beter gebruiken voor verkennende analyses dan voor eenvoudige  juridische vragen. Dat blijkt uit een nieuw onderzoek van ICTRecht, waarin vier  toonaangevende AI-systemen zijn getest op 75 juridische vraagstukken.

Vooral de betaalde  versies van ChatGPT 4o Plus en Claude 3.5 Sonnet presteren goed bij complexe juridische  analyses, terwijl ze juist bij basisvragen verrassend vaak de plank misslaan.

AI als hulpmiddel, niet als vervanger 

AI wordt vaak gezien als een handig hulpmiddel voor simpele juridische vragen, maar uit het  onderzoek blijkt dat deze systemen daar juist moeite mee hebben. “Veel juristen denken dat  AI vooral goed is in feitelijke, rechttoe-rechtaan antwoorden,” zegt Arnoud Engelfriet, Chief  Knowlegde Officer bij ICTRecht. “In werkelijkheid maken de systemen bij basisvragen  opvallend veel subtiele fouten. Daarentegen blinken ze uit in het structureren en verkennen  van complexe juridische materie, zoals due diligence-checklists en contractanalyses.” Dat maakt AI waardevol als ondersteuning, maar niet als vervanger. “Het grote risico is dat AI  juridisch klinkende, maar incorrecte informatie presenteert,” vult Mark Zijlstra aan, Head of  Legal Tech. “Een nep-arrest valt nog op, maar een verzonnen lijst met juridische criteria is veel  lastiger te herkennen. Juristen moeten AI daarom niet gebruiken voor definitieve antwoorden,  maar om de juiste vragen te leren stellen en hun eigen analyses te verrijken.” 

Welke AI is geschikt voor juristen? 

De testresultaten laten duidelijke verschillen zien tussen de systemen. De betaalde versies  van ChatGPT 4o Plus en Claude 3.5 Sonnet presteren het best en geven bruikbare analyses bij  ingewikkelde rechtsvragen. Gratis versies en andere AI’s, zoals Copilot en Gemini, blijven  achter. Voor grote organisaties met gevoelige data is Microsofts enterprise-oplossing de  veiligste keuze, terwijl voor MKB-juristen de betaalde versies van ChatGPT, Claude of Gemini  een goed alternatief zijn. 

Ook compliance en gegevensbescherming speelden een rol in het onderzoek. “In de betaalde  versies van de AI-systemen zijn de contractuele waarborgen rond geheimhouding en privacy  redelijk goed geregeld,” aldus Guido Grevink, Business Development Manager. “Maar de  fundamentele zorgen over Amerikaanse regelgeving en dataveiligheid blijven bestaan.” 

Het volledige onderzoeksrapport van ICTRecht bevat concrete aanbevelingen voor juristen  die AI veilig en effectief willen inzetten. Download hier het volledige rapport. 

Noot voor de redactie 

Voor meer informatie en interviewverzoeken, kun je contact opnemen met:

Arnoud Engelfriet, Chief Knowlegde Officer /  Mark Zijlstra, Head of Legal Tech 

020-663 19 41 

communicatie@ictrecht.nl