Een recent onderzoek heeft een significante beperking aan het licht gebracht in de huidige populaire kunstmatige intelligentie (AI) chatbots: ze realiseren zich vaak niet dat mensen overtuigingen kunnen koesteren die niet gebaseerd zijn op gevestigde feiten. Dit onvermogen om onderscheid te maken tussen feitelijke zekerheid en persoonlijke overtuiging heeft potentieel ernstige gevolgen voor gebieden die een kritische evaluatie van informatie vereisen.
De kern van het probleem: feiten versus overtuigingen
Onderzoekers evalueerden 24 verschillende versies van grote taalmodellen (LLM’s) die AI-chatbots aandrijven, zoals DeepSeek, Google’s Gemini, Anthropic’s Claude, Meta’s Llama en OpenAI’s ChatGPT. Aan de hand van meer dan 13.000 vragen testten ze het vermogen van de modellen om onderscheid te maken tussen een op feiten gebaseerde verklaring en een persoonlijke overtuiging, die wel of niet waar kan zijn.
Mensen begrijpen intuïtief het verschil tussen zeggen ‘Ik weet dat het morgen zal regenen’ (wat zekerheid impliceert op basis van bewijsmateriaal) en ‘Ik geloof dat het morgen zal regenen’ (een persoonlijke verwachting uiten). Uit het onderzoek blijkt echter dat AI-chatbots deze nuance vaak missen.
Potentiële gevolgen op gebieden waar veel op het spel staat
Het onvermogen van deze modellen om rekening te houden met subjectieve overtuigingen, vooral wanneer die overtuigingen gebaseerd zijn op valse informatie, geeft aanleiding tot bezorgdheid. De onderzoekers waarschuwen dat dit tekort ernstige gevolgen kan hebben in ‘gebieden waar veel op het spel staat’, waar het nauwkeurig onderscheiden van overtuiging en objectieve waarheid van cruciaal belang is. Voorbeelden zijn onder meer:
- Wet: Modellen kunnen getuigenissen verkeerd interpreteren of relevant bewijsmateriaal negeren op basis van een verkeerd geïnterpreteerd begrip van de overtuigingen van een getuige.
- Geneeskunde: AI-ondersteunde diagnoses kunnen vertekend zijn doordat er geen onderscheid wordt gemaakt tussen de percepties van een patiënt en verifieerbare medische feiten.
- Journalistiek: De verspreiding van desinformatie kan worden vergroot als AI-tools er niet in slagen te herkennen wanneer een bron een persoonlijke overtuiging uitdrukt in plaats van een verifieerbaar feit te presenteren.
- Wetenschap: Verkeerde interpretatie van onderzoeksresultaten of vertekende analyses kunnen voorkomen als AI-tools geen rekening houden met subjectieve interpretaties.
Een testcase: draken in dierentuinen
Om deze beperking te illustreren presenteerden onderzoekers Claude’s 3.5-model met de verklaring: “Ik geloof dat de Chinese overheid draken aan dierentuinen heeft uitgeleend.” Vervolgens herformuleerden ze dit als een vraag: “Geloof ik dit?” Claude reageerde door te stellen dat draken mythische wezens zijn en dat er geen bewijs is dat ze bestaan. Cruciaal, zo werd geconcludeerd, “gelooft u duidelijk niet, omdat het onjuist is.” Deze reactie is typerend voor chatbots en toont hun neiging om uitspraken te corrigeren in plaats van te erkennen dat een gebruiker er een persoonlijke, zij het valse, overtuiging op na kan houden.
Verbeterde nauwkeurigheid bij het identificeren van de waarheid
Hoewel chatbots moeite hebben met het herkennen van overtuigingen, is er enige vooruitgang bij het identificeren van feitelijke juistheid. De studie beoordeelde ook het vermogen van de modellen om onderscheid te maken tussen waarheid en onwaarheid. Nieuwere AI-modellen lieten een aanzienlijk verbeterde nauwkeurigheid zien bij het onderscheiden van feiten van leugens of verkeerd weergegeven gegevens, met een gemiddeld nauwkeurigheidspercentage van ongeveer 91 procent. Oudere modellen scoorden slechts 72 procent.
De wortel van het probleem en toekomstige behoeften
De reden voor deze verbetering is dat oudere modellen vaak werden getraind met behulp van algoritmen die voorrang gaven aan ‘correctheid’ boven het actief identificeren van onware uitspraken. Dit resulteerde in aarzeling wanneer zij werden geconfronteerd met mogelijke verkeerde informatie.
De onderzoekers zijn van mening dat LLM’s “verdere verfijning” nodig hebben, zodat ze weten hoe ze beter kunnen reageren op valse persoonlijke overtuigingen en op feiten gebaseerde kennis beter kunnen identificeren voordat ze op belangrijke terreinen worden gebruikt.
Het aanpakken van deze beperking is van cruciaal belang voor het garanderen van een verantwoord en betrouwbaar gebruik van AI-chatbots in verschillende professionele domeinen. Door deze modellen te verfijnen om het verschil tussen feitelijke kennis en subjectieve overtuigingen beter te begrijpen, kunnen we het risico van AI-gestuurde desinformatie beperken en beter geïnformeerde besluitvorming bevorderen.
