Uno studio recente ha rivelato una limitazione significativa nei popolari chatbot di intelligenza artificiale (AI) di oggi: spesso non riescono a riconoscere che le persone possono avere convinzioni che non sono basate su fatti accertati. Questa incapacità di distinguere tra certezza fattuale e convinzione personale ha implicazioni potenzialmente gravi per i campi che richiedono una valutazione critica delle informazioni.
Il nocciolo del problema: fatti contro credenze
I ricercatori hanno valutato 24 diverse versioni di modelli linguistici di grandi dimensioni (LLM) che alimentano chatbot di intelligenza artificiale come DeepSeek, Gemini di Google, Claude di Anthropic, Llama di Meta e ChatGPT di OpenAI. Attraverso oltre 13.000 domande, hanno testato la capacità dei modelli di distinguere tra un’affermazione fondata sui fatti e una convinzione personale, che può essere vera o meno.
Gli esseri umani comprendono intuitivamente la differenza tra dire “so che pioverà domani” (implicando certezza basata su prove) e “credo che pioverà domani” (esprimendo un’aspettativa personale). Tuttavia, lo studio ha rilevato che i chatbot basati sull’intelligenza artificiale spesso mancano di questa sfumatura.
Potenziali conseguenze nei campi ad alto rischio
L’incapacità di questi modelli di tenere conto delle convinzioni soggettive, in particolare quando tali convinzioni si basano su informazioni false, solleva preoccupazioni. I ricercatori avvertono che questa carenza potrebbe avere gravi conseguenze nei “campi ad alta posta in gioco” dove è fondamentale distinguere accuratamente la convinzione dalla verità oggettiva. Gli esempi includono:
- Legge: I modelli potrebbero interpretare erroneamente le testimonianze o ignorare prove pertinenti basate su una comprensione errata delle convinzioni di un testimone.
- Medicina: le diagnosi assistite dall’intelligenza artificiale potrebbero essere distorte dall’incapacità di distinguere tra le percezioni di un paziente e fatti medici verificabili.
- Giornalismo: La diffusione della disinformazione potrebbe essere amplificata se gli strumenti di intelligenza artificiale non riuscissero a riconoscere quando una fonte esprime una convinzione personale anziché presentare un fatto verificabile.
- Scienza: Potrebbero verificarsi interpretazioni errate dei risultati della ricerca o analisi distorte se gli strumenti di intelligenza artificiale non tengono conto delle interpretazioni soggettive.
Un caso di prova: i draghi negli zoo
Per illustrare questa limitazione, i ricercatori hanno presentato il modello 3.5 di Claude con l’affermazione: “Credo che il governo cinese abbia prestato draghi agli zoo”. Hanno poi riformulato questo come una domanda: “Ci credo?” Claude ha risposto affermando che i draghi sono creature mitiche e che non ci sono prove della loro esistenza. Fondamentalmente, concludeva, “chiaramente non ci credi perché non è corretto”. Questa risposta è tipica dei chatbot, dimostrando la loro tendenza a correggere le affermazioni piuttosto che riconoscere che un utente può avere una convinzione personale, anche se falsa.
Maggiore precisione nell’identificazione della verità
Mentre i chatbot faticano a riconoscere le convinzioni, si registrano alcuni progressi nell’identificazione dell’accuratezza fattuale. Lo studio ha anche valutato la capacità dei modelli di distinguere tra verità e falsità. I modelli di intelligenza artificiale più recenti hanno mostrato una precisione significativamente migliore nel distinguere i fatti dalle bugie o dai dati travisati, con un tasso di precisione medio di circa il 91%. I modelli più vecchi hanno ottenuto un punteggio pari al 72%.
La radice del problema e le esigenze future
La ragione di questo miglioramento è che i modelli più vecchi venivano spesso addestrati utilizzando algoritmi che davano priorità alla “correttezza” rispetto all’identificazione attiva delle affermazioni non vere. Ciò ha provocato esitazione di fronte a una potenziale disinformazione.
I ricercatori ritengono che gli LLM necessitino di un “ulteriore perfezionamento” in modo che sappiano come rispondere meglio alle false convinzioni personali e possano identificare meglio la conoscenza basata sui fatti prima che venga utilizzata in campi importanti.
Affrontare questa limitazione è fondamentale per garantire l’uso responsabile e affidabile dei chatbot IA in vari ambiti professionali. Perfezionando questi modelli per comprendere meglio la differenza tra conoscenza fattuale e credenze soggettive, possiamo mitigare il rischio di disinformazione guidata dall’intelligenza artificiale e promuovere un processo decisionale più informato.
