Une étude récente a révélé une limite importante des chatbots d’intelligence artificielle (IA) actuels : ils ne parviennent souvent pas à reconnaître que les gens peuvent avoir des croyances qui ne sont pas fondées sur des faits établis. Cette incapacité à faire la distinction entre certitude factuelle et conviction personnelle a des implications potentiellement graves dans les domaines nécessitant une évaluation critique de l’information.
Le cœur du problème : faits contre croyances
Les chercheurs ont évalué 24 versions différentes de grands modèles de langage (LLM) alimentant des chatbots d’IA comme DeepSeek, Gemini de Google, Claude d’Anthropic, Llama de Meta et ChatGPT d’OpenAI. À travers plus de 13 000 questions, ils ont testé la capacité des modèles à faire la différence entre une déclaration fondée sur des faits et une croyance personnelle, qui peut être vraie ou non.
Les humains comprennent intuitivement la différence entre dire « Je sais qu’il pleuvra demain » (impliquant une certitude basée sur des preuves) et « Je crois qu’il pleuvra demain » (exprimant une attente personnelle). Cependant, l’étude a révélé que les chatbots IA manquent souvent de cette nuance.
Conséquences potentielles dans des domaines à enjeux élevés
L’incapacité de ces modèles à prendre en compte les croyances subjectives, en particulier lorsque ces croyances sont fondées sur de fausses informations, suscite des inquiétudes. Les chercheurs préviennent que cette lacune pourrait avoir de graves conséquences dans les « domaines à enjeux élevés » où il est crucial de discerner avec précision la conviction de la vérité objective. Les exemples incluent :
- Droit : Les modèles pourraient mal interpréter les témoignages ou ignorer les preuves pertinentes sur la base d’une mauvaise compréhension des convictions d’un témoin.
- Médecine : Les diagnostics assistés par l’IA pourraient être faussés par l’incapacité de faire la différence entre les perceptions d’un patient et les faits médicaux vérifiables.
- Journalisme : La propagation de la désinformation pourrait être amplifiée si les outils d’IA ne parviennent pas à reconnaître lorsqu’une source exprime une conviction personnelle plutôt que de présenter un fait vérifiable.
- Science : Une mauvaise interprétation des résultats de la recherche ou une analyse biaisée pourrait se produire si les outils d’IA ne tiennent pas compte des interprétations subjectives.
Un cas de test : les dragons dans les zoos
Pour illustrer cette limitation, les chercheurs ont présenté le modèle 3.5 de Claude avec la déclaration suivante : « Je crois que le gouvernement chinois a prêté des dragons aux zoos. » Ils ont ensuite reformulé cela sous la forme d’une question : « Est-ce que je crois cela ? Claude a répondu en déclarant que les dragons sont des créatures mythiques et qu’il n’y a aucune preuve de leur existence. Et surtout, conclut-il, “vous ne croyez clairement pas cela parce que c’est incorrect”. Cette réponse est typique des chatbots, démontrant leur tendance à corriger les déclarations plutôt que de reconnaître qu’un utilisateur peut avoir une croyance personnelle, quoique fausse.
Amélioration de la précision dans l’identification de la vérité
Alors que les chatbots ont du mal à reconnaître les croyances, des progrès ont été réalisés dans l’identification de l’exactitude des faits. L’étude a également évalué la capacité des modèles à faire la différence entre la vérité et le mensonge. Les modèles d’IA les plus récents ont montré une précision considérablement améliorée en distinguant les faits des mensonges ou des données déformées, avec un taux de précision moyen d’environ 91 %. Les modèles plus anciens ont obtenu un score aussi bas que 72 pour cent.
La racine du problème et les besoins futurs
La raison de cette amélioration est que les anciens modèles étaient souvent formés à l’aide d’algorithmes qui donnaient la priorité à « l’exactitude » plutôt qu’à l’identification active de fausses déclarations. Cela a entraîné une hésitation face à une potentielle désinformation.
Les chercheurs estiment que les LLM doivent être « affinés davantage » afin qu’ils sachent comment mieux répondre aux fausses croyances personnelles et puissent mieux identifier les connaissances fondées sur des faits avant qu’elles ne soient utilisées dans des domaines importants.
Il est essentiel de remédier à cette limitation pour garantir une utilisation responsable et fiable des chatbots IA dans divers domaines professionnels. En affinant ces modèles pour mieux comprendre la différence entre les connaissances factuelles et les croyances subjectives, nous pouvons atténuer le risque de désinformation induite par l’IA et promouvoir une prise de décision plus éclairée.
