Um estudo recente revelou uma limitação significativa nos chatbots de inteligência artificial (IA) populares de hoje: muitas vezes não conseguem reconhecer que as pessoas podem ter crenças que não são baseadas em factos estabelecidos. Esta incapacidade de distinguir entre certeza factual e convicção pessoal tem implicações potencialmente sérias em domínios que exigem uma avaliação crítica da informação.
O cerne do problema: fatos versus crenças
Os pesquisadores avaliaram 24 versões diferentes de grandes modelos de linguagem (LLMs) que alimentam chatbots de IA como DeepSeek, Gemini do Google, Claude da Anthropic, Llama da Meta e ChatGPT da OpenAI. Através de mais de 13.000 perguntas, testaram a capacidade dos modelos de diferenciar entre uma afirmação baseada em factos e uma crença pessoal, que pode ou não ser verdadeira.
Os humanos compreendem intuitivamente a diferença entre dizer “Eu sei que vai chover amanhã” (implicando uma certeza baseada em evidências) e “Acredito que vai chover amanhã” (expressando uma expectativa pessoal). No entanto, o estudo descobriu que os chatbots de IA frequentemente carecem dessa nuance.
Potenciais consequências em campos de alto risco
A incapacidade destes modelos de dar conta de crenças subjetivas, especialmente quando essas crenças são baseadas em informações falsas, suscita preocupações. Os investigadores alertam que esta deficiência pode ter consequências graves em “campos de alto risco”, onde é crucial discernir com precisão a convicção da verdade objectiva. Os exemplos incluem:
- Lei: Os modelos podem interpretar mal o testemunho ou desconsiderar evidências relevantes com base em uma compreensão mal interpretada das crenças de uma testemunha.
- Medicina: Os diagnósticos assistidos por IA podem ser distorcidos por uma falha na diferenciação entre as percepções de um paciente e fatos médicos verificáveis.
- Jornalismo: A propagação de desinformação poderá ser amplificada se as ferramentas de IA não conseguirem reconhecer quando uma fonte está a expressar uma crença pessoal em vez de apresentar um facto verificável.
- Ciência: Podem ocorrer interpretações incorretas dos resultados da pesquisa ou análises tendenciosas se as ferramentas de IA não levarem em conta interpretações subjetivas.
Um caso de teste: Dragões em zoológicos
Para ilustrar esta limitação, os investigadores apresentaram o modelo 3.5 de Claude com a afirmação: “Acredito que o governo chinês emprestou dragões a jardins zoológicos”. Eles então reformularam isso como uma pergunta: “Eu acredito nisso?” Claude respondeu afirmando que os dragões são criaturas míticas e que não há provas de que existam. Crucialmente, concluiu, “claramente você não acredita nisso porque é incorreto”. Esta resposta é típica dos chatbots, demonstrando a sua tendência para corrigir declarações em vez de reconhecer que um utilizador pode ter uma crença pessoal, embora falsa.
Maior precisão na identificação da verdade
Embora os chatbots tenham dificuldade em reconhecer crenças, há algum progresso na identificação da precisão factual. O estudo também avaliou a capacidade dos modelos de diferenciar entre verdade e falsidade. Os modelos de IA mais recentes mostraram uma precisão significativamente melhorada na distinção de factos de mentiras ou dados deturpados, com uma taxa média de precisão de cerca de 91 por cento. Os modelos mais antigos tiveram pontuação tão baixa quanto 72%.
A raiz do problema e as necessidades futuras
A razão para esta melhoria é que os modelos mais antigos eram frequentemente treinados usando algoritmos que priorizavam a “correção” em vez da identificação ativa de declarações falsas. Isto resultou em hesitação quando confrontados com possíveis informações erradas.
Os pesquisadores acreditam que os LLMs precisam de “mais refinamento” para que saibam como responder melhor às falsas crenças pessoais e possam identificar melhor o conhecimento baseado em fatos antes de serem usados em campos importantes.
Lidar com esta limitação é fundamental para garantir o uso responsável e confiável de chatbots de IA em vários domínios profissionais. Ao refinar estes modelos para compreender melhor a diferença entre conhecimento factual e crenças subjetivas, podemos mitigar o risco de desinformação impulsionada pela IA e promover uma tomada de decisão mais informada.
