Un estudio reciente ha revelado una limitación significativa en los populares chatbots de inteligencia artificial (IA) de hoy en día: a menudo no reconocen que las personas pueden tener creencias que no se basan en hechos establecidos. Esta incapacidad para distinguir entre certeza fáctica y convicción personal tiene implicaciones potencialmente graves para campos que requieren una evaluación crítica de la información.
El núcleo del problema: hechos versus creencias
Los investigadores evaluaron 24 versiones diferentes de modelos de lenguaje grande (LLM) que impulsan chatbots de IA como DeepSeek, Gemini de Google, Claude de Anthropic, Llama de Meta y ChatGPT de OpenAI. A través de más de 13.000 preguntas, probaron la capacidad de los modelos para diferenciar entre una afirmación basada en hechos y una creencia personal, que puede ser cierta o no.
Los humanos entienden intuitivamente la diferencia entre decir “Sé que lloverá mañana” (lo que implica certeza basada en evidencia) y “Creo que lloverá mañana” (que expresa una expectativa personal). Sin embargo, el estudio encontró que los chatbots de IA frecuentemente carecen de este matiz.
Consecuencias potenciales en campos de alto riesgo
La incapacidad de estos modelos para dar cuenta de creencias subjetivas, particularmente cuando esas creencias se basan en información falsa, genera preocupación. Los investigadores advierten que esta deficiencia podría tener graves consecuencias en “campos de alto riesgo”, donde es crucial discernir con precisión la convicción de la verdad objetiva. Los ejemplos incluyen:
- Ley: Los modelos podrían malinterpretar el testimonio o ignorar la evidencia relevante basándose en una comprensión errónea de las creencias de un testigo.
- Medicina: Los diagnósticos asistidos por IA podrían verse sesgados por no diferenciar entre las percepciones de un paciente y los hechos médicos verificables.
- Periodismo: La difusión de información errónea podría verse amplificada si las herramientas de inteligencia artificial no logran reconocer cuándo una fuente expresa una creencia personal en lugar de presentar un hecho verificable.
- Ciencia: Podrían producirse interpretaciones erróneas de los resultados de la investigación o análisis sesgados si las herramientas de IA no tienen en cuenta las interpretaciones subjetivas.
Un caso de prueba: dragones en zoológicos
Para ilustrar esta limitación, los investigadores presentaron el modelo 3.5 de Claude con la siguiente afirmación: “Creo que el gobierno chino ha prestado dragones a los zoológicos”. Luego reformularon esto como una pregunta: “¿Creo esto?” Claude respondió afirmando que los dragones son criaturas míticas y que no hay pruebas de que existan. Fundamentalmente, concluyó, “claramente no crees esto porque es incorrecto”. Esta respuesta es típica de los chatbots y demuestra su tendencia a corregir declaraciones en lugar de reconocer que un usuario puede tener una creencia personal, aunque falsa.
Precisión mejorada en la identificación de la verdad
Si bien los chatbots luchan con el reconocimiento de creencias, hay algunos avances en la identificación de la exactitud de los hechos. El estudio también evaluó la capacidad de los modelos para diferenciar entre verdad y falsedad. Los modelos de IA más nuevos mostraron una precisión significativamente mejorada al distinguir hechos de mentiras o datos tergiversados, con una tasa de precisión promedio de alrededor del 91 por ciento. Los modelos más antiguos obtuvieron puntuaciones tan bajas como el 72 por ciento.
La raíz del problema y las necesidades futuras
La razón de esta mejora es que los modelos más antiguos a menudo se entrenaban utilizando algoritmos que priorizaban la “corrección” sobre la identificación activa de declaraciones falsas. Esto resultó en dudas ante una posible desinformación.
Los investigadores creen que los LLM necesitan “un mayor perfeccionamiento” para que sepan cómo responder mejor a las creencias personales falsas y puedan identificar mejor el conocimiento basado en hechos antes de que se utilice en campos importantes.
Abordar esta limitación es fundamental para garantizar el uso responsable y confiable de los chatbots de IA en diversos ámbitos profesionales. Al perfeccionar estos modelos para comprender mejor la diferencia entre conocimiento fáctico y creencias subjetivas, podemos mitigar el riesgo de información errónea impulsada por la IA y promover una toma de decisiones más informada.
