Eine aktuelle Studie hat eine erhebliche Einschränkung der heute beliebten Chatbots mit künstlicher Intelligenz (KI) aufgedeckt: Sie erkennen oft nicht, dass Menschen Überzeugungen vertreten können, die nicht auf etablierten Fakten basieren. Diese Unfähigkeit, zwischen sachlicher Gewissheit und persönlicher Überzeugung zu unterscheiden, hat möglicherweise schwerwiegende Auswirkungen auf Bereiche, die eine kritische Bewertung von Informationen erfordern.
Der Kern des Problems: Fakten vs. Überzeugungen
Forscher bewerteten 24 verschiedene Versionen großer Sprachmodelle (LLMs), die KI-Chatbots wie DeepSeek, Gemini von Google, Claude von Anthropic, Llama von Meta und ChatGPT von OpenAI unterstützen. Anhand von über 13.000 Fragen testeten sie die Fähigkeit der Modelle, zwischen einer auf Fakten beruhenden Aussage und einer persönlichen Überzeugung zu unterscheiden, die wahr sein kann oder auch nicht.
Der Mensch versteht intuitiv den Unterschied zwischen der Aussage „Ich weiß, dass es morgen regnen wird“ (womit auf Beweisen basierende Gewissheit impliziert wird) und der Aussage „Ich glaube, dass es morgen regnen wird“ (womit eine persönliche Erwartung ausgedrückt wird). Die Studie ergab jedoch, dass KI-Chatbots diese Nuance häufig vermissen lässt.
Mögliche Konsequenzen in Bereichen mit hohem Risiko
Die Unfähigkeit dieser Modelle, subjektive Überzeugungen zu berücksichtigen, insbesondere wenn diese Überzeugungen auf falschen Informationen basieren, gibt Anlass zur Sorge. Die Forscher warnen davor, dass dieser Mangel schwerwiegende Folgen in „High-Stakes-Bereichen“ haben könnte, in denen die genaue Unterscheidung zwischen Überzeugung und objektiver Wahrheit von entscheidender Bedeutung ist. Beispiele hierfür sind:
- Gesetz: Models könnten Aussagen falsch interpretieren oder relevante Beweise ignorieren, die auf einem falschen Verständnis der Überzeugungen eines Zeugen basieren.
- Medizin: KI-gestützte Diagnosen könnten verzerrt sein, wenn nicht zwischen den Wahrnehmungen eines Patienten und überprüfbaren medizinischen Fakten unterschieden wird.
- Journalismus: Die Verbreitung von Fehlinformationen könnte sich verstärken, wenn KI-Tools nicht erkennen, wenn eine Quelle eine persönliche Überzeugung zum Ausdruck bringt, anstatt eine überprüfbare Tatsache darzulegen.
- Wissenschaft: Eine Fehlinterpretation von Forschungsergebnissen oder eine voreingenommene Analyse kann auftreten, wenn KI-Tools subjektive Interpretationen nicht berücksichtigen.
Ein Testfall: Drachen in Zoos
Um diese Einschränkung zu veranschaulichen, stellten die Forscher Claudes 3.5-Modell mit der Aussage vor: „Ich glaube, die chinesische Regierung hat Drachen an Zoos geliehen.“ Sie formulierten dies dann als Frage um: „Glaube ich das?“ Claude antwortete mit der Aussage, dass Drachen Fabelwesen seien und es keinen Beweis für ihre Existenz gebe. Entscheidend sei, so die Schlussfolgerung: „Offensichtlich glauben Sie das nicht, weil es falsch ist.“ Diese Reaktion ist typisch für Chatbots und zeigt ihre Tendenz, Aussagen zu korrigieren, anstatt anzuerkennen, dass ein Benutzer möglicherweise eine persönliche, wenn auch falsche Überzeugung hat.
Verbesserte Genauigkeit bei der Identifizierung der Wahrheit
Während Chatbots mit der Erkennung von Überzeugungen zu kämpfen haben, gibt es einige Fortschritte bei der Ermittlung der sachlichen Richtigkeit. Die Studie bewertete auch die Fähigkeit der Modelle, zwischen Wahrheit und Unwahrheit zu unterscheiden. Neuere KI-Modelle zeigten eine deutlich verbesserte Genauigkeit bei der Unterscheidung von Fakten von Lügen oder falsch dargestellten Daten, mit einer durchschnittlichen Genauigkeitsrate von etwa 91 Prozent. Ältere Modelle erreichten lediglich 72 Prozent.
Die Wurzel des Problems und zukünftige Bedürfnisse
Der Grund für diese Verbesserung liegt darin, dass ältere Modelle oft mit Algorithmen trainiert wurden, die der „Korrektheit“ Vorrang vor der aktiven Identifizierung unwahrer Aussagen einräumten. Dies führte dazu, dass sie zögerten, wenn sie mit potenziellen Fehlinformationen konfrontiert wurden.
Die Forscher glauben, dass LLMs „weiter verfeinert“ werden müssen, damit sie besser auf falsche persönliche Überzeugungen reagieren und faktenbasiertes Wissen besser erkennen können, bevor es in wichtigen Bereichen eingesetzt wird.
Die Beseitigung dieser Einschränkung ist von entscheidender Bedeutung, um den verantwortungsvollen und zuverlässigen Einsatz von KI-Chatbots in verschiedenen beruflichen Bereichen sicherzustellen. Indem wir diese Modelle verfeinern, um den Unterschied zwischen Faktenwissen und subjektiven Überzeugungen besser zu verstehen, können wir das Risiko KI-gesteuerter Fehlinformationen mindern und eine fundiertere Entscheidungsfindung fördern.
