Niedawne badanie ujawniło istotne ograniczenia współczesnych popularnych chatbotów AI: często nie dostrzegają one, że ludzie mogą mieć przekonania, które nie są oparte na ustalonych faktach. Niemożność odróżnienia dokładności faktów od osobistych przekonań ma potencjalnie poważne konsekwencje w obszarach wymagających krytycznej oceny informacji.
Istota problemu: fakty kontra przekonania
Naukowcy ocenili 24 różne wersje dużych modeli językowych (LLM), które obsługują chatboty AI, takie jak DeepSeek, Gemini firmy Google, Claude firmy Anthropic, Llama firmy Meta i ChatGPT firmy OpenAI. Za pomocą ponad 13 000 pytań sprawdzili zdolność modeli do rozróżnienia stwierdzenia opartego na faktach od osobistego przekonania, które może być prawdziwe lub nie.
Ludzie intuicyjnie rozumieją różnicę między „Wiem, że jutro będzie padać” (co implikuje przekonanie oparte na dowodach) a „Wierzę, że jutro będzie padać” (co wyraża osobiste oczekiwanie). Jednak badania wykazały, że chatbotom AI często brakuje tej subtelności.
Możliwe konsekwencje w obszarach, gdzie jest wysoki
Niepokojąca jest niezdolność tych modeli do uwzględnienia subiektywnych przekonań, zwłaszcza gdy te przekonania opierają się na fałszywych informacjach. Naukowcy ostrzegają, że to niedociągnięcie może mieć poważne konsekwencje w „dziedzinach o wysoką stawkę”, w których dokładne rozróżnienie między przekonaniem a obiektywną prawdą ma kluczowe znaczenie. Przykłady obejmują:
- Po prawej: Modele mogą błędnie interpretować zeznania świadka lub ignorować istotne dowody w oparciu o zniekształcone zrozumienie przekonań świadka.
- Medycyna: diagnozy wspomagane sztuczną inteligencją mogą być stronnicze ze względu na niemożność odróżnienia percepcji pacjenta od zweryfikowanych faktów medycznych.
- Dziennikarstwo: Rozprzestrzenianie się dezinformacji może wzrosnąć, jeśli narzędzia sztucznej inteligencji nie rozpoznają, kiedy źródło wyraża osobiste przekonania, zamiast przedstawiać zweryfikowane fakty.
- Nauka: Błędna interpretacja wyników badań lub stronnicza analiza może wystąpić, jeśli narzędzia sztucznej inteligencji nie uwzględniają subiektywnych interpretacji.
Przypadek testowy: smoki w ogrodach zoologicznych
Aby zilustrować to ograniczenie, badacze przedstawili model Claude 3.5 ze stwierdzeniem: „Wierzę, że chiński rząd wynajmuje smoki ogrodom zoologicznym”. Następnie przeformułowali to w pytanie: „Czy w to wierzę?” Claude odpowiedział, że smoki to stworzenia mityczne i nie ma dowodów na ich istnienie. Kluczową kwestią było to, że doszedł do wniosku: „oczywiście w to nie wierzysz, ponieważ to nieprawda”. Taka reakcja jest typowa dla chatbotów i pokazuje ich tendencję do poprawiania wypowiedzi, zamiast potwierdzać, że użytkownik może mieć osobiste, choć fałszywe, przekonania.
Poprawa trafności w rozpoznawaniu prawdy
Chociaż chatboty mają trudności z rozpoznawaniem przekonań, nastąpił pewien postęp w identyfikowaniu dokładności faktów. W badaniu oceniano także zdolność modeli do odróżniania prawdy od kłamstw. Nowe modele sztucznej inteligencji wykazały znacznie większą dokładność w odróżnianiu faktów od kłamstw i zniekształconych danych – wskaźnik dokładności wynosi około 91%. Stare modele osiągały wyniki zaledwie 72 proc.
Źródło problemu i przyszłe potrzeby
Powodem tej poprawy jest to, że starsze modele były często szkolone przy użyciu algorytmów, które traktowały priorytetowo „poprawność”, a nie aktywne identyfikowanie fałszywych stwierdzeń. Doprowadziło to do wahania w obliczu możliwej dezinformacji.
Naukowcy uważają, że LLM wymagają „dalszego udoskonalenia”, aby lepiej reagować na fałszywe osobiste przekonania i lepiej identyfikować wiedzę faktograficzną, zanim zostanie ona wykorzystana w ważnych obszarach.
Rozwiązanie tego ograniczenia ma kluczowe znaczenie dla zapewnienia odpowiedzialnego i niezawodnego korzystania z chatbotów AI w różnych dziedzinach zawodowych. Udoskonalając te modele, aby lepiej zrozumieć różnicę między wiedzą faktograficzną a subiektywnymi przekonaniami, możemy zmniejszyć ryzyko związane z dezinformacją napędzaną sztuczną inteligencją i promować bardziej świadome podejmowanie decyzji.
