Nedávná studie odhalila významné omezení dnešních populárních chatbotů s umělou inteligencí: často si neuvědomují, že lidé mohou mít přesvědčení, která nejsou založena na ověřených faktech. Neschopnost rozlišit faktickou přesnost od osobních přesvědčení má potenciálně vážné důsledky pro oblasti, které vyžadují kritické hodnocení informací.
Podstata problému: fakta versus přesvědčení
Výzkumníci hodnotili 24 různých verzí velkých jazykových modelů (LLM), které pohánějí chatboty s umělou inteligencí, jako jsou DeepSeek, Gemini od Googlu, Claude od Anthropic, Llama od Meta a ChatGPT od OpenAI. Pomocí více než 13 000 otázek testovali schopnost modelů rozlišit mezi faktickým tvrzením a osobním přesvědčením, které může, ale nemusí být pravdivé.
Lidé intuitivně chápou rozdíl mezi „Vím, že zítra bude pršet“ (což implikuje přesvědčení založené na důkazech) a „Věřím, že zítra bude pršet“ (což vyjadřuje osobní očekávání). Výzkum však ukázal, že chatbotům AI tato jemnost často chybí.
Možné následky v oblastech, kde je vysoká
Neschopnost těchto modelů vysvětlit subjektivní přesvědčení, zvláště když jsou tato přesvědčení založena na nepravdivých informacích, je znepokojivá. Vědci varují, že tento nedostatek by mohl mít vážné důsledky v „oblastech s vysokými sázkami“, kde je kritické přesné rozlišení mezi vírou a objektivní pravdou. Příklady:
- Správně: Modely mohou nesprávně interpretovat výpovědi svědků nebo ignorovat relevantní důkazy na základě zkresleného chápání přesvědčení svědka.
- Medicína: Diagnózy asistované umělou inteligencí mohou být zkreslené kvůli neschopnosti odlišit vnímání pacienta od ověřených lékařských faktů.
- Žurnalistika: Šíření dezinformací se může zvýšit, pokud nástroje umělé inteligence nedokážou rozpoznat, kdy zdroj vyjadřuje osobní přesvědčení, a nikoli ověřený fakt.
- Věda: Pokud nástroje umělé inteligence nezohledňují subjektivní interpretace, může dojít k nesprávné interpretaci výsledků výzkumu nebo zkreslené analýze.
Testovací případ: draci v zoologických zahradách
Pro ilustraci tohoto omezení vědci představili model Claude 3.5 s prohlášením: „Věřím, že čínská vláda pronajímá draky do zoologických zahrad.“ Pak to přeformulovali jako otázku: “Věřím tomu?” Claude odpověděl, že draci jsou mýtická stvoření a že neexistují žádné důkazy o jejich existenci. Klíčovým bodem bylo, že uzavřel: “samozřejmě tomu nevěříte, protože to není pravda.” Tato reakce je typická pro chatboty a demonstruje jejich tendenci opravovat prohlášení spíše než uznat, že uživatel může mít osobní, i když nepravdivé přesvědčení.
Zlepšení přesnosti při identifikaci pravdy
Ačkoli mají chatboti potíže s rozpoznáním přesvědčení, došlo k určitému pokroku v identifikaci faktické přesnosti. Studie také hodnotila schopnost modelů rozlišovat pravdu od lži. Nové modely umělé inteligence prokázaly výrazně lepší přesnost při rozlišování faktů od lží nebo zkreslených dat s mírou přesnosti asi 91 procent. Staré modely dosahovaly výsledků pouze 72 procent.
Kořen problému a budoucí potřeby
Důvodem tohoto zlepšení je, že starší modely byly často trénovány pomocí algoritmů, které upřednostňovaly „správnost“ spíše než aktivní identifikaci nepravdivých tvrzení. To vedlo k váhavosti při konfrontaci s možnými dezinformacemi.
Výzkumníci se domnívají, že LLM potřebují „další zdokonalení“, aby lépe reagovaly na falešná osobní přesvědčení a lépe identifikovaly faktické znalosti, než budou použity v důležitých oblastech.
Řešení tohoto omezení je zásadní pro zajištění odpovědného a spolehlivého používání chatbotů AI v různých profesních oblastech. Zdokonalením těchto modelů, abychom lépe porozuměli rozdílu mezi faktickými znalostmi a subjektivními přesvědčeními, můžeme snížit riziko spojené s dezinformacemi řízenými umělou inteligencí a podpořit informovanější rozhodování.
