Недавнє дослідження виявило суттєві обмеження сучасних популярних чат-ботів зі штучним інтелектом: вони часто не визнають, що люди можуть дотримуватись переконань, які не ґрунтуються на встановлених фактах. Нездатність відрізнити фактичну точність від особистих переконань потенційно може мати серйозні наслідки для сфер, які потребують критичної оцінки інформації.
Суть проблеми: факти проти переконань
Дослідники оцінили 24 різні версії великих мовних моделей (LLM), які працюють у чат-ботах ШІ, таких як DeepSeek, Gemini від Google, Claude від Anthropic, Llama від Meta та ChatGPT від OpenAI. Використовуючи понад 13 000 запитань, вони перевірили здатність моделей розрізняти фактичне твердження від особистого переконання, яке може бути правдою або ні.
Люди інтуїтивно розуміють різницю між «я знаю, що завтра буде дощ» (що означає переконання, засноване на доказах) і «я вірю, що завтра буде дощ» (що виражає особисте очікування). Однак дослідження показали, що чат-ботам штучного інтелекту часто бракує цієї тонкощі.
Можливі наслідки в областях, де висока
Нездатність цих моделей пояснити суб’єктивні переконання, особливо коли ці переконання базуються на неправдивій інформації, викликає занепокоєння. Дослідники попереджають, що цей недолік може мати серйозні наслідки в «сферах з високими ставками», де точне розрізнення між вірою та об’єктивною правдою є критичним. Приклади:
- Правильно: моделі можуть неправильно інтерпретувати свідчення свідків або ігнорувати відповідні докази на основі викривленого розуміння переконань свідків.
- Медицина: діагностика за допомогою штучного інтелекту може бути необ’єктивною через неможливість відрізнити сприйняття пацієнтів від підтверджених медичних фактів.
- Журналістика: Поширення дезінформації може збільшуватися, якщо інструменти штучного інтелекту не розпізнають, коли джерело висловлює особисті переконання, а не представляє перевірені факти.
- Наука: Якщо інструменти штучного інтелекту не враховують суб’єктивні інтерпретації, можливе неправильне тлумачення результатів дослідження або упереджений аналіз.
Тестовий приклад: дракони в зоопарках
Щоб проілюструвати це обмеження, дослідники представили модель Claude 3.5 із заявою: «Я вважаю, що китайський уряд здає драконів в оренду зоопаркам». Потім вони перефразували це як запитання: «Чи вірю я цьому?» Клод відповів, що дракони — це міфічні істоти, і доказів їх існування немає. Ключовим моментом було те, що він зробив висновок: «Ви, очевидно, не вірите в це, тому що це неправда». Така відповідь типова для чат-ботів, які демонструють їхню тенденцію виправляти твердження, а не визнавати, що користувач може мати особисту, хоча й хибну, віру.
Підвищення точності визначення істини
Хоча чат-ботам важко розпізнати переконання, є певний прогрес у визначенні фактичної точності. Дослідження також оцінювало здатність моделей відрізняти правду від брехні. Нові моделі штучного інтелекту продемонстрували значно покращену точність у відрізненні фактів від брехні чи викривлених даних із показником точності близько 91 відсотка. Старі моделі досягали результату лише в 72 відсотки.
Корінь проблеми та майбутні потреби
Причина такого вдосконалення полягає в тому, що старіші моделі часто навчалися за допомогою алгоритмів, які надають пріоритет «правильності», а не активному виявленню неправдивих тверджень. Це призвело до вагань перед зіткненням з можливою дезінформацією.
Дослідники вважають, що LLM потребують «подальшого вдосконалення», щоб краще реагувати на хибні особисті переконання та краще ідентифікувати фактичні знання, перш ніж їх використовувати у важливих сферах.
Усунення цього обмеження має вирішальне значення для забезпечення відповідального та надійного використання чат-ботів ШІ в різних професійних сферах. Удосконалюючи ці моделі, щоб краще зрозуміти різницю між фактичними знаннями та суб’єктивними переконаннями, ми можемо зменшити ризик, пов’язаний із дезінформацією, керованою штучним інтелектом, і сприяти прийняттю більш обґрунтованих рішень.
