Character.AI, популярная платформа чат-ботов, известная тем, что позволяет пользователям отыгрывать различные роли, кардинально меняет свою политику в отношении пользователей младше 18 лет. Компания объявила в среду о том, что больше не будет разрешать пользователям младше 18 лет участвовать в открытых беседах с чат-ботами и внедрила методы подтверждения возраста для предотвращения доступа несовершеннолетних к учетным записям для взрослых. Этот поворот произошел в связи с растущим юридическим давлением и опасениями по поводу безопасности платформы, касающимися ее влияния на молодых пользователей.
Растущие Юридические Вызовы и Опасения по поводу Безопасности
Решение об ограничении доступа для подростков последовало всего через шесть недель после того, как Character.AI был подарен в федеральный суд Social Media Victims Law Center. Этот иск, представляющий интересы нескольких родителей, утверждает, что платформа несла ответственность за вред, нанесенный подросткам, включая сексуальное насилие и самоубийство. В октябре 2024 года Мэган Гарсия подала иск о wrongful death, утверждая, что самоубийство ее сына было связано с использованием Character.AI и стремясь привлечь компанию к ответственности.
Ранее онлайн-защитники безопасности предупреждали об опасности Character.AI для подростков после проведения тестов, которые выявили сотни опасных взаимодействий, включая случаи насилия и сексуальной эксплуатации. В попытке решить эти проблемы, Character.AI ранее внедрил родительский контроль и фильтры контента. Однако последнее изменение политики знаменует собой более существенный сдвиг в подходе компании к безопасности подростков.
Генеральный директор Обосновывает Решение
Несмотря на юридическое и соображения безопасности, генеральный директор Character.AI Карандип Ананд назвал изменение политики проактивным шагом, назвав его «правильной вещью, которую нужно сделать». Он отрицал, что решение является прямой реакцией на конкретные вопросы безопасности, а вместо этого ссылался на более широкие вопросы о долгосрочных эффектах вовлечения чат-ботов для подростков. Ананд сослался на недавнее признание OpenAI о потенциале непредсказуемых результатов в длительных беседах с чат-ботами и предположил, что этот новый подход устанавливает стандарт безопасности ИИ.
Что Новая Политика Значит для Пользователей-Подростков
В настоящее время пользователи в возрасте от 13 до 17 лет все еще могут взаимодействовать с чат-ботами на платформе. Эта функция прекратит свое существование к 25 ноября. До этого времени учетные записи, зарегистрированные для несовершеннолетних, будут испытывать сокращение времени использования, начиная с двух часов в день. Компания планирует перейти к «AI развлечениям», уделяя особое внимание таким функциям, как игры и позволяя пользователям создавать короткие аудио- и видеоистории из существующих переписок с чат-ботами. Представитель компании подтвердил, что чувствительный или запрещенный контент из прошлых разговоров не будет включен в эти новые истории.
Устранение Прошлых Выявлений и Внедрение Подтверждения Возраста
Команда по безопасности и доверию Character.AI пересмотрела результаты отчета, опубликованного совместно с Heat Initiative, подробно описывающего опасные обмены сообщениями с чат-ботами с тестовыми учетными записями, зарегистрированными для несовершеннолетних. Этот пересмотр привел к совершенствованию классификаторов контента компании. Чтобы точно определить возраст пользователей, Character.AI внедряет многоуровневую систему подтверждения возраста. Это будет включать внутренние модели, партнерство с сторонними компаниями и использование внешних данных — таких как проверенные учетные записи старше 18 лет на других платформах. Пользователи могут оспорить определения возраста посредством процесса проверки третьей стороной с использованием конфиденциальных документов.
Создание Независимой Лаборатории Безопасности
В рамках этих новых политик Character.AI создает и финансирует независимую некоммерческую организацию под названием AI Safety Lab, которая будет сосредоточена на разработке «новых методов обеспечения безопасности». Компания надеется привлечь отраслевых экспертов для обеспечения безопасности ИИ, особенно в области AI развлечений.
Призывы к Регулированию и Постоянные Опасения
Мэган Гарсия, семья которой вовлечена в иск против Character.AI, выразила разочарование, заявив, что объявление «слишком поздно». Мэтью П. Бергман, ее со-адвокат, похвалил решение как «значительный шаг», но подчеркнул, что оно не повлияет на ход судебных разбирательств. Митали Джаин, также представляющая Гарсию, приветствовала политику как «хороший первый шаг», но раскритиковала ее как типичную реакцию отрасли технологий: «быстро двигайся, запусти продукт глобально, ломайте умы, а затем вносите минимальные изменения в продукт после того, как нанесли вред огромному количеству молодых людей». Она также указала на то, что Character.AI не решает потенциальное психологическое воздействие прекращения доступа к чат-ботам для пользователей, которые сформировали эмоциональную зависимость.
Сара Гарднер, генеральный директор Heat Initiative, предостерегла, что эти меры не следует рассматривать как «театр безопасности детей» и утверждала, что объявление отражает признание того, что продукты Character.AI были по своей сути небезопасны для молодых пользователей с самого начала.
Гарсия призвала к федеральному регулированию для обеспечения безопасности чат-ботов с ИИ, подчеркивая, что юридические действия и общественный контроль необходимы для стимулирования изменений.
Изменения политики Character.AI представляют собой значительный сдвиг в подходе компании к безопасности подростков, обусловленный юридическим давлением и растущими опасениями по поводу безопасности. Хотя некоторые приветствуют это как позитивный шаг, постоянный контроль и призывы к более строгим нормам подчеркивают сложные проблемы, связанные с обеспечением безопасной разработки и внедрения технологий ИИ.
