В четверг OpenAI объявила о новой функции под названием Trusted Contact («Доверенный контакт»), призванной уведомлять доверенное третье лицо, если в ходе разговора звучат упоминания о причинении себе вреда. Функция позволяет совершеннолетнему пользователю ChatGPT назначить в своём аккаунте другого человека в качестве доверенного контакта — например друга или члена семьи. В случаях, когда разговор может перейти к неприятной теме, OpenAI теперь будет побуждать пользователя связаться с этим контактом. Кроме того, доверенному контакту отправляется автоматическое уведомление с просьбой связаться с пользователем.
OpenAI столкнулась с волной исков со стороны семей людей, покончивших с собой после общения с её чат-ботом. В ряде случаев, по словам родственников, ChatGPT поощрял их близкого человека к самоубийству — или даже помогал спланировать его.
В настоящее время OpenAI использует сочетание автоматизации и проверки людьми для обработки потенциально опасных инцидентов. Определённые триггеры в беседе предупреждают систему компании о суицидальных мыслях, после чего информация передаётся команде по безопасности, состоящей из людей. Компания утверждает, что каждый раз при получении такого уведомления инцидент рассматривается человеком. «Мы стремимся рассматривать эти уведомления о безопасности менее чем за один час», — говорит компания.
Если внутренняя команда OpenAI решает, что ситуация представляет серьёзный риск для безопасности, ChatGPT отправляет доверенному контакту уведомление — по электронной почте, СМС или через уведомление в приложении. Уведомление задумано как краткое и призвано побудить контакт связаться с соответствующим человеком. В нём не содержится подробной информации о том, что обсуждалось, — в целях защиты приватности пользователя, отмечает компания.
Функция Trusted Contact следует за мерами защиты, которые компания представила в сентябре прошлого года и которые дали родителям возможность частично контролировать аккаунты своих подростков, включая получение уведомлений о безопасности, предназначенных для того, чтобы предупредить родителя, если система OpenAI считает, что ребёнок сталкивается с «серьёзным риском». Уже некоторое время ChatGPT также включает автоматические рекомендации обратиться к профессиональным медицинским службам, если разговор начинает склоняться к теме причинении себе вреда.
Важно, что Trust Contact является необязательной функцией и даже при включённой защите в конкретном аккаунте любой пользователь может иметь несколько аккаунтов ChatGPT. Родительский контроль OpenAI также является необязательным, что создаёт аналогичное ограничение.
«Trusted Contact — часть более широких усилий OpenAI по созданию ИИ-систем, которые помогают людям в трудные моменты», — написала компания в посте с объявлением. «Мы продолжим работать с клиницистами, исследователями и политиками, чтобы улучшать то, как ИИ-системы реагируют, когда люди могут испытывать стресс».
Источник: TechCrunch