Компания OpenAI объявила, что начнет перенаправлять конфиденциальные разговоры пользователей на так называемые «модели рассуждений», включая GPT-5, а также запустит функцию родительского контроля уже в следующем месяце.
Эти шаги стали реакцией на инциденты, когда ChatGPT не смог распознать разговоры о психических расстройствах и самоубийстве, передает incrussia.ru
Трагедия с подростком Адамом Рейном стала причиной введения новых ограничений. Юноша обсуждал в ChatGPT намерение покончить с собой, а система предоставила ему подробные сведения о способах суицида. Родители Рейна подали иск против OpenAI, обвинив компанию в неправомерной смерти сына.
На прошлой неделе OpenAI в своем блоге признала слабые места в системе безопасности, в том числе трудности с удержанием границ в длинных беседах. По словам экспертов, проблема кроется в самой архитектуре: модели проверяют высказывания пользователя и строят ответы по принципу прогнозирования следующего слова, из-за чего чат-боты продолжают диалог вместо того, чтобы вовремя прервать опасные темы.
Эта тенденция особенно ярко проявилась в случае Штейна-Эрика Зельберга, о чьем убийстве и самоубийстве сообщила газета The Wall Street Journal. Зельберг, страдавший психическим заболеванием, использовал ChatGPT, чтобы подтвердить и подогреть свою паранойю, полагая, что он стал жертвой грандиозного заговора.
OpenAI полагает, что одним из способов решения этих проблем может стать автоматическая переадресация конфиденциальных сообщений на «модели рассуждений».
По словам компании, новые модели рассуждений тратят больше времени на анализ и дают более устойчивые ответы в стрессовых сценариях. Кроме того, родительский контроль позволит связывать аккаунты родителей и подростков, отключать историю чата и получать уведомления, если система зафиксирует признаки «острого стресса».
Тем временем адвокаты семей жертв считают меры компании недостаточными.
«OpenAI не нужна экспертная комиссия, чтобы определить, опасен ли ChatGPT 4o. Они знали об этом в день запуска продукта, и знают об этом сегодня. Сэм Альтман также не должен прятаться за PR-отделом компании. Сэм должен либо однозначно заявить, что считает ChatGPT безопасным, либо немедленно снять его с рынка», — заявил адвокат по иску семьи Рейн Джей Эдельсон.