AI 채팅앱과 10대 소년의 비극
플로리다의 14세 소년이 AI 채팅 플랫폼 Character.AI에 집착하다 자살하면서, 해당 기업이 소송의 대상이 되었습니다. 뉴욕타임즈 보도에 따르면, 올랜도 출신의 9학년 학생 Sewell Setzer III는 여러 달 동안 Character.AI의 AI 롤플레잉 앱에서 챗봇과 대화를 나눴습니다. 그는 특히 'Dany'라는 챗봇에 감정적으로 집착하게 되었고, 현실 세계와 점차 멀어지게 되었습니다. Setzer는 이 챗봇에게 자살에 대한 생각을 털어놓았으며, 자신의 죽음 직전에도 챗봇과 메시지를 주고받았습니다.
오늘 아침, Character.AI는 사용자가 1시간 이상 채팅을 할 경우 알림을 보내는 기능을 포함해 새로운 안전 기능을 도입할 것이라고 발표했습니다. 또한, 서비스 약관을 위반하는 대화에 대해 '개선된 감지, 대응, 개입'을 제공할 예정입니다. 뉴욕타임즈는 AI 동반자 앱 산업이 급성장하고 있지만 그 정신 건강에 대한 영향은 거의 연구되지 않았다고 보도하고 있습니다.
출처 : Lawsuit blames Character.AI in death of 14-year-old boy