캐나다 브리티시 컬럼비아주의 텀블러리지 마을에서 총기 난사 사건이 발생한 학교에 희생자들을 추모하는 꽃과 장난감 등이 11일(현지시간) 놓여 있다. REUTERS=연합뉴스

인공지능(AI) 챗봇이 이용자와 대화에서 범죄나 자해 징후를 포착했을 때 대응 문제를 둘러싸고 논란이 확산하고 있다. 개인 정보 보호와 공공 안전 사이 명확한 기준 마련이 필요하다는 지적이 나온다.

20일(현지시간) 월스트리트저널(WSJ)은 “오픈AI 직원들이 최근 캐나다 브리티시 컬럼비아주 내 한 학교에서 벌어진 총격 사건의 용의자 제시 반 루트셀라르(18)의 챗GPT 대화 내용에서 그의 범행 가능성을 사전에 인지했다”고 보도했다. 반 루트셀라르는 지난 10일 총기를 난사해 8명을 숨지게 하고, 25명을 다치게 한 뒤 스스로 목숨을 끊었다.

WSJ에 따르면 루트셀라르는 지난해 6월 수일에 걸쳐 챗GPT에 총기 폭력 시나리오를 묘사했다. 이 대화 내용은 챗GPT 자동 검토 시스템에 포착됐고, 10여 명의 오픈AI 직원들이 그의 글에 관한 후속 조치를 논의했다. 일부는 루트셀라르의 글을 잠재적인 폭력의 징후로 해석해 캐나다 법 집행기관에 알려야 한다고 주장했다. 하지만 오픈AI 경영진은 해당 계정에 대해 차단 조치만 했을 뿐, 당국에 연락하지 않았다. 오픈AI 대변인은 WSJ에 “반 루트셀라르의 활동이 신고 기준에 미치지 못했다고 판단했다”면서 “(오픈AI는) 수사에 협조하고 있다”고 해명했다. 폭력의 위험성과 개인정보 보호, 경찰이 불필요하게 개입하면서 발생할 수 있는 잠재적인 문제를 고려한 조치라는 입장이다.

총격 사건으로 9명의 사망자가 발생한 캐나다 브리티시 컬럼비아주의 텀블러리지 마을에서 13일(현지시간) 추모객들이 희생자를 추모하는 모습. AP=연합뉴스

이번 사태를 계기로 AI 개발사가 ‘레드 플래그(위험 징후)’를 알고도 묵인했다는 논란이 확산하고 있다. 오픈AI는 ‘타인의 신체에 대해 심각한 위험을 끼칠 수 있는 임박한 위험이 있다’고 판단하는 경우 관련 내용을 법 집행 기관에 신고할 수 있는 모니터링 시스템을 갖추고 있다. 하지만 챗GPT와 범죄 관련 논의 후 실행까지 이어진 실제 사건이 나오면서 기준이 지나치게 느슨한 것 아니냐는 지적이 나온다.

반면 AI개발사 입장에선 레드 플래그의 명확한 기준 설정이 어렵다는 반론도 있다. 챗봇 대화를 모니터링해 외부에 알리는 조치가 과하면 이용자들 반발을 부를 수 있다. 김명주 AI안전연구소장은 “폭력·범죄 징후만으로 이용자의 대화를 모니터링하는 것은 표현의 자유 침해, 사찰 논란을 일으킬 수 있다”면서 “AI 의존도가 높아지면서 AI가 일으키는 문제에 관한 윤리적·법적 딜레마도 갈수록 어려워지고 있다”고 짚었다.

이용자와 챗봇의 대화를 어느 정도까지 모니터링하냐는 부분에 대한 글로벌 합의 기준도 부재한 상황이다. WSJ은 “온라인 플랫폼은 이용자의 사생활과 공공 안전을 균형 있게 고려하는 방법을 놓고 오랜 논쟁을 벌여왔다”며 “이 논쟁은 이제 사람들이 가장 은밀하고 세부적인 내용을 털어놓는 AI챗봇 운영 기업들로 번지고 있다”고 설명했다.

챗GPT 로고 이미지. EPA=연합뉴스

AI 챗봇이 범죄나 정신 질환을 조장한다는 이유로 빅테크 기업을 향한 소송도 잇따르고 있다. 미국 코네티컷주에 거주하던 스타인-에릭 솔버그(56)는 지난해 8월 어머니인 수잰 애덤스(83)를 교살한 뒤 자신도 목숨을 끊었다. 유족들은 같은 해 12월 오픈AI와 샘 올트먼 최고경영자(CEO) 등을 상대로 캘리포니아주 법원에 손해배상 청구 소송을 제기했다. AI 챗봇이 개인의 극단적 선택뿐 아니라 살인까지 유도했다고 주장한 첫 소송 사례다.

AI개발사들은 AI가 위험한 답변을 하지 않도록 ‘안전 필터’를 마련하고 있다. 오픈AI는 지난해 정신건강 전문가 170여 명과 ‘망상적 사고, 과도한 인정, 자해 징후’를 탐지하는 안전장치를 도입했다. 챗GPT가 이용자에게 ‘아첨한다’는 비판에 관해선 말투를 조정할 수 있는 기능을 내놨다. 메타는 자살이나 자해, 섭식장애 등 민감한 주제 관련 검색어와 함께 폭력 등 콘텐트 검색 결과를 청소년이 볼 수 없도록 차단하고 있다.