지난 2월 SNS를 중심으로 ‘윤석열 대통령 양심고백’이란 딥페이크 영상이 퍼지자 방송통신심의위원회 관계자가 관련 자료를 살펴보고 있다. [뉴스1]

“아빠, 친구 보증을 잘못 서서 2700만원이 필요해.”

지난 3월 충남 당진에 사는 70대 남성 임모씨에게 딸의 번호로 전화가 걸려 왔다. 전화기 너머에선 납치를 당했다며 울먹이는 딸의 목소리가 들렸다. 누구라도 의심하기 어려운 다급한 상황. 급히 은행을 찾아 일단 500만원을 인출한 뒤 택시를 타고 서울로 향했다. 그러나 서울에서 만난 딸은 전화한 적이 없다고 했다. 알고 보니 전화 속 목소리는 인공지능(AI) 음성 합성 기술로 생성한 가짜 목소리. 이른바 ‘딥보이스 피싱’에 속은 것이었다.

목소리를 합성하는 것뿐만이 아니다. AI 기술로 특정인의 얼굴 움직임과 표정, 입 모양 등 말하는 모습까지 가짜 영상으로 조작해 범죄에 악용하는 ‘딥페이크 사기’도 확산되고 있다. 최근 전직 야구선수 윤석민씨가 언급한 사례가 대표적이다. 범죄자는 AI 기술로 만든 딥페이크 가짜 동영상으로 영상통화까지 걸어 윤씨 아내를 사칭하며 투자를 권유했다. 이에 윤씨는 지난 10일 SNS를 통해 “제 아내 얼굴을 사칭해 사기 행각을 벌이고 있다니 화가 난다. 더 이상 피해자분들이 나오지 않기를 바란다”며 주의를 당부했다.

AI 기술이 급속히 발전하면서 AI를 활용한 범죄 수법도 빠르게 진화하고 있다. 과거에는 막대한 시간과 비용을 들여야 했던 음성이나 영상 조작이 한층 손쉬워졌기 때문이다. 2~3년 전만 해도 딥페이크 영상을 만들기 위해서는 몇 시간 분량의 녹화 자료가 필요했다. 그러다 보니 사진과 영상을 쉽게 구할 수 있는 유명인이 가짜 영상 제작이나 사기의 주요 대상이었다. 연예인을 대상으로 한 딥페이크 영상이 커뮤니티에 퍼지고 투자 사기에 악용되곤 했다. 하지만 최근엔 사진 한 장이면 딥페이크 영상을 얼마든지 만들 수 있을 정도로 AI 기술이 발전하면서 누구나 커뮤니티나 SNS에 올린 사진만으로도 범죄에 악용될 수 있게 됐다.

규제 시스템·플랫폼 적극 대응 필요
특정인의 목소리를 복제한 딥보이스도 마찬가지다. 지난해 마이크로소프트가 공개한 음성 합성 기술인 ‘발리(VALL-E)’의 경우 불과 3초 분량의 음성 파일로도 특정인의 목소리를 그대로 구현한다. 이 때문에 온라인 커뮤니티에서는 모르는 번호로 전화가 오면 아예 대답을 하지 말라는 조언이 주목을 모으기도 했다. “여보세요? 말씀하세요. 말씀 안 하시면 끊겠습니다”라고 말하는 것만으로도 목소리를 도용한 ‘딥보이스’ 사기 범죄에 이용될 수 있다는 것이다. 노은정 정보통신정책연구원 전문연구원은 “기술 발전에 힘입어 누구나 딥페이크 영상을 만들 수 있게 되면서 사회적으로도 큰 문제가 되고 있다”며 “피해를 최소화하기 위해서는 효과적인 규제 시스템 구축과 플랫폼의 적극적인 대응 등이 시급히 병행돼야 한다”고 지적했다.

문제는 AI 기술을 악용한 이 같은 범죄를 방지할 방안이 마땅찮다는 점이다. 무엇보다 AI 기술이 범죄를 위해 개발된 기술이 아니다 보니 기술 자체를 차단할 수는 없는 노릇이다. 딥보이스 기술만 하더라도 세상을 떠난 어머니의 목소리로 책을 읽어주는 식으로 활용될 정도다. 국내에서도 네이버가 자사 AI 서비스를  통해 이 기술을 선보여 호평을 받은 바 있다. “기술에는 선악이 없고 이를 악용하는 사람이 문제”라는 지적이 제기되는 이유다.

그래픽=남미가 xxxxxxxxxxxxxxxxxxxxxxx

전문가들 사이에선 또 다른 부작용에 대한 우려도 커지고 있다. 눈앞에 보이고 들리는 메시지조차 끊임없이 의심해야 하는 상황은 공동체의 신뢰를 파괴할 수 있다는 점에서다. 실제로 온라인 커뮤니티에서는 “가족으로부터 전화가 와도 일단 의심해야 한다”거나 “가족끼리만이라도 군대처럼 매일 암구호를 정하라”는 주장이 설득력 있게 제기되는 상황이다. 김유향 국회입법조사처 과학방송통신팀장은 “일반인은 물론 정부 차원에서도 진짜와 가짜를 식별할 수 없는 상황이 벌어질 수 있다는 게 가장 큰 위험”이라며 “기존의 허위 정보와는 차원이 완전히 다른 위험성을 내포하고 있는 것”이라고 지적했다.

민간 기업들도 자체적으로 가짜 영상과 목소리를 인식하는 기술 개발에 나서고 있지만 아직 뚜렷한 성과는 없는 실정이다. 딥페이크와 딥보이스 제작 소스를 분석해 탐지하는 기술을 만드는 사이에 AI 기술은 훨씬 더 빠르게 발전하고 있고 범죄자들은 이를 즉각적으로 사기에 이용하고 있기 때문이다.

뾰족한 방법이 없기는 사법당국도 마찬가지다. 현재 국내에선 기존 법률로 AI 활용 범죄를 처벌하고 있다. 검찰도 2027년까지 86억원을 투입해 딥보이스 탐지 등을 위한 중장기 연구 사업에 착수했지만 가시적 성과를 거두려면 아직 시간이 필요한 상황이다. 서준배 경찰대 행정학과 교수는 “빠르게 발전하는 AI 범죄에 기존의 고전적 사기죄로만 대응해서는 결코 문제를 근본적으로 해결할 수 없다”며 “AI를 활용한 사기는 그 어느 범죄보다 피해 범위가 넓고 확산 속도도 빠른 만큼 선제적 대응을 서둘러야 한다”고 주문했다.

법조계에선 AI 규제에 대한 제반 규정조차 마련되지 않다 보니 AI를 활용한 범죄 방지에 속도가 붙기 어렵다는 지적도 나온다. 당장 AI 관련 기본법 제정도 기약하기 어려운 처지다. 실제로 21대 국회에서도 AI 기본법이 논의됐지만 별다른 진척 없이 지난 5월 말 임기 종료와 함께 폐기됐고 22대 국회에서 또다시 AI 기본법이 발의됐지만 구체적인 논의는 아직 진행되지 못하고 있는 상태다. 유승익 한동대 연구교수는 “우리 사회에서 어떤 AI 시스템이 용인될 수 있고 어떤 시스템은 용인될 수 없는지에 대한 범사회적 합의가 시급하다”고 지적했다.

“AI 범죄, 핵전쟁처럼 인류에 큰 위협”
전 세계 주요 국가들도 AI 관련 범죄가 기승을 부리자 대책 마련에 부심하고 있다. 당장 유럽연합(EU)은 내년부터 ‘AI법(AI Act)’을 전면 시행하기로 한 상태다. 이 법안은 생성형 AI 시스템 제공자와 배포자의 투명성을 강조하며 과징금 등 엄격한 처벌을 규정해 놓고 있다. 미국의 경우 연방정부 차원의 직접 규제 조항은 없지만 주 정부 차원에서 딥페이크 등 AI 활용 범죄 규제에 적극 나서고 있다. 뉴욕주도 지난해 9월 형법을 개정해 당사자 동의 없이 딥페이크 영상과 이미지를 유포하는 행위를 엄격히 금지하고 있다.

서 교수는 “유엔도 AI와 딥페이크를 이용한 조직적 사기 범죄가 핵전쟁과 동등한 수준으로 인류에 위협이 되고 있다며 전 세계적인 대응을 촉구하고 있다”며 “첨단 기술이 가진 폭발적인 확산성을 감안할 때 AI를 활용한 다중 피해 범죄 방지 대책을 서둘러 마련해야 할 것”이라고 말했다.