여성의 사진을 넣으면 자동으로 나체와 합성해 누드 사진을 만들어주는 텔레그램 '딥페이크 AI 봇'. 사진 텔레그램 캡처

합성 사진과 동영상을 자동으로 만들어주는 생성형 인공지능(AI)이 딥페이크 음란물 범죄를 확산하는 주범이란 지적이 나오고 있다. 특히 텔레그램에는 얼굴 사진만 올리면 약 30초만에 불법 합성 사진·영상을 자동으로 만들어주는 이른바 ‘딥페이크봇(로봇)’ 채널이 활개치고 있었다.

29일 텔레그램에서 ‘딥페이크(deepfake)’ 등 검색하면 불법 합성물 생성 봇을 모아 추천해주는 수십여개 채널과 대화방에 곧바로 연결됐다. 이 중엔 약 2만명이 참여한 무료 채널도 있었다. 첫 화면에 뜬 ‘시작’ 버튼을 누르자 “원하는 여성의 사진을 보내라. 30초만 기다리면 마법이 펼쳐질 것”이라는 문장이 떴다. 챗GPT로 만든 가상의 이미지를 AI 봇에 넣어보니, 실제로 30초 만에 나체에 합성된 사진이 올라왔다. 특정 신체 부위의 모습을 조정하거나 복장을 바꾸는 기능도 있었다.

합성 사진 두 장을 무료로 제공한 뒤 딥페이크봇은 결제를 유도했다. 결제는 최소 4.9달러(약 6500원)부터 시작할 수 있고, 사진 하나당 약 650원을 받았다. 고액 결제를 하면 워터마크를 제거하거나 화질을 개선하는 등 더 많은 기능을 선택할 수 있게 해놨다. 결제는 가상화폐 구매 사이트를 이용해 진행됐다. 새로운 이용자를 초대하면 결제용 캐시를 제공하거나, 특정 채널을 구독해야 불법 합성물을 제작해주는 딥페이크봇도 있었다. 이날 텔레그램에선 이런 식으로 몇 가지 관련 검색어를 입력하는 것만으로 딥페이크봇 수백 개를 찾을 수 있었다.

익명의 청소년들이 스마트폰을 이용해 텔레그램을 사용하는 생성 이미지. 일러스트 챗GPT

이같은 딥페이크봇 채널 및 대화방은 적게는 수백명에서 많게는 수십만명이 참여하고 있었다. 채널 소유자 또는 관리자만 메시지를 보낼 수 있어 참여자들이 사진을 유포할 수는 없지만, 불법 촬영물을 공유하는 또 다른 그룹 대화방으로 연결하기도 했다. 약 3만 명이 참여한 그룹 대화방에선 길거리나 대중교통 등에서 여성의 얼굴과 신체 특정 부위를 촬영한 사진을 공유하고 있었다.

딥페이크봇이 기하급수적으로 늘면서 경찰도 딥페이크봇 등 8곳에 대한 내사(입건 전 조사)에 착수했다. 경찰 관계자는 “여러 조사기법을 활용해 추적에 나섰다. 조사 대상 봇 숫자는 8개 이상이 될 수 있다”고 말했다.

텔레그램에서 딥페이크 AI봇 링크와 함께 광고하는 문구들. 텔레그램 캡처.

서혜진 한국여성변호사회 아동청소년특별위원장은 “생겼다가 없어졌다가를 반복하는 특성상 제작 채널이 수천개일지, 수십만개일지 추산이 불가능한 상황”이라며 “제작의 목적이 다양할 텐데 불법 합성물을 손에 쥔 이상 어떻게 쓰일지 모르는 게 문제”라고 말했다.

특히 지난 4월부터 텔레그램이 채널 접속자와 대화 참여자 수 등에 따라 광고 수익을 분배하는 정책을 도입하면서 딥페이크 성범죄가 돈벌이 수단으로 악용되며 상황이 더 심각해졌다는 지적도 나왔다. 김명주 서울여대 정보보호학과 교수는 “현재 텔레그램에선 채널 가입자가 1000명이 넘으면 광고 수익금을 공유한다”며 “광고 수익 가운데 50% 떼주는 식”이라고 설명했다. 서 위원장은 “텔레그렘에선 다단계처럼 더 많은 이용자를 끌어들여야 유료 수익이 나는 구조가 형성되고 있다”고 말했다.