10일 오후 서울 종로구 정부서울청사에서 ‘AI 딥페이크 탐지 분석 모델 시연회’가 열리고 있다. 행정안전부는 국립과학수사연구원(국과수)과 함께 개발한 ‘AI 딥페이크 탐지 모델’을 오는 6월 치러지는 제9회 전국동시지방선거에 적용할 계획이라고 밝혔다. 뉴스1

정부가 선거 과정에서 확산하는 딥페이크 가짜뉴스에 대응하기 위해 인공지능(AI) 기반 탐지 기술을 도입한다.

행정안전부는 국립과학수사연구원과 공동 개발한 ‘AI 딥페이크 탐지 분석 모델’을 오는 제9회 전국동시지방선거(6월 3일)에 활용할 계획이라고 10일 밝혔다.

정부는 이날 정부서울청사에서 탐지 모델을 공개하고 실제 딥페이크 영상 판별 과정을 시연했다.

최근 생성형 AI 기술 발전으로 특정 인물의 얼굴이나 음성을 합성한 딥페이크 콘텐츠가 빠르게 확산하면서 선거 과정에서 허위 정보로 악용될 수 있다는 우려가 커지고 있다.

중앙선거관리위원회에 따르면 선거 기간 딥페이크 영상 삭제 요청은 2024년 제22대 국회의원 총선거 당시 388건에서 2025년 2025년 대한민국 대통령 선거 때 1만510건으로 급증했다.

10일 오후 서울 종로구 정부서울청사에서 ‘AI 딥페이크 탐지 분석 모델 시연회’가 열리고 있다. 행정안전부는 국립과학수사연구원(국과수)과 함께 개발한 ‘AI 딥페이크 탐지 모델’을 오는 6월 치러지는 제9회 전국동시지방선거에 적용할 계획이라고 밝혔다. 뉴스1

이날 시연에서는 생성형 AI로 제작된 경찰 바디캠 영상과 선거 유세 영상 등을 탐지 시스템으로 분석하는 과정이 공개됐다.

영상 파일을 시스템에 업로드하면 여러 탐지 모델이 동시에 분석을 수행하고, 각 모델 결과를 종합해 딥페이크 여부를 판단하는 방식이다. 분석 결과는 0~100점 점수로 표시되며 100에 가까울수록 딥페이크 가능성이 높다는 의미다.

이번 모델은 영상 전체 흐름을 분석하는 ‘전역 분석’과 얼굴 등 특정 부위를 확인하는 ‘국소 분석’을 결합한 것이 특징이다. 검증 결과 탐지 정확도는 약 92%로, 기존 모델(76%)보다 크게 향상됐다고 정부는 설명했다.

박남인 국과수 연구관은 “기존 딥페이크 탐지 기술이 얼굴 영역 중심이었다면 이번 모델은 영상 전체 영역까지 분석하도록 확장했다”며 “여러 탐지 알고리즘을 결합한 앙상블 방식으로 정확도를 높였다”고 말했다.

또 영상에서 추출한 오디오를 별도로 분석해 음성 딥페이크 여부까지 판별할 수 있도록 했다. 해당 모델은 영상·음성 등 약 231만 건의 데이터를 활용해 학습됐다.

탐지 시스템에는 민간 AI 기술도 일부 반영됐다. 행안부와 국과수는 지난해 ‘딥페이크 범죄 대응 AI 탐지 모델 경진대회’를 통해 확보한 상위 모델 5개를 결합해 시스템을 구축했다. 당시 대회에는 268개 팀, 1077명의 AI 전문가가 참여했다.

선거 과정에서 딥페이크 영상 제작이나 유포는 공직선거법 위반으로 처벌될 수 있다.

선거일 90일 전부터 선거일까지 선거운동 목적으로 딥페이크 영상이나 음성을 제작·유포할 경우 공직선거법 제255조에 따라 7년 이하 징역 또는 1000만~5000만원의 벌금형에 처해질 수 있다.

또 AI로 제작된 영상이라도 이를 명확히 표시하지 않으면 과태료 부과 대상이 되며, 영상 내용이 허위사실일 경우 허위사실 공표죄가 추가로 적용될 수 있다.

홍석기 경찰청 수사국장은 “생성형 AI 기반 딥페이크가 등장하면서 기존 수사 방식만으로는 대응이 어려운 상황”이라며 “국과수 탐지 기술과 수사 경험을 결합해 대응 체계를 강화하겠다”고 말했다.