최근 분쟁 지역에서 인공지능(AI) 표적 선정 시스템이 수만 명의 표적 목록을 자동 생성하고, 오폭 허용 기준마저 결정했다는 보도가 나왔다. AI 표적 선정 시스템은 국제사회로부터 강한 비판을 받고 있다.

카타르 알 우데이드 공군 기지의 미국 공군 합동 공중작전 센터 (CAOC). 합동 공중작전 센터는 연합 공중·우주 작전을 수행하고, 신속 대응과 적극적 통제, 무기체계 간 조정·충돌 방지를 제공한다. 팔란티어의 AI 시스템인 메이븐이 여기 깔렸을 것으로 보인다. 미 공군

우리에게 이 사건은 결코 남의 일이 아니다. K-방산의 수출 무기체계엔 이미 고도화한 AI가 탑재되고 있기 때문이다. K-방산의 글로벌 시장 확대와 함께 AI 탑재 무기체계의 판단 근거와 신뢰성 검증을 요구하는 목소리는 점점 커지고 있다. 그 요구에 답하려면 두 가지 핵심 검증, ’사이버보안’과 ‘AI 신뢰성’이 필요하다.

현재 국내 방산 담론은 미국 방산 공급망 참여를 위한 ‘사이버보안 성숙도 인증(CMMC)’에만 집중되어 있다. 물론 CMMC는 꼭 필요하지만, 절반 짜리 답일 뿐이다. 국제사회가 실제로 던지는 질문은 해킹 위협에 대한 방어력(사이버보안)과 더불어, AI의 판단 결과 자체를 믿을 수 있는가(신뢰성)를 동시에 포함하기 때문이다.

전자는 CMMC가 답하지만, 후자는 어떤가. 미군은 이미 두 가지 레이어(Layer)로 이 질문에 답하기 시작했다. 하나는 AI 생애주기 전 단계에 걸쳐 구체적인 보안 활동을 규정한 ‘DoD AI 사이버보안 위험관리 테일러링 가이드’이고, 다른 하나는 그 이론적 토대가 되는 NIST AI 위험관리체계(AI RMF)다.

다행히 우리 군에는 이를 해결할 토대가 있다. 국방 사이버보안 위험관리체계(K-RMF)다. 미 국방부가 기존 위험관리체계에 AI 보안 활동을 추가했듯, K-RMF에도 같은 방식을 적용하면 사이버보안과 AI 신뢰성을 하나의 인가 프로세스로 동시에 검증할 수 있다.

만약 앞서 언급한 AI 표적 시스템이 K-RMF와 AI RMF 통합 체계를 기반으로 개발됐다면 어땠을까. K-RMF가 시스템의 해킹 방어를 검증하고, AI RMF의 측정(Measure) 기능이 AI의 표적 식별 오류율과 편향성을 데이터로 실측했을 것이다. 이어지는 관리(Manage) 기능은 측정한 위험 수치를 지휘관에게 시각화해 전달한다. AI가 제시한 표적의 신뢰도가 임계치 미만일 때 즉각 경보를 울리고 인간의 개입을 강제하는 구조가 되는 것이다.

이것이 형식적 승인을 넘어선 실질적 인간 통제다. AI 판단마다 승인하는 ‘Human-in-the-Loop’를 넘어, 인간이 상시 감시하며 언제든 개입할 수 있는 ‘Human-on-the-Loop’ 구조가 되는 셈이다. 두 체계의 통합은 한국산 AI 무기체계의 완전성을 증명하는 강력한 검증 패키지가 될 것이다.

지난해 3월 일본 치바에서 열린 방산 방위 안보 장비 국제 전시회(DSEI)에서 관람객이 팔란티어 메이븐을 체험하고 있다. 로이터=연합

K-방산의 자긍심은 성능만으로 완성되지 않는다. 그 성능이 어떤 원칙 위에서 운용하는지, 오작동했을 때 어떻게 책임지는지 투명하게 보여줄 때 비로소 완성된다. 끊이지 않는 분쟁과 지정학적 갈등으로 전 세계 방산시장이 들끓고 있는 지금, 이 시장에서 선택받는 나라는 가장 잘 쏘는 나라가 아니라 가장 믿을 수 있는 나라다. K-RMF 위에 AI 신뢰성 검증을 얹는 것, 이것이 지금 K-방산에게 주어진 과제다.

※필자인 안상현 육군 중령은 컴퓨터를 전공해 미국 오클라호마 주립대학 석사, 노스캐롤라이나 주립대학 박사를 땄다. 현재 수도방위사령부에서 근무하고 있다.