그록 로고. 연합뉴스

일론 머스크가 설립한 인공지능(AI) 기업 xAI의 챗봇 ‘그록(Grok)’이 성적 이미지 생성 문제를 둘러싸고 논란의 중심에 섰다. 표현의 자유를 앞세운 운영 전략이 오히려 규제와 책임 논란을 키우고 있다는 지적이 나온다.

블룸버그는 7일(현지시간) 그록이 지난 1월 5~6일 24시간 동안 X에 게시한 이미지 가운데 시간당 약 6700장이 신체 노출 또는 성적 묘사를 포함한 이미지로 분류됐다고 보도했다. 딥페이크 연구자 제네비브 오의 연구를 이용한 것으로 같은 기간 다른 주요 AI 기반 언드레싱(사진 속 인물의 옷을 제거하는) 서비스들과 비교하면 약 80배 많은 수치다.

앞서 그록은 미성년자를 포함한 실존 인물의 사진을 성적으로 변형한 이미지 생성을 허용하면서 논란이 됐다. 이용자가 X에 게시된 사진으로 그록에 “옷을 벗겨라”, “수영복을 입혀라” 등의 명령어를 입력하면 그록은 인물의 신체 형태를 추정해 노출이 심한 모습으로 이미지를 재구성했다. 그록도 완전한 나체 이미지는 생성하지 않지만, 이 과정에서 연령이나 본인 동의 여부 등 걸러내는 장치가 제대로 작동하지 않으면서 아동으로 보이는 이미지까지 생성·확산됐다는 지적이 나왔다. 최근 프랑스와 인도 등 국가의 규제당국은 잇따라 조사에 착수했다.

그록 생성 이미지. 어린아이에게 끈으로 된 비키니를 입히라는 명령어를 입력한 결과. 사진 X(엑스·옛 트위터) 캡처

그록은 xAI가 개발한 생성 AI 챗봇으로 소셜미디어(SNS) 플랫폼 X에 직접 연동돼 있는 것이 특징이다. 이용자가 텍스트나 이미지를 입력하면 그 결과를 X에서 바로 확인할 수 있어 다른 생성 AI보다 개방적이고 즉각적인 사용 경험을 앞세워 왔다. 최근에는 ‘산타 클로스가 다양한 상황에 등장하는 이미지’를 자동 생성하는 기능이 화제가 되면서 국내에서도 이용 사례가 빠르게 확산된 바 있다.

또 그록은 실존 인물 사진을 성적으로 변형하는 행위에 대한 제한이 상대적으로 느슨했다. 오픈AI와 구글 등 주요 AI 기업들이 실존 인물이나 미성년자의 성적 이미지 생성을 원천적으로 차단하는 것과 달리, 그록은 일정수위까지는 생성이 가능해 반복적인 악용이 가능했다는 지적이다.

이를 계기로 플랫폼과 AI 개발사의 책임을 둘러싼 논란도 확산되고 있다. 머스크는 X를 인수한 이후 표현의 자유를 중심에 둔 운영 철학을 강조해 왔지만, 이러한 접근이 AI 영역에서는 오히려 리스크로 작용하고 있다는 평가가 나온다. 그록은 출시 초반부터 다른 생성 AI보다 규제를 최소화한 점을 차별화 전략으로 내세웠으나, 이로 인해 규제 리스크를 가장 정면으로 맞닥뜨리게 된 것. 블룸버그는 “다른 빅테크들은 미성년자를 포함한 실제 인물을 이용한 성적인 콘텐트 생성을 막기 위해 노력하지만, xAI는 다르다. 훨씬 무질서한 환경”이라고 보도했다.

미국과 유럽에서는 비동의 성적 이미지와 딥페이크 확산을 막기 위해 플랫폼 책임을 강화하는 입법 논의가 확산되고 있다. 미국에서는 지난해 연방 차원에서 개인의 동의 없이 AI를 포함한 수단으로 성적인 이미지를 제작·유포하는 행위를 금지하고, 신고 후 48시간 내 삭제 의무를 플랫폼에 부과하는 ‘테이크 잇 다운 법(Take It Down Act)’이 발효됐다. 유럽연합(EU)은 디지털서비스법(DSA)과 AI법(AI Act)을 통해 불법 콘텐트의 신속한 제거와 AI 생성·조작 콘텐트에 대한 책임을 플랫폼에 부과하고 있다.

인터넷에 유통되는 불법·유해 정보를 심의하는 방송미디어통신심의위원회는 AI가 이미지를 만들어내는 방식이나 알고리즘 자체에는 개입하기 어렵다는 입장이다. 방미심위 관계자는 “위원회는 이미 인터넷에 올라와 유통되는 정보를 사후적으로 심의하고 있어 AI 생성 이미지인지, 특정 플랫폼에서 만들어졌는지를 따로 구분해 관리하고 있지는 않다”며 “생성 AI가 만들어내는 부적절한 콘텐트를 규제하는 것에 대해서는 관련 부처에서 입법과 제도 개선 등을 준비하고 있다”고 말했다.