4·10 총선을 앞두고 법으로 금지된 딥페이크(인공지능 조작물) 콘텐츠가 급격히 확산해 대책이 필요하다는 지적이 제기된다. 딥페이크는 유명인의 발언이나 행동을 실제 영상이나 이미지처럼 합성하는 기술이다.

중앙선거관리위원회는 21일 선거자문위원회의를 열고 딥페이크 영상을 활용한 위법행위 대응 방안을 논의했다. 향후 사이버 선거 범죄 대응을 위한 AI 콘텐츠의 효과적 인지와 신고·제보 활성화, 악의적 제작과 유포 행위에 엄중 조치·대응을 다짐했다. 

선관위는 딥페이크 선거 운동 금지 공직선거법 시행 후 22일간 위법 게시물 총 129건을 적발했다. 하루 평균 7건꼴이다. 지난해 12월 통과된 해당 법에 따라 딥페이크를 활용한 선거 운동을 하면 7년 이하의 징역이나 최고 5000만원의 벌금에 처한다.

선관위는 “다른 영상에 있는 정치인의 얼굴로 ‘페이스 스왑’(Face Swap)해 영상을 만들고 실제 정치인의 목소리를 입힌 사례 등이 적발됐다”며 “자체 모니터링을 통해 인지한 다음 대부분 삭제 조치했다”고 밝혔다.

스마트폰을 사용할 수만 있다면 딥페이크 앱을 통해 전문가가 아니더라도 단 몇 분 만에 가짜 사진이나 가짜영상을 만들어 낼 수 있다.

실제로 ‘리페이스’ 앱에 주당 6500원을 내면 워터마크 없는 딥페이크 이미지가 생성된다. 특정 인물의 사진과 합성을 원하는 다른 사진, 영상을 올리면 얼굴을 덧입혀주는 방식이다.

정치권에서는 총선에 가까워지면서 SNS상 딥페이크 가짜뉴스가 늘어나면 선관위의 현재 인력으로 신속 대응이 어려워지는 것 아니냐는 우려가 나온다. 

현재 선관위 전담팀 인력은 모니터링반, 인공지능(AI) 감별반, 분석·삭제반, 조사·조치반, 검토 자문단을 포함해 72명이다. 3단계에 걸친 딥페이크 선별 작업은 오래 걸리기 때문에 게시 기간 동안 선거판을 흔들 개연성이 크다는 점이 있다.

김덕진 IT커뮤니케이션 연구소 소장은 최근 CBS 라디오 '김현정의 뉴스쇼' 인터뷰에서 "정말 사람이 하나하나 보면서 다 승인하지 않는 이상은 걸러내기가 어렵다"며 "알고리즘이 계속 개발되고 그 안에서 서비스마다의 데이터의 사용들이 다르다 보니까 모니터링하는 시스템을 바로바로 만든다는 건 좀 어렵다"고 말했다.

미국 기업 인텔은 지난해 11월 딥페이크 영상 탐지 도구 '페이크 캐처'를 개발하기도 했다. 사람 얼굴에서 혈류를 탐지하는 기술을 활용해 1000분의 1초 안에 딥페이크 여부를 판정해 알려준다.

국내 빅테크 기업도 딥페이크 악용 차단에 나섰다. 이날 업계에 따르면 네이버는 자사의 인공지능 서비스 클로바X에 ‘음란성 콘텐츠’나 ‘얼굴 합성’ 요청에 결과물을 내놓지 않기로 했다. 

카카오의 AI 연구 전문 자회사인 카카오브레인은 생성 AI 모델 ‘칼로’에 비가시성 워터마크 기술 도입을 검토하고 있다. 비가시성 워터마크는 기술적으로 AI를 활용해 생성된 이미지임을 알 수 있게 하는 기술로, 일반 이용자에게는 보이지 않는다.

여당에서는 당국과 업계의 강력한 대책을 주문했다. 배윤주 국민의힘 상근부대변인은 20일 논평을 통해 “딥페이크와 가짜뉴스가 유권자를 기만하고 선거의 공정성을 해치는 일이 발생하지 않도록, 중앙선거관리위원회와 관련 업계가 함께 책임 의식을 갖고 협력체계 구축에 힘써야 할 때”라며 “당국의 정교한 단속과 함께 국내 플랫폼·테크 기업들의 자체 검증과 기술 지원 등 자발적 동참이 절실하다”고 밝혔다. 

이어 “외국은 딥페이크를 활용한 선거 왜곡 시도가 심각해지는 상황에 구글과 오픈 AI(인공지능) 등 20개의 글로벌 빅테크 기업이 연합군을 만들어 대응하기로 협약까지 맺었지만, 우리나라 대형 테크 기업들은 선관위로부터 신고가 들어오는 경우에만 처리하겠다는 입장”이라고 강조했다.