생성형 AI의 부정적인 활용 사례 중 대표적인 한 가지인 딥페이크(Deepfake) 범죄가 사회적으로 심각한 문제가 되고 있습니다.
딥페이크(Deepfake)란?
- 딥러닝(Deep Learning)과 가짜(Fake)의 합성어로, AI를 기반으로 이미지를 합성이미지를 생성하는 기술이다.
이미 몇 년 전부터 정교하게 만들어진 딥페이크 합성물이 이슈가 되어 왔었는데요. 이와 관련된 사회적 합의나 규제, 정책, 관련 법안 등의 준비가 지지부진한 가운데 딥페이크 성범죄라는 거대한 사태가 발생하고 말았습니다.
대책마련에 분주한 상황이지만, 당장은 이를 해결하기 요원해 보이는데요. 현시점에서 딥페이크 범죄 상황을 되짚어보고, 어떤 대책이 있을지를 이야기해보려고 합니다.
1. 대한민국을 덮친 딥페이크 성범죄
최근 딥페이크를 활용한 합성음란물 제작 및 유포로 인한 '딥페이크 성범죄'가 사회를 혼란스럽게 하고 있습니다. 일부 대학에서 음란 영상에 여학생 얼굴을 합성한 딥페이크 영상을 생성하여 텔레그램을 통해 유포한 것 범죄사실이 발견된 이후, 유사한 범죄가 이루어지는 텔레그램방들이 계속해서 발견됨에 따라 큰 충격을 주고 있습니다.
심지어 이러한 텔레그램방이 전국의 중/고등학교를 중심으로 교사, 여학생을 대상으로 한 딥페이크 음란물을 생성하고 공유하는 대화방인 것이 밝혀졌습니다. 이는 '딥페이크 성범죄'의 피해자와 가해자의 대다수가 미성년자라는 심각한 사안임을 알 수 있습니다. (실제로 현재까지 접수된 피해자의 1/3이 미성년자이며, 입건된 피의자의 70% 이상이 10대라고 합니다.)
또한 조사가 진행될수록 학교 친구, 직장 동료, 심지어 가족까지도 대상으로 한 성범죄 사례들이 밝혀지고, 유료로 합성 나체사진을 제작해 주는 텔래그램 채널 가입자수가 무려 22만 7,000여 명으로 알려지는 등 큰 혼란을 야기하고 있습니다.
이러한 범죄 행위를 제대로 수사하거나 처벌하기에 충분한 법적/제도적 장치가 마련되지 않은 상태여서, 피해자들이 직접 증거를 모으고 있는 말도 안 되는 상황도 벌어지고 있는데요. 늦게나마 당정이 협력하여 대책을 논의하고 있지만 '소 잃고 외양간 고치는 격'이라고 생각됩니다.
2. 충분히 대비할 수 있었을 것이다.
작금의 상황이 너무나도 아쉽게 느껴지는 이유는 어느 정도 대비가 가능한 상황이었기 때문이라고 생각합니다. 불과 몇 년 전 'n 번 방 사건'이라는 사상 최악의 디지털 성범죄 사태가 있었음에도, 몇 년 전부터 이미 딥페이크로 인한 범죄사건들이 발생하고 있었음에도 불구하고 제대로 된 대책을 세우지 않았던 것이지요.
실제로 딥페이크로 인한 사회적 문제는 이미 2019년도부터 발생하고 있었습니다. 금융사기, 사이버 공격, 디지털 성범죄 등에 딥페이크가 활용되면서 세계 여러 나라에서 이슈가 되고 있었고, 생성형 AI기술이 고도화되며 이미지나 영상까지 만들어 내는 멀티모달 AI로 발전됨에 따라서 누구나 손쉽게 딥페이크 사진, 영상을 만들 수 있게 됨으로써 본격적으로 딥페이크로 발생할 수 있는 리스크를 막기 위한 논의가 이루어지기 시작했습니다.
이미 구글, 오픈 AI, 메타 등 글로벌 빅테크 기업들은 AI로 생성한 이미지에 '디지털 워터마크'를 삽입하는 방식으로 자체적인 안전장치를 마련한 상태입니다. 또한, 미국과 유럽 등 서방 국가에서는 정부 차원의 딥페이크 규제 법안을 통과시키기도 했는데요. 미국은 'AI기술 개발과 관련한 행정명령'을, 유럽연합(EU)은 'AI 규제법'을 통해서 AI로 생성한 콘텐츠에는 워터마크 삽입을 의무화하기도 했습니다.
우리나라도 이미 지난 2023년 21대 국회에서 AI 기술을 이용해 만든 가상 음향, 이미지, 영상 등에 대해 워터마크를 의무적으로 표시해야 하는 내용을 담은 정보통신망법 개정안을 발의했으나, 처리되지 못한 채 임기 만료로 폐기되었습니다.
또한 현재 22대 국회에도, AI 생성물에 가상의 정보라고 표시하는 이른바 ‘워터마크’를 넣도록 하는 등 딥페이크 혼란을 막기 위한 AI 안전장치 등의 내용이 포함된 정보통신망법 개정안과 AI관련 7개 법안이 발의된 상태입니다. 하지만 방통위원장 청문회, '방송 4 법' 처리 등 여야 간 정쟁에 휩쓸리며 제대로 된 논의조차 진행되지 않고 있다고 합니다.
이미 발의된 법안들에 대해서 충분한 논의와 처리과정을 거쳤다면, 이번 사태는 발생하지 않았거나 최소화되지 않았을까요? 너무나 아쉽습니다.
3. 개인이 할 수 있는 것은 없을까?
앞서 말씀드린 대로 '딥페이크 성범죄' 사태로 인하여 많은 피해자가 발생하게 되었으며, 많은 여성들이 딥페이크 포비아를 겪고 있습니다.
하지만 정부나 사법, 수사기관 등에서 적절한 조치를 취하고 있지 못하기 때문에, 개인들이 스스로를 지키는 것이 현재로서는 최선인 상황으로 보입니다.
조금이라도 피해를 막기 위해 한 중학생이 만든 '딥페이크 피해학교 지도'가 큰 호응을 얻고 있고, 많은 여성들이 다른 사람에게 보일 수 있는 공간에서 사진을 내리는 등 적극적인 행동을 하고 있습니다.
추가적으로는 나이트쉐이드나 글레이즈 등과 같이 AI로부터 이미지를 지킬 수 있는 기술을 활용하는 방법도 있을 것 같습니다. 물론 위 기술들은 AI학습 모델을 오염시키는 것을 목적으로 하는 저작권 방어체계이기 때문에, 딥페이크로부터의 방어가 얼마나 효과적인지는 검증되지는 않았습니다만 부득이 사진을 올려야 하는 경우에는 해당 기술을 적용해 보는 것도 방법이 될 수 있겠습니다.
나이트쉐이드 다운로드 링크 : https://nightshade.cs.uchicago.edu/downloads.html
정말 상상하기도 어려울 정도의 저열하고 비겁한 성범죄가 발생한 것에 참담함을 느끼는 요즘입니다.
항상 새로운 기술이 등장하면 이를 악용하는 사례가 더 빨리 퍼져 사회를 뒤흔드는 것이 하루 이틀 일은 아니지만, IT 강국이라고 불리는 대한민국은 사건이 발생한 이후에나 부랴부랴 대응방안을 준비하는 경향이 있어 너무나 아쉽습니다.
하루빨리 법적/제도적으로도 범죄로부터 국민을 지킬 수 있고, 기술적으로도 악용을 방지할 수 있는 날이 오기를 기대합니다.