이 글은 과거 교육용으로 작성한 「딥페이크 기술의 이해」 원고를 일반 독자가 읽는 Insight 형식으로 재편집한 글입니다. 사건과 수치에 대한 서술은 원고 작성 당시를 기준으로 합니다.

‘딥페이크’라는 단어는 이제 기술명이라기보다 범죄를 연상시키는 단어가 됐다. 유명인의 얼굴을 합성한 음란물, 학생과 교사를 대상으로 한 성착취물, 가짜뉴스와 보이스피싱이 연이어 보도되면서 딥페이크는 그 자체가 위험한 기술처럼 받아들여진다.

그 우려에는 충분한 이유가 있다. 그러나 딥페이크를 제대로 이해하려면 기술과 사용을 구분해서 볼 필요가 있다.

딥페이크는 문자 그대로 deep learning의 ‘deep’과 ‘fake’의 합성어다. 넓은 의미에서는 딥러닝으로 생성하거나 변형한 이미지·음성·영상 등 다양한 결과물을 포함할 수 있다. 오늘날 통상적으로는 사람의 얼굴이나 목소리를 실제처럼 합성하거나 교체하는 기술을 가리키는 경우가 많다.

문제는 이 기술이 무엇인가보다 누구의 데이터를 어떤 동의 아래, 어떤 목적으로 사용하는가에 있다.

같은 기술이 피해자를 숨기기도 한다

딥페이크의 순기능을 잘 보여주는 사례 중 하나는 다큐멘터리 Welcome to Chechnya다.

이 작품은 체첸에서 박해받는 성소수자들의 이야기를 다뤘다. 인터뷰이의 신원을 보호해야 했지만, 얼굴을 모자이크로 가리면 표정과 감정이 사라지고 목소리를 변조하면 전달력이 떨어진다.

제작진은 인터뷰이의 얼굴을 다른 얼굴로 바꾸는 방식으로 신원을 보호하면서도 표정을 유지했다. 기술은 ‘가짜 얼굴’을 만들었지만 그 목적은 오히려 실제 사람의 안전과 진실한 감정을 지키는 것이었다.

국내에서도 SBS <그것이 알고 싶다> 딥페이크 관련 방송에서 피해자의 신원을 보호하면서 표정을 전달하기 위해 유사한 방식이 활용된 사례가 있다.

기술만 놓고 보면 범죄에 사용되는 얼굴 합성과 같은 범주다. 하지만 사용 목적은 정반대다.

창작의 비용과 한계를 바꾸다

생성형 AI가 대중화되면서 딥러닝 기반의 창작은 예술과 콘텐츠 제작의 문턱도 크게 낮췄다.

이미지 생성 AI로 만든 작품이 미술대회에서 수상하면서 ‘인간이 얼마나 직접 창작해야 저작물인가’라는 논쟁이 시작됐고, 여러 국가의 저작권 기관은 인간의 창작적 기여가 어디까지 존재하는지를 기준으로 새로운 판단을 내리고 있다.

이 변화에서 중요한 것은 AI가 예술가를 대신한다는 단순한 결론이 아니다.

과거에는 구현 능력이 부족해서 머릿속의 이미지를 표현하기 어려웠던 사람도 이제 프롬프트와 편집 도구를 사용해 결과물을 만들 수 있다. 창작에 필요한 기술적 역량의 일부가 소프트웨어에 의해 보완되면서 더 많은 사람이 창작자가 될 수 있는 가능성이 열린 것이다.

동시에 누가 창작자인지, 학습 데이터와 결과물의 권리는 누구에게 있는지, 어디까지를 인간의 창작으로 인정할 것인지라는 새로운 문제가 생긴다.

기술이 생산성을 높일 때 제도와 윤리의 문제가 함께 커지는 전형적인 사례다.

딥페이크 기술로 버추얼 휴먼을 만들었던 이유

디오비스튜디오를 창업하고, 실존 인물을 촬영한 뒤 얼굴 부분만 AI로 교체하는 방식의 버추얼 휴먼을 개발했다.

2020년 공개한 ‘루이(Rui)’ 역시 이런 방식으로 제작했다. 섀도우 액터가 실제로 노래하고 움직이는 영상 위에 가상의 얼굴을 적용했다. 모든 장면을 3D 그래픽으로 만드는 것보다 자연스러운 움직임과 콘텐츠 생산성을 확보하면서도, 실제 인물과 다른 페르소나를 만들 수 있었다.

이 방식의 중요한 전제는 권리였다.

버추얼 휴먼이라는 이름을 붙였다고 해서 타인의 얼굴을 임의로 사용할 수 있는 것은 아니다. 어떤 데이터로 가상 얼굴을 만들고, 촬영된 사람과의 초상권 계약은 어떻게 구성하며, 결과물에 어떤 권리가 존재하는지부터 설계해야 했다.

기술로 '이게 된다'고 해서 윤리와 도덕과 상식을 고려하지 않고 사업을 벌이면 세상을 이롭게 하는 사업이 아니라 세상을 혼란하게 하는 사업이 생겨날 가능성이 높다.

사라진 사람을 다시 만나는 경험

딥페이크 기반의 가상 얼굴 생성 기술은 적용 가능한 분야가 의외로 많다.

디오비스튜디오는 방송 프로젝트에서 고 임윤택님의 모습을 복원하는 작업에 참여했다. 유가족과 팬들에게는 고인을 조금 더 생생하게 기억할 수 있는 경험이었다.

이후 배우 윤여정님의 수십 년 전 데뷔 초 모습을 복원했고 찰스 다윈, 마릴린 먼로와 같은 역사속 유명인을 재현하는 작업도 이어졌다.

이런 프로젝트를 진행하면서 기술의 의미가 단순한 ‘합성 정확도’를 넘어선다는 사실을 실감했다. 누군가에게는 엔터테인먼트이지만 다른 누군가에게는 추모와 기억과 감동의 기술이 될 수 있다.

동시에 더 민감한 질문도 따라온다.

고인을 디지털로 복원할 권리는 누구에게 있는가.
당사자가 생전에 동의하지 않은 말이나 행동을 디지털 존재에게 시켜도 되는가.
복원된 인물을 상업적으로 사용하는 기준은 무엇이어야 하는가.

기술이 좋아질수록, 사업 가능성이 높아질수록 이런 질문은 더 중요해진다.

사업 현장에서 마주한 불편한 요청

디오비스튜디오가 딥페이크 기반 버추얼 휴먼과 인물 복원 프로젝트로 알려지면서 좋은 제안만 이어졌던 것은 아니다.

루이, 고 임윤택님, 배우 윤여정님, 인플루언서와 광고 모델로 활약한 십여 명의 버추얼 휴먼들로 디오비스튜디오가 유명해지면서 다양한 얼굴 변환 문의가 들어왔다. 그중에는 성인용 콘텐츠에 출연했던 인물의 얼굴을 다른 얼굴로 바꿔 기존 영상을 계속 사용하고 싶다는 취지의 요청도 있었다. 또 사망한 종교 지도자를 실제로 부활한 것처럼 구현해달라는 요청도 있었다.

권리와 윤리 측면에서 문제가 있다고 판단한 요청은 모두 거절했다.

기술적으로 가능하다고 해서, 큰 돈을 벌 수 있다고 해서 편법과 불법을 용납하면 그 사업이 범죄와 다를게 뭐가 있겠는가. 특히 강력한 딥페이크 기술이 성적 콘텐츠, 종교적 콘텐츠에 악용되는 것은 재앙에 가까운 문제를 만들어낼 수 있음을 잘 알기에 지금도 그때 거절했던 것을 후회하지 않는다.

2021년 당시와는 비교하기 어려울 만큼 발전한 AI 기술은 악용될 경우 이미 충분히 위협적인 수준에 도달했다. 모든 기업이 마찬가지지만 특히 AI 기술 기업은 돈 너머 더 중요한 가치를 우선해야만 한다.

보이스피싱을 넘어 페이스피싱으로

생성 AI가 발전하면서 얼굴 뿐만 아니라, 몇 초 분량의 음성만으로 특정인의 목소리를 모사하는 보이스 클로닝 기술이 등장했고, 실제 가족의 목소리처럼 들리는 가짜 음성을 이용한 납치 협박과 보이스피싱 사례가 발생했다.

감쪽같은 딥페이크 음성 클론 기술에 아직 놀라고 있는데 금방 음성과 얼굴이 결합된 높은 완성도의 영상 클론 기술이 튀어나왔다.

화상회의에 등장한 동료와 경영진의 얼굴과 목소리가 모두 가짜라면 사람은 무엇을 믿어야 할까. 실제로 해외에서는 딥페이크 화상회의를 이용해 기업 자금을 편취한 사건이 발생했다.

과거에는 합성물을 만드는 데 긴 시간이 필요했기 때문에 실시간 대화가 일종의 방어막이었다. 이제 그 시간차가 급격히 줄고 있다. 실제 사람의 일상 대화와 다를 바 없는 속도로 실시간 대화가 가능해진 것이다.

기술을 금지하는 것만으로는 해결되지 않는다

딥페이크는 분명 위험하다. 범죄에 악용되면 개인에게 회복하기 어려운 피해를 줄 수 있고, 기업과 사회의 신뢰 시스템 자체를 흔들 수도 있다.

그러나 같은 기술이 피해자의 신원을 보호하고, 새로운 창작을 가능하게 하고, 기억과 추모의 방식을 바꾸기도 한다.

그래서 문제를 ‘좋은 기술과 나쁜 기술’로 나누는 방식만으로는 충분하지 않다.

중요한 것은 데이터의 출처와 동의, 사용 목적, 권리, 책임, 그리고 악용을 제한하기 위한 제도와 제품 설계다.

그리고 더 중요한 것은 AI 리터러시다.

기업은 “만들 수 있는가” 다음에 반드시 질문해야 한다.

“이것을 만들어도 되는가.”

사용자 역시 눈앞의 영상과 목소리가 더 이상 사실의 증거가 아닐 수 있다는 새로운 미디어 환경에 적응해야 한다.

모든 기술은 사람을 위해 태어났지만, 사람이 어떻게 사용하느냐에 따라 사람을 이롭게 하기도 하고, 해치기도 한다.

식칼이 셰프의 손에 들려있느냐, 강도의 손에 들려있느냐에 따라 정체성이 달라지듯, AI 기술 또한 사용자에 따라 그 가치 평가가 달라진다.

그리고 식칼을 든 강도가 거리를 활보하지 못하게 하는 것은 법과 제도, 그리고 사회의 감시다. AI도 다르지 않다. 이제 우리는 AI가 좋은 도구로 쓰이고 있는지, 아니면 누군가를 해치는 흉기로 쓰이고 있는지 두 눈 부릅뜨고 지켜봐야 한다.