이 글은 과거 학회지에 기고한 원고를 JEWOOK OH Advisory의 Insight 형식에 맞게 일부 편집한 글입니다. 원문의 논지와 사례는 유지하되, 웹에서 읽기 쉽도록 구조와 표현을 다듬었습니다. 시장 규모나 기술 현황에 관한 일부 서술은 원고 작성 당시를 기준으로 합니다.

2018년 미국 TIME은 ‘인터넷에서 가장 영향력 있는 인물 25인’ 가운데 한 명으로 Miquela Sousa, 이른바 릴 미켈라(Lil Miquela)를 선정했다. 도널드 트럼프, 리한나, BTS 같은 실존 인물들 사이에 가상의 인물이 이름을 올린 것이다. 버추얼 휴먼이 더 이상 기술 데모가 아니라 대중과 관계를 맺고 영향력을 행사할 수 있는 존재로 받아들여지기 시작했다는 상징적인 장면이었다.

그 후 몇 년 사이 기술은 급격히 발전했다. 어떤 디지털 존재는 실제 사람과 구별하기 어려울 정도의 얼굴을 갖게 되었고, 어떤 존재는 특정인의 목소리와 말투를 재현하고, 어떤 존재는 실시간으로 사람과 대화한다. 생성형 AI가 이미지·음성·영상 제작의 문턱을 낮추면서 버추얼 휴먼을 만드는 일은 과거보다 훨씬 쉬워졌다.

그러나 기술의 발전 속도와 시장의 성장 속도가 언제나 일치하는 것은 아니다.

인간을 닮게 만드는 기술은 빠르게 보편화되고 있다

2020년 CES에서 삼성전자는 ‘네온(NEON)’ 프로젝트를 공개했다. 사람의 얼굴과 몸, 음성, 표정과 움직임을 조합해 실존 인물처럼 보이는 디지털 존재를 구현하려는 시도였다. 당시에는 개별 모듈이 많은 하드웨어 자원을 요구했고, 실제 시연 과정에서는 버퍼와 그래픽 오류도 발생했다. 그럼에도 네온이 보여준 방향은 명확했다.

인간을 디지털로 재현하려면 얼굴만 닮게 만드는 것으로 충분하지 않다. 목소리, 표정, 몸의 움직임, 발화의 자연스러움, 상황에 맞는 반응 등 여러 모달리티가 함께 작동해야 한다.

이후 Synthesia, HeyGen을 비롯한 여러 기업이 이러한 문제를 상용 서비스의 영역으로 끌어왔다. 사용자가 아바타를 선택하고 문장을 입력하면 자연스럽게 발화하는 영상을 만들 수 있고, 립싱크와 표정, 몸의 움직임도 빠르게 개선되고 있다. 국내에서도 여러 기업이 디지털 더블과 AI 아바타를 개발하고 있다.

여기에 보이스 클로닝과 TTS 기술이 발전하면서 목소리의 재현도 쉬워졌다. 이미지 생성 AI와 영상 생성 AI는 외모와 장면을 만드는 비용을 낮췄고, 특정 캐릭터의 일관성을 유지하는 기능도 계속 개선되고 있다.

기술만 놓고 보면 버추얼 휴먼을 구성하는 요소들은 빠르게 범용화되고 있다.

기술이 고도화될수록 오히려 ‘무엇을 만들 것인가’가 중요해진다

기술의 희소성이 낮아지면 경쟁력의 중심은 자연스럽게 다른 곳으로 이동한다.

2020년 디오비스튜디오를 창업하고 실존 인물을 촬영한 뒤 얼굴 부분을 AI로 교체하는 방식의 버추얼 휴먼을 개발했다. 첫 버추얼 휴먼 ‘루이(Rui)’는 숙련된 아이돌 지망생을 섀도우 액터로 두고, 실제 사람의 노래와 움직임 위에 가상 얼굴을 결합해 활동하게 했다.

당시에는 높은 품질의 가상 얼굴 자체가 주목을 받을 수 있었다. 하지만 대중이 루이를 좋아한 이유가 얼굴 합성 기술 때문만은 아니었다. 노래를 잘했고, 콘텐츠 속에서 캐릭터가 살아 있었으며, 팬들이 반응할 수 있는 서사가 존재했다.

신기한 기술은 사람을 잠시 멈춰 세울 수 있다. 그러나 계속 보게 만들고, 좋아하게 만들고, 관계를 맺게 만드는 힘은 기술 너머에서 나온다.

디오비스튜디오가 고 임윤택님을 복원한 방송 프로젝트나 배우 윤여정님의 젊은 시절을 재현한 광고 프로젝트 역시 마찬가지였다. 기술은 중요한 수단이었지만 프로젝트의 가치는 ‘얼마나 감쪽같은가’만으로 설명되지 않았다. 유가족과 팬의 기억, 대중이 느끼는 감정, 콘텐츠가 전달하는 이야기와 맥락이 기술의 의미를 만들었다.

생성형 AI는 제작 비용을 낮추지만 사업의 본질을 대신해주지 않는다

생성형 AI의 발전은 버추얼 휴먼 산업에 큰 기회를 제공하고 있다. 과거에는 많은 인력과 비용이 필요했던 이미지와 영상을 개인도 만들 수 있게 됐다. 작은 팀도, 심지어 개인도 캐릭터를 만들고 콘텐츠를 제작하며 시장 반응을 확인할 수 있다.

그러나 제작 비용이 낮아진다는 것은 진입장벽도 함께 낮아진다는 뜻이다.

누구나 비슷한 품질의 얼굴을 만들고, 자연스러운 목소리를 생성하며, 짧은 영상을 제작할 수 있는 시대라면 ‘우리가 더 좋은 기술을 쓴다’는 주장만으로는 장기적인 경쟁력이 되기 어렵다.

사업 관점에서는 오히려 다음 질문이 중요해진다.

• 왜 이 캐릭터가 존재해야 하는가.
• 누구와 어떤 관계를 맺을 것인가.
• 사용자는 왜 이 존재를 다시 만나고 싶어 하는가.
• 어떤 콘텐츠와 서사가 축적되는가.
• 그 관계가 어떤 경제적 가치로 연결되는가.

버추얼 휴먼은 소프트웨어이면서 동시에 콘텐츠이고, 캐릭터이면서 브랜드이며, 때로는 하나의 미디어다. 기술 하나만으로 정의하기 어려운 사업이다.

플레이브가 보여준 역설

이런 관점에서 플레이브(PLAVE)의 성공은 흥미롭다.

플레이브는 실제 사람처럼 보이는 하이퍼리얼리스틱 버추얼 휴먼이 아니다. 애니메이션 스타일의 3D 캐릭터이며, 그 성공을 설명할 때 최첨단 AI 기술이 가장 먼저 언급되는 것도 아니다.

그럼에도 음악 방송 1위, 콘서트 매진, 높은 스트리밍 성과와 팬덤을 만들어냈다.

팬들이 사랑하는 것은 그래픽의 사실성이 아니라 멤버들의 음악적 역량과 캐릭터, 팬들과 나누는 상호작용과 관계다. 기술은 그 관계를 가능하게 만드는 인프라에 불과하다.

버추얼 휴먼 업계가 오랫동안 해결하려 했던 문제는 ‘얼마나 인간처럼 보이게 만들 것인가’였다. 플레이브의 성공은 질문 자체를 바꾸게 한다.

‘얼마나 인간처럼 보이는가’보다
‘얼마나 인간적으로 느껴지는가’가 더 중요할 수 있다.

기술보다 오래 남는 경쟁력

앞으로 생성형 AI는 더 빠르게 발전할 것이다. 얼굴, 목소리, 움직임, 사고와 대화 능력까지 디지털 페르소나를 구성하는 대부분의 요소가 더 싸고 쉽게 구현될 가능성이 높다.

그렇다면 사업의 경쟁력은 기술을 보유했다는 사실보다 그 기술로 무엇을 만드는가에 달려 있다.

버추얼 휴먼뿐 아니라 많은 AI 사업에서 비슷한 현상이 나타날 것이다. 기술이 희소할 때는 기술 그 자체가 경쟁력이지만, 기술이 빠르게 보편화되면 고객 문제에 대한 이해, 콘텐츠와 브랜드, 유통, 관계, 실행 역량이 더 중요해진다.

버추얼 휴먼 사업을 하며 얻은 가장 큰 교훈 중 하나도 여기에 있다.

기술은 가능성을 만든다. 하지만 사업을 만드는 것은 결국 사람과 시장이다.

새로운 기술을 볼 때마다 “이 기술로 무엇을 할 수 있는가”를 묻는 것도 중요하다. 그러나 사업가라면 그 다음 질문까지 가야 한다.

“사람들은 왜 이것을 필요로 하고, 왜 계속 사용하며, 왜 기꺼이 돈을 지불할 것인가.”

기술이 빠르게 변할수록 이 질문은 오히려 더 오래 남는다.