(주)딥로딩, '성우 없는 더빙' 시대 열다… 배우 감정·음색 그대로 영어·일본어 자동 합성

AI 전문기업 (주)딥로딩이 성우 섭외·녹음·편집에 수개월이 걸리던 전통 더빙 방식을 대체하는 외국어 AI 더빙 기술을 개발했다고 밝혔다. 한국 드라마·영화 원본 배우의 음성을 분석해 감정·억양·타이밍을 그대로 유지한 채 영어·일본어 등 외국어 음성을 자동 합성하는 기술로, K-콘텐츠의 글로벌 현지화 비용과 제작 기간을 획기적으로 단축할 수 있다는 평가다.

기존 TTS(텍스트 음성 변환) 기술이 대사를 기계적으로 읽어주는 수준에 그쳤다면, 딥로딩의 시스템은 드라마 장면의 극적 흐름과 배우 개인의 연기 톤까지 외국어로 이식한다. "배우의 감정이 번역된다"는 것이 핵심 차별점이다.

■배우의 감정·음색을 외국어로 이식하는 AI 더빙 기술

딥로딩의 AI 더빙 시스템은 영어·일본어·한국어를 동시에 처리하며, 배우의 감정과 음색을 외국어로 정밀하게 이식한다.

첫 번째는 감정 인식 기술이다. 한국어 원음에서 분노·슬픔·기쁨·긴장감 등 감정을 정밀하게 읽어낸 뒤, 해당 감정이 외국어 발화에서도 자연스럽게 표현되도록 처리한다. 두 번째 Voice Cloning 기술은 등장 배우의 음색·리듬·말투를 학습해 외국어 발화에서도 배우 고유의 연기 톤을 재현한다. 시청자가 '같은 배우가 말하는 것처럼' 느끼게 만드는 핵심 기술이다.

세 번째는 음색 일관성 유지 기술이다. 짧은 참조 음성만으로도 에피소드 전체에 걸쳐 배우 고유의 음색이 흔들리지 않고 일관되게 유지된다. 네 번째 화자 분류 기술은 장면에 등장하는 복수의 화자를 자동 식별·분류하여 각 배우에 맞는 음성 복제 설정을 정확히 적용한다. 군중 장면이나 다중 대화 씬에서도 혼선 없이 동작한다.

특히 딥로딩은 전통적인 더빙 제작에서 필수로 여겨지던 성우 가이드 녹음 없이 고품질 더빙 구현에 성공했다. 기존에는 외국어 성우가 연기 방향을 잡기 위해 원어 성우의 가이드 음성이 반드시 필요했으며, 섭외·스케줄 조율·스튜디오 녹음에 상당한 시간과 비용이 수반됐다. 딥로딩의 시스템은 AI가 원본 배우의 감정과 연기 톤을 직접 분석하기 때문에, 성우 가이드 없이도 동등한 수준의 결과물을 만들어낸다.

■인간 성우도 구현하기 어려운 절규·속삭임·겹말까지 재현

이 시스템의 기술 특징은 감정 표현의 깊이에 있다. 분노·울음·절규·속삭임·겹말·혼잣말 등 인간 성우도 구현하기 까다로운 고급 감정 표현을 AI로 재현한다. 또한 대사 한 줄 단위가 아닌 장면 전체의 흐름, 인물의 감정 변화, 앞뒤 대사의 맥락을 이해하고 더빙하는 '장면 단위 컨텍스트 인식 더빙' 방식을 채택했다.

립싱크 정합도도 핵심 과제였다. 딥로딩은 한국인 배우의 입 모양과 외국어 더빙 음성을 정밀 동기화하는 기술을 적용해 시청자의 이질감을 원천 차단했다. 아울러 프롬프트·태그 기반 정밀 후처리 제어를 통해 연출 의도에 맞는 미세 조정이 가능한 편집 친화적 아키텍처를 구현, 제작 현장에서의 실용성도 확보했다.

"딥로딩은 "기존 더빙 시장의 병목은 감정을 이해하는 사람, 즉 성우에 있었다"며 "딥로딩의 기술은 배우의 감정 자체를 언어에 관계없이 이전하는 것이 목표다. K-콘텐츠가 전 세계에서 소비되는 속도에 맞춰 현지화도 실시간으로 따라갈 수 있게 될 것"이라고 밝혔다."