영상 더빙의 미래 '바디톡', 판자야 출시

인공지능 기술을 활용한 번역 시장에 큰 기회가 열렸다. 스타트업 판자야는 이 기회를 활용해 영상을 위한 하이퍼리얼리틱 AI 기반 더빙 도구를 개발했다. 이 기술은 기존 스피커의 음성을 새 언어로 자연스럽게 재현하며, 영상과 스피커의 신체 움직임도 자동으로 새 음성 패턴에 맞춰 조정된다.

판자야는 3년간의 비공개 개발을 마치고 'BodyTalk'라는 첫 제품을 공개하면서 외부 투자금 950만 달러를 확보했다. 이 회사는 이스라엘 정부용 딥러닝 기술을 개발해온 힐릭 샤니와 아리엘 샬롬에 의해 설립됐다. 이들은 현재 각각 판자야의 총괄 관리자와 CTO로 활동 중이다.

판자야의 CEO에는 지난 2013년 애플에 'Matcha'라는 스트리밍 비디오 기술 스타트업을 매각한 가이 피카즈가 합류했다. 피카즈는 애플 TV와 스포츠 분야 개발에 참여한 후 판자야에 입사했다.

BodyTalk는 음성 기반 번역을 통해 29개 언어로 번역을 제공하고, 원래 화자의 음성을 모방하여 스피커의 입술과 다른 움직임이 새 언어에 맞춰 조정된 비디오를 자동 생성한다. 이 과정은 플랫폼에 영상을 업로드한 후 대시보드에서 추가 편집 도구를 사용할 수 있다. 판자야는 API 제공 및 실시간 처리에 가까운 기능 개발도 계획 중이다.

현재는 B2B 시장에 집중하고 있으며, 주 고객층은 JFrog와 TED 미디어 조직이다. 앞으로 스포츠, 교육, 마케팅, 헬스케어 및 의학 분야로 확장할 계획이다.

피카즈는 판자야의 기술이 딥페이크와 차별화된 '딥 리얼' 카테고리로 분류되길 바란다고 설명했다. 그는 이 기술이 오용되지 않도록 고객을 한정하고 도구 사용을 통제해 안전망을 구축할 계획이라고 말했다. 더불어, 수정을 감지하는 워터마킹 등도 개발해 허용된 미디어와 아닌 미디어를 구별할 수 있도록 할 것이라고 덧붙였다.

출처 : Led by a founder who sold a video startup to Apple, Panjaya uses deepfake techniques to bite into video dubbing