用AI技术让演员换口或者解决口与字幕或者配音不同步的问题

admin 2947 0
用AI技术让演员换口或者解决口与字幕或者配音不同步的问题

百度网盘课程

通用入口链接!10000G.课程都有!一起学习吧!

立即点击↓ 获取课程!

近日,英国AI创业公司无暇(speak)利用Deepfake调整演员面部表情,让他们可以换张嘴说外语,从而解决了观众看外国电影时演员嘴巴与字幕或配音不同步的问题。

该公司将这种视觉翻译技术产品命名为TrueSync。有了这个工具,汤姆汉克斯在《阿甘正传》也能流利地说日语。

电影用TrueSync翻拍后,即使一个演员用英文拍电影,对于听中文配音的观影者来说,好像所有的演员都在说中文。

第一,多语言视觉翻译,Deepfake释放了电影的潜力

用Deepfake技术换视频是有一定风险的,因为会制造出以前从未发生过的场景,让演员说出自己没说的话。比如杨幂变脸等视频的出现,给当事人带来一定的困扰。

而Deepfake技术也可以让电影制作更方便,成本更低,释放电影的真正潜能。

事实证明,以前多语种配音或换字幕的方式会降低电影质量,让外国观众更难受。

天衣无缝公司的TrueSync工具将Deepfake技术应用到电影制作中,电影制作人和内容所有者都可以使用TrueSync工具将外语电影直观地翻译成任何观众的母语。

二、改变口型后就看不到片子了?尽可能保留表演的细节

天衣无缝汇集了人工智能科学家、电影制作人和技术人员,天衣无缝开发的TrueSync工具是世界上第一个使用人工智能以多种语言创建完美假唱可视化的系统。

TrueSync可以最大限度的保持原片的质量和沉浸感,保留所有演员的表演细节。

所以,你不用担心Deepfake技术会破坏电影的整体情绪。

随着计算机图形学的飞速发展,Deepfake技术也在不断迭代。

现在,业余创作者只需要使用手机和电脑,也可以创作好莱坞级别的电影,而不消耗好莱坞电影的类似成本。

比如以前手动擦除视频剪辑中的对象是一个耗时的过程,需要逐帧调整,现在编辑软件可以自动处理。

三、编辑、鬼畜福音,“AI改口”技术逆天

近年来,AI图像处理能力不断突破,各国AI改口技术不断创新迭代。

海德拉巴大学和巴斯大学开发了一种叫做Wav2Lip的AI模型,可以在视频中同步生成准确的唇语。任何角色身份,甚至是动漫角色,任何声音和语言,都可以高精度地将嘴部视频同步到任何目标语音。

华盛顿大学基于公开的音频和视频剪辑,用AI分析了数百万张图像,确定嘴唇、牙齿和嘴角等面部变化,生成了几乎完美匹配口型、高保真度的假视频。

此外,斯坦福大学、马克斯普朗克信息学研究所、普林斯顿大学和Adobe Research的研究人员组织了一个团队来创建人工智能算法。给定任何文本,一个视频中人物的文字都可以随便改动,改动后看不到篡改痕迹。

结论:Deepfake提高了视频制作效率

随着Deepfake技术的发展,电影制片人不仅可以降低电影翻译的成本,还可以在演员读错台词时进行补救,从而从整体上提高电影制作效率。

2017年出生的Deepfake,近年来饱受诟病。然而,随着监管的严格和技术人员素质的提高,Deepfake的商业场景不断扩大,显示出其在内容制作领域的潜力。

版权声明:内容来源于互联网和用户投稿 如有侵权请联系删除

本文地址:http://0561fc.cn/35876.html