CGI面孔很快就会与真实面孔无法区分。这是如何做


iSpeech

立方运动扫描技术mocap siren live

不久前,一家名为Cubic Motion的英国计算机图形公司的总裁安迪伍德正在参加一个会议,帮助将其技术推广到洛杉矶的一家大型游戏工作室。为了展示他们的能力,Cubic Motion的团队使用游戏工作室的一个商标属性创建了一个动画过场动画:一个程式化的女性半人半动物角色。

演示进展顺利,预渲染的过场动画令人信服地提供了工作室的剧本。然后Cubic Motion团队执行了商定的主冲程;他们希望的特技能让他们获得合同。

交付了预先写好的线条后,过场动画中的角色打破了第四面墙。它转向相机,似乎在对房间里的商业主管进行了抨击,并开始逐个解决这些问题。这也不是预编程的技巧。它发生的预渲染过场动画根本没有预渲染。它由世界另一端的曼彻斯特的表演者现场演出,他正在实时转变为游戏工作室的角色。当角色“脱离剧本”并开始与房间里的人互动时,效果是惊人的。

立方运动扫描技术mocap siren

“我从来没有见过像这样的反应,”伍德告诉数字趋势。 “房间里的每个人都听得喘不过气来。有人抓住了我的胳膊,因为他们无法相信发生的事情。“Cubic Motion赢得了合同。

要理解为什么这么重要,你需要了解一下动作捕捉角色通常被捕获的方式。动作捕捉演员通常会提前录制。他们穿着合身的身体套装,上面覆盖着许多小点,无论是LED还是类似于微型乒乓球的东西。这些被称为标记,用于为动画师提供参考点,用于在三维时间和空间中跟踪身体的运动。一旦完成这个过程,动画师就可以开始充实完成的图形:完全加入点,直到它们具有类似于他们希望创建的任何角色的东西。

立方运动扫描技术mocap警报器关闭

Cubic Motion的方法不同。该公司开发了无标记技术,用于模型的实时跟踪;旨在将它们瞬间转换为强大的完整渲染,以每秒60帧的丝般顺畅运行。这涉及一些令人印象深刻的机器学习算法,它们能够拍摄面部图像并分离其组成部分,以数字方式标记不同的元素,并允许以接近前所未有的细节捕获它。

“就我们所知,世界上没有人能够通过计算机视觉实现面部捕捉,就像我们这样做,达到Cubic Motion所做的实时保真度,”伍德继续道。

虽然你很有可能以前没有听过Cubic Motion的名字,但你几乎肯定会知道它的作品。其世界一流的面部动画技术已被用于诸如战争之神 ,失眠症的蜘蛛侠国歌血与真理等游戏中 。而且还有很多东西要来。

咕噜的问题

对于许多阅读此内容的人来说,来自彼得杰克逊获得奥斯卡奖的“指环王”电影三部曲中的咕噜仍然是动作捕捉表演的高潮。这是观众第一次看到一个CGI角色,他表现得像电影三部曲中任何一个更容易识别的人物角色一样充满感情。

“我经常使用Gollum [来自指环王三部曲]作为一个可信的动作捕捉传递角色的基准,”伍德说。 “但是当Andy Serkis扮演Gollum时,他被追踪使用动作捕捉,要求他在脸上戴上多个标记。该团队做得非常出色,但也有局限性。例如,你不能在人们的眼睛上放置标记点。你不能跟踪舌头,等等。为了达到最终效果,需要一个庞大的艺术家团队来做一些事情,比如手动动作他的眼球运动,因为这些都无法跟踪。通过我们的无标记跟踪,可以记录从眼睛眨眼到瞳孔扩张的每个表达 - 并且还可以实时记录。

当然,Cubic Motion并不是孤立地完成所有这些工作。它与其他业界领先的公司合作,如Epic Games,腾讯,3Lateral和Vicon,他们开发了从高清扫描仪到虚幻游戏引擎的所有产品。但Cubic Motion的贡献是深远的。其技术提供了将所有其他部分集合在一起的支持基础。没有多少高清酒窝,完美阴影的皮肤或人脸上漂亮的桃色绒毛可以弥补看起来僵硬和不自然的运动。

“如果你能捕捉到人类的本质,并将其数字化转移到数字角色或双重身上,那就像是灵魂的转移,”伍德继续道。 “它允许你利用人类的所有特征,并以令人信服且完全可识别的方式将其转移到非人类的东西上。”

立方运动扫描技术mocap persona 2

在技​​术复制方面,灵魂是一个令人惊讶的概念。有人类学家关于土着部落的报道,首先遇到西方探险家,他们不想被拍照,因为他们相信这个摄影过程会以某种方式偷走他们的灵魂。他们不必担心,因为几百年后我们仍然在努力做到这一点。 Cubic Motion认为它是在正确的道路上提供帮助。能够即时跟踪人脸的运动并立即将其转换为CGI角色,照片般逼真或其他方式,这是改变游戏规则的能力。这使得以几年前难以想象的方式捕捉演员令人难以置信的微妙表演成为可能。

2018年,该公司展示了一项名为Siren的年轻中国女性的照片级真实再现,展示了其技术,其真实的面部特征在200多个地点被追踪并以数字方式再现,没有任何明显的延迟。你可能没有把它称为灵魂转移,但毫无疑问,结果对他们来说具有逼真的能量。不需要眼球绘画动画师。

这将如何使用?

然而,这不仅仅是节省动画师时间的成本效益。它暗示着一个未来,我们所有人都可以以惊人的保真度进行扫描和再现,并以无与伦比的细节水平进入数字世界。这可以用于游戏特征,允许玩家被扫描并以迄今难以想象的照片准确度水平插入游戏中。

但是还有很多其他场景可以让这项技术找到归宿。例如,考虑能够通过增强或虚拟现实与医生的虚拟化身进行交互,进行虚拟预约。或者想象一下,你有一个8岁的孩子在数学上挣扎。怎么可以给他们提供额外的辅导礼貌,因为屏幕上的虚拟形象像12岁的照片般逼真的版本一样,已经屈服并且掌握了这个主题?哎呀,我们成年人可以在18个月内使用类似于我们的逼真化身提供的健身应用,如果我们认真对待健康饮食并且每周三天去健身房。 “你可以创造一个自我实现的预言,让你自信,”伍德说。

立方运动扫描技术mocap遇见迈克 立方运动扫描技术mocap动画处理 立方运动扫描技术mocap metro exodus 2 立方运动扫描技术mocap metro exodus

这些听起来像现在的科幻小说,但它并不像听起来那样不可思议的未来主义。例如,一家名为Gatebox的日本公司销售的设备与Amazon Echo或Google Home不同 - 仅提供旨在与其所有者互动的微型动画助手 。实际上,已经研究了以用户为模型的鼓舞人心的化身的效果。在纽约大学,一项关于长期决策研究发现,与人工老化的个性化身互动的用户会更仔细地考虑会影响他们未来的决策。与那些看到与自己年龄相同的化身的人相比,他们更有可能为退休储蓄。

当然,这样的化身不需要让我们想起肩膀上的死亡之手。像这样的技术可以很容易地将我们变成一个更年轻,更好看的版本。或者成为另一个性别的人 - 甚至是另一个真实或想象的物种。天空是极限。

Cubic Motion的实时面部捕捉技术目前远远落后于日常消费者。伍德本人拥有全面的3D面部扫描,使用该公司最先进的360度扫描技术捕获,并在产品演示中展示。 (有点不方便,这意味着他必须在每个演示之前重新刮胡子,以确保他的人类自我完美地匹配他的数字双倍的保真度。这是开拓者必须做出的牺牲。)但对于我们大多数人来说,这不是一个选项。 Cubic Motion使用的相机装备只占整个包装的一部分,将花费您或我数十万美元。

立方运动扫描技术mocap角色标题

然而,在当今的智能手机上可以找到保真度低得多的自扫描技术。例如,iPhone X系列机型就可以根据用户脸部的移动使Animojis和Memojis成为可能。 Cubic Motion 最近推出了Persona ,其专有的捕获和头盔式系统,现在可以由其他公司许可。 Persona采用所有技术,例如内置红外照明,让其他人为自己做这项工作。

正如科幻作家威廉吉布森所指出的那样:未来就在这里,它的分布并不均匀。但随着组件变得越来越便宜而技术不断发展,我们应该期待改变。可能比我们预期的要快。

跨越不可思议的山谷

早在1970年,日本机器人学教授Masahiro Mori提出了我们现在称之为“不可思议的山谷”的观察结果。我们认为,当我们制造机器人或开发与人类非常相似的3D计算机动画时,它与真实的东西会引起观众的兴奋甚至厌恶。这是有充分理由的。 我们大脑的很大一部分专门用于编码面部。年仅三个月的孩子学会对面部进行分类,早在他们可以区分其他类别的对象之前。其结果是,一张脸看起来不太像一张脸unnerves我们更多的比,也就是说,计算机生成的叶子看起来不完全准确。

Cubic Motion令人印象深刻的栩栩如生的作品是否意味着它已经弥合了这种不可思议的山谷效应?伍德很乐观,但他还没准备好宣布胜利。他说:“我们是否真的把它带到了神奇山谷的另一边,这是公众决定的。”

立方运动扫描技术用手动mocap动画

为了解释美国散文家拉尔夫沃尔多爱默生的一条(可能是伪造的)线路,越过这个神秘的山谷更多的是旅程而不是目的地。就像人工智能研究人员在计算机中复制“智能”的目标一样,创建一个完全逼真的数字人类是一个具有挑战性,非客观的基准。 “现在我们认为数字真实的东西,我们可能会在几年的时间内用不同的眼睛回顾,并能够发现我们可以改进的东西,”伍德解释道。 “如果你回到像Jason,ArgonautsKing Kong这样的电影,当人们第一次体验它们时,它们看起来非常可信。人们走开了,认为特效很显着。“

对于定格动画的所有魅力,今天这些效果都不能完全令人信服。我们可以争辩说,我们还没有采用许多记录人类相似性的摄影方法。 20世纪40年代电影中一位演员的柔和的黑白肖像,具有赛璐珞的所有特征性缺陷,在现代电视广播的无情高清旁边看起来非常抽象。而现代高清将像听起来一样疯狂,有一天也会看起来过时;最有可能面对完全立体娱乐。

“但现在这段旅程非常先进,很明显它会到达那里,”伍德说。当我们这样做时,Cubic Motion非常希望能够走到终点。据推测,我们的数字化人类doppelgängers欢呼它。

Previous Entries 用于编辑2019年RAW照片的最佳Adobe Lightroom替代品 Next Entries 惠普Envy 13与华硕ZenBook 13 UX333

發表評論