面部是人类表达情感最丰富的地方。John Cleese曾在BBC纪录片《面孔》中说道:“我们在墙上挂的、桌子上放的亲人的照片都不会是他们的脚,而是他们的脸。”长期以来,计算机图像方面的研究始终致力于解决照片真实感的CG面部创建技术。在这一章中,我们将深入研究数字面部,主要关注南加州大学创新技术研究院(USC ICT)的团队,当然也包括他们指导的许多家公司,以及他们参与制作的电影。我们将讨论建模和渲染,但是逼真的面部还需要一个关键技术,那就是解算极其复杂的面部动画,这个环节与Light Stage的发展尤为相关。ICT在创新技术研发上已经有悠久的历史,从早期的环境光重现到如今的角色动画,这个由Paul Debevec领导的团队已经在计算机图像领域创造了非凡的业绩。
Light Stage是Paul Debevec和ICT团队发明的一套用于照明和重打光的球形阵列。最初,这个项目是关注后期制作环节的重打光,但是最终发展为高级建模、纹理和表演捕捉方案,Light Stage球阵的规模也从可以坐在里面升级为可以在里面跑。最新的版本,同时也是下文主要讲述的球阵叫Light Stage X,拥有最新的LED光照控制系统。FXGuide多年来一直在跟踪这个项目,ICT团队也会按期发布研究成果,尤其是在Siggraph上,今年的Siggraph,他们就展示了4K实时渲染的数字头部项目—“数字伊拉(Digital Ira)”,这是他们与Activision和Nvidia联合开发的(图6.1.1)。
Debevec博士的论文《基于自然光的渲染》确实惊动了整个实时渲染界,2002年,高动态范围技术在他的实验室里诞生,对此业界大为震惊,Nvidia高级研究员Curtis Beeson评论道:“我相信有许多人在使用高动态范围技术,但是正是他让绝大多数人(包括我)都可以使用这项技术。从那时起,直到他研究角色捕获,我都一直是他的粉丝,他在ICT拥有一支天才般的团队。”
2008年,“数字艾米莉(Digital Emily)”项目展示了Light Stage扫描的一系列高分辨率面部表情如何绑定为照片真实感的数字角色动画,这个项目由ICT和Image Metrics联合开发。“数字艾米莉”只是被渲染为一个数字面部,使用的是传统的非实时渲染,并且分辨率有限,从未展示过特写画面(图6.1.2)。
图6.1.1
图6.1.2
如今,在Siggraph 2013的“实时现场”活动上,ICT和Activision联合展示了“数字伊拉”,这是一个实时的高分辨率真人头部,可以从任意角度观察,支持任意光照,可以精确重现预先录制的表演捕捉数据,甚至可以实现特写。
这个项目不仅包含实时数字头部、交互和高分辨率,而且还运行于实时的游戏制作流程中,最终在GTX 680上能实现180fps的全屏(720P)角色动画。简而言之,艾米莉是花了几天的时间来渲染合成的,而伊拉则是实时渲染的,甚至可以与观众对话。在Siggraph上,Nvidia还展示了新的图形卡,可实时显示4K画面。在短短5年内,技术已经做到了几乎令人难以置信的跨越式发展,从花费几天的时间来渲染一个面部,到整个头部实时的特写呈现(图6.1.3)。
图6.1.3
数年来,在数字面部领域一些关键性的突破有:
《The Jester》 (1999)
《最终幻想:灵魂深处》(2001)/《黑客帝国动画版:终极战役2》 (2003)(www.xing528.com)
《黑客帝国》—Universal Capture (测试于2000年,拍摄于2002、2003年)
《蜘蛛侠2》中的章鱼博士(2004)
为大卫·芬奇导演做的测试
《本杰明·巴顿奇事》(2008)
《阿凡达》(2009)
《遗落战境》—《地心引力》—《安德的游戏》 (2013)
He Jester (1999) 及Siggraph 1999上的Young at Heart等等。
Mark Sagar在制作《The Jester》时正在Pac Title工作。这个划时代的影片在当时是照片真实感数字人物的标杆。这部影片制作时,真实毛发感、次表面散射和其他很多内容都起到了引领的作用,它预示了未来的技术会是什么样,当它第一次在Siggraph上亮相时,也是当年的一大热点。这部影片展示了女演员Jessica Vallot的数字版,戴着一顶帽子,对着摄像机说话。这个角色恐怕还没能跨越诡异谷效应,但是嘴唇同步和面部动画已经非常棒了。
图6.1.4
另外值得一提的是,它在Siggraph上展示时,Paul Debevec博士正好也在Siggraph上展示Fiat Lux。可以说在当时,Sagar有最好的数字角色技术,而Debevec有最好的光照技术,这两个人自然会碰面,并且讨论未来合作。
Debevec此前的工作都集中在建筑和摄影测量,而不是面部的制作,因此这次会面是极有意义的。这次合作原本是要促成一个新的项目,也就是Sagar接下来的一部短片《Young at Heart》。这部影片将展现一位数字制作的女演员从老年变年轻的过程。但是这次合作并没有在Pac Title进行,并且《Young at Heart》计划后来被叫停了,因为时间不够,公司高层也不够重视。直到Sagar跳槽到Sony Pictures Imageworks(SPI)后,他与Debevec的合作才真正开始。正当Sagar跳槽到洛杉矶的SPI时,Debevec从加州大学伯克利分校调往南加州大学创新技术研究院(USC ICT)工作。“与Paul一起工作始终是很愉快的,他是个狂热而令人振奋的人物,他有着清晰的思维,总能想出些新花样来。”Sagar回忆道。Debevec最终并没有直接参与Sagar的《Young at Heart》,后者再次找到了女演员Jessica Vallot,并把她的数字版取名为Jessica Digitalis小姐。
Sagar博士后来从SPI跳槽到Weta Digital,带去了他所擅长的面部动画技术,并为之后的《金刚》和《阿凡达》做出了巨大贡献。他至今仍是全球闻名的面部动画专家,他的动画技术融合了解剖学和生理学知识。Sagar博士如今是新西兰奥克兰生物工程研究院的动画技术实验室主任。这个实验室使用面部动画技术打造交互式自主动画系统。Sagar博士的研究具有里程碑意义,他解决了如何创建符合解剖学的虚拟眼睛和其他符合生理学的逼真模型。他通过整合计算机图形、数学和人类生理学,向我们证明了在大银幕上展现逼真的数字人物角色是可能的。奥克兰大学这样评论道。Sagar最近在奥克兰TEDx展示了一个数字婴儿。这个名为“BabyX婴儿”的项目与成年人的数字面部展示有所不同,它包含了一些与成年人不同的肌肉运动。在制作婴儿的FACS动画时,需要创建一个婴儿版的FACS。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。