首要的问题是,为什么要对面部进行扫描?
图6.1.21(艾米莉在Light Stage中)
Light Stage主要有6种技术应用,但是在此我们主要讨论其中两个与数字面部相关的应用:如果你需要一个在特定光线环境下的面部参考图像,或者你需要一个用于动画的头部模型和一些纹理贴图,那么Light Stge可以同时处理这两件事情,并且它的能力还远远不止这些。
参考图的获取需要在八秒钟内拍摄上百种不同照明模式下的演员的脸,从而重现任意的真实光照设置,得到逼真的参考图。
1.参考图
如果在Light Stage中放置一个真人,甚至是一个精确的半身雕塑,你可以拍摄它在任意角度的入射光照射下的样子,然后在软件中通过基于图像的照明技术模拟你需要的任意光照条件。如果你输入一张日出的HDR图像,真人或雕塑的面部就会以黎明时的日出光线颜色和角度进行照射,然后当你创建了CG头部之后,你就可以用Light Stage的图像作为真实感参照。这一流程是符合物理规律的,并且已经在《本杰明·巴顿奇事》这类电影中得到应用。使用相关的光线重建技术,你可以使用环绕在演员周围的彩色LED,实时而精确地为角色打光,从而呈现特定的光照条件。
2.扫描、建模和纹理(关键步骤简介)
这是Light Stage的另一种应用,数据量更大,更令人印象深刻,当然也更具综合性。有时候,你需要大量的数据,并直接投入到CG流程。因此,你可以扫描头部,然后进行绑定,以实现逼真的动画,最后渲染出来。以下是你将要进行的步骤:
扫描:演员的头部或者其他物体被数字化采样,生成几何曲面模型和相应的纹理贴图。在过去,如果你想手动调整贴图,修复面部的畸变,你就得用激光扫描面部的石膏倒模。而在Light Stage中,扫描过程是从多个角度对演员进行拍照,使用一组球形渐变偏振光,提供0.1mm精确度的扫描数据,并包含精确的散射、高光和置换贴图,足以记录皮肤毛孔和凹痕。
图6.1.22(“数字艾米莉”扫描过程)
你需要扫描一个中性的姿态,也就是面无表情。除此之外,通常你也会需要各种表情的数据,但具体是哪些表情呢?
对于这个问题,并没有硬性的规定,但一组FACS(面部动作编码系统)表情是最有效的,比如说30到60个表情之间。FACS是一种面部表情标签系统,并不是为CG而发明的,但是已经广泛用于当今的动画流程。这也是为什么石膏扫描流程不靠谱,它虽然能得到很好的中性姿态,但是却不能展现各种表情。
经过扫描后,你会得到一些数据,包括形状、纹理,并且在Light Stage中,高光和漫反射是分开的。这是非常有用的,因为高光有清晰的形状,而且来自皮肤表面,因此它会包含丰富的高频细节。
分离高光和漫反射非常关键,这是ICT团队发明的,他们还找到了分离整个球形照明光线的办法,那就是在灯和摄像机上安装偏振片。偏振片的方向性使其只能透过漫反射光,保持偏振性的高光反射则被阻隔了,而与之方向平行的偏振片则可以透过高光反射。借助一些线性色彩空间中的算法,便可以把高光通道分离出来。
图6.1.23(高光法线通道的线性运算)(www.xing528.com)
这一流程在Light Stage中进行,可以在几分之一秒内完成,因此可以以0.1mm级的精确度进行面部表情扫描。每一种偏振设置都在球形渐变光照条件下进行记录,这与球谐函数光照技术很像,相当于前四级球谐函数。球形渐变也就是按空间渐变来点亮Light Stage中的各盏灯,举例来说,顶部渐变就意味着球体顶部的灯是全开的,赤道的灯是半开的,而底部的灯则是关闭的。
通过一些附加运算,把左侧、顶部和正面的渐变光照除以完全光照下的面部呈现,就能生成面部表面法线贴图的XYZ分量。
漫反射通道展现次表面散射后由皮肤表层以下射出的光线。借助Light Stage数据,你还可以估算次表面光线红绿蓝分量的法线,以及皮肤的高光反射。由于高光法线不包含散射,因此展示了最多的细节,而红绿蓝漫射法线则展现了在波长增加时,次表面散射随之增加,从而皮肤表面看上去越来越光滑。在此可以使用一项称为“混合法线渲染”的技术,通过使用这些不同的表面法线测量数据来快速获取真实的皮肤反射情况,从而以红绿蓝分量和高光反射分量来对皮肤进行着色,而不需要更复杂的次表面散射着色算法(模拟皮肤以下的光线传递)。
图6.1.24(高光法线贴图)
图6.1.25(红绿蓝分量法线贴图)
“数字艾米莉”和“数字伊拉”开发过程中都使用了混合法线贴图作为可视化工具,但是对于最终渲染,“数字艾米莉”使用了传统的(也是相对较慢的)Mental Ray次表面散射流程,而“数字伊拉”则使用了更快的、适合游戏的屏幕空间次表面散射(更多知识请参考Jorge Jimenz、Adrian Jarabo和Diego Gutierrez的论文《可分离的屏幕空间次表面散射》,或者参考Nvidia的GPU次表面散射精华文章)。
根据扫描的表情数据,你可以开始创建数字头部或者数字面部。而根据中性姿态,你可以创建模型的绑定。
根据FACS表情,你可以创建拼接形状,从中性姿态变形为多种扫描的表情。这种拼接形状把面部分割成各个区域,可以移动面部的某一部分,从而从中性姿态变为FACS中的参考表情。一旦完成了拼接整合,就可以以此来驱动模型动画。根据流程的不同,还可以处理纹理贴图,在拼接形状变形为关键表情时贴上皮肤纹理。
图6.1.26(“数字艾米莉”的面部表情采集)
现在你拥有了一个绑定完的头部,可以做出各种表情,从而制作所需的动画。动画既可以手工制作,也可以使用表演捕捉。
图6.1.27
最终,经过调整的动画被渲染出来。当年“数字艾米莉”的绑定花了几个月,另外在渲染之前还有一步是把面部动画跟踪到真人演员身上,并覆盖住她的脸。而“数字伊拉”项目不需要跟踪,但是数据需要进行优化,以便GPU能够实时渲染。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。