数字伊拉:三维动画造型教程中的实时渲染数字人物角色

在与多家公司合作的过程中，ICT团队尝试创建了一个实时渲染的、照片真实感的数字人物角色，可以在任意视角、任意光照下展示，可以在特写情况下完美重现视频表演捕捉数据，这比艾米莉的景别要小得多。另外，该数据与Nvidia和Activision团队共享。Nvidia热衷于用其来展示他们最新图形卡的实力，Activision则喜欢通过游戏制作流程进行展示。为了实现这一想法，ICT使用最新的Light Stage X系统扫描了他们的动画研究员Ari Shapiro的30个高分辨率的FACS表情（图6.2.1）。

图6.2.1

这一步提供了中性姿态（neutral pose）和30个FACS静态姿态（static pose）。

为了记录Ari的真实表演，团队成员使用同样的多机位支架，在30fps下多角度拍摄了演员的即兴表演。他们可以利用最新DSLR相机的视频拍摄功能，但是DSLR并不支持同步锁拍摄，因此在后期处理中还需要一些附加操作。

以下是两个截然不同的问题：给Ari（也就是伊拉）创建模型和绑定，包含正确的纹理和混合变形，并用面部动画表演捕捉流程来自动驱动面部绑定。

第一步，建模和绑定。团队使用新的内部工具Vuvuzela交互式地把所有表情的UV精确对应到中性表情，然后重拓扑到扭曲中性姿态后的网格上。

ICT开发的内部工具叫Vuvuzela可不是为了自吹自擂，而是要在这个领域吹响号角。该工具在Siggraph 2013上由Ryosuke Ichikari、Oleg Alexander和Paul Debevec展示。该软件采用中性源贴图和FACS表情目标贴图，通过扭曲源贴图来匹配目标贴图，从而在纹理空间上达到毛孔级匹配（图6.2.2）。

图6.2.2

扫描数据以4K 32bit OpenEXR文件存储，包含散射、高光、法线贴图及高分辨率点云。它们是来自Light Stage X的各个角度的Ari面部。由于是在UV空间下操作，因此匹配变形只是个2D操作，工作人员只需选定源贴图和目标贴图上相匹配的点，而不需要绘制跟踪点，因为面部纹理数据的细节已经足够丰富。这并不是要逐点地手工匹配，而是Vuvuzela的初始化。

一旦你有了足够的点，你就可以开始更新，进入3D视图，并且可以预览混合变形结果，因此可以观察源贴图和目标贴图之间的转化是否正确。通过光流（optical flow）算法，计算密集扭曲区域（dense warp field），生成亚毫米级匹配。一个不错的副产品是你可以从扫描数据直接生成3D混合变形。由此生成的混合变形和纹理接下来都将提交给绑定师（图6.2.3）。

图6.2.3(www.xing528.com)

这与艾米莉大不相同，后者的中性姿态与特定表情的纹理并不匹配，甚至是毫无关联，因此中性扫描数据与表情姿态扫描数据之间的皮肤毛孔变形采用的是叠化技术。也就是说，艾米莉的皮肤细节在混合变形过程中会先变“柔”，然后又变回“锐”。为了解决这一问题，在制作艾米莉时并没有真正的毛孔，因为拍摄距离较远，并且脸上化了妆，这是可以理解的。但是皱纹得到了完美保留，其出现和消失都准确无误。而在伊拉身上，Vuvuzela解决了这个问题，因此可以在演示片段中展现伊拉的特写。换句话说，通过拉伸或压缩毛孔间的距离，伊拉的皮肤可以正确地在不同表情间变换。艾米莉的两个单独扫描数据之间并没有路径贴图指定皮肤细节之间的变换，但是像眼睛、嘴巴之类的大部件还是匹配得很好，而伊拉则可以在混合变形过程中跟踪微小的细节。

纹理通过许多技术进行优化，使得伊拉具有更高分辨率的皮肤细节。ICT使用了他们在Eurographics 2013上发布的一项技术“基于测量的面部微几何体（microgeometry）生成”来采样皮肤变换路径，然后应用算法来提升皮肤细节的真实感。有趣的是，考虑到数据来源和项目性质，Activision用一个“噪声”版本有效地达到了同样效果。4K分辨率的皮肤毛孔细节程度可能太过头了，但事实上却不是。在脸上出汗或者有水时，镜面高光变得非常关键，这一非常精确而细致的纹理对真实感至关重要。在倒模流程中，鉴于倒模材料本身以及为了保护皮肤而敷上的滑石粉，再加上石膏有重量，因此会有一些皮肤细节丢失。

第二步，驱动面部绑定。现在我们有了一个绑定和一系列控制滑块，可以在一些主要的表情之间变换，但是需要有人来驱动这个绑定，使其与Ari的实际表演相匹配。在此ICT和首席研究员Graham Fyffe开发了一个创新方案。正如下图中由Ari提供的动画曲线一样，数字伊拉只需要参考8个基本的FACS表情（图6.2.4）。

图6.2.4

新的离线动画解算器创建一幅表演曲线图，表现了视频帧之间复杂的GPU光流运算，并将其与8个关键表情相关联（这个特定表演需要8个关键表情）。通过分析视频帧与12个角度扫描的面部表情之间的关联，这一曲线图得以精简。这对于整个流程来说很重要，伊拉的面部不仅混合了8个Ari的面部表情，而且伊拉面部的不同区域在8个表情中享有不同的权重。

所以简单举例来说，鼻子可能是静态姿势A和C的混合，其比例不同，而同一时刻的嘴巴可能需要A、B、C三个静态姿势以完全不同的比例混合。这一算法接下来计算复杂的光流以及3D三角测量，为每帧生成空间各异性混合变形权值（spatially varying blendshape weights），使其接近视频中的表演。

换句话说，在静态FACS姿态上需要混合进光流方案，把面部分成12个区域，彼此相互混合交叉，但是当这些全部完成后，它驱动一个绑定，在皮肤上移动，而不是仅仅在表情纹理采样间进行混合插值。当伊拉的面部移动时，它不进行插值和交叉叠化（图6.2.5）。

图6.2.5

Graham Eyffe开发的跟踪技术是一个新方法，也在Siggraph 2013上进行过展示。它也是用于解决光流漂移问题。近年来，已经发布过多种解决方案，但是ICT的这一方案关注在区域化的姿态空间中处理表演流图（表演时间线）。

如果演员未曾移动头部，那么这一切就会变得简单了，所以这一流程要处理的一个方面就是消除头部的轻微俯仰和倾斜。“解算器消除总体运动的方式是指定骨骼的顶点权重和骨骼的运动方式”，Nvidia的Curtis Beeson解释道，“这能处理类似头部俯仰和倾斜之类的总体运动，从而得到一个稳定的基准。他们可以逐帧逐顶点地表述面部动画，把捕捉到的混合权重加入到静态姿态中。”

同样关键的是自动化程度。一旦这一流程完成，Ari就可以回来拍摄更多的动作，事实上也确实如此，然后只需花几个小时就可以拥有这一新提供的表演的实时数字版，并且实时播放（通过Activision或Nvidia系统）。