新媒体艺术：数字化技术驱动创新教育

数字化艺术及其技术研究

徐迎庆

演讲嘉宾:徐迎庆

微软亚洲研究院研究员，微软数字化卡通与动画北京电影学院实验室联合负责人。主要从事计算机图形学、计算机动漫、计算机真实感图形绘制，以及计算机视觉等方面的研究。在国内外学术刊物和国际会议上发表学术论文约40篇，并获得15项美国技术专利。同时，他还是北京电影学院动画学院、中国传媒大学动画学院、北京邮电大学计算机学院、中山大学软件学院，以及中国科学院计算技术研究所等单位的兼职或者客座教授。目前，他正在从事新一代计算机动漫以及计算机图形学等方面的研究。

徐迎庆研究员在做主题发言

我今天的题目就是数字化艺术及其技术研究。主要介绍一下微软亚洲研究院在过去几年在这方面所做的一些工作，同时也介绍一些同行的工作。

数字化艺术是用数字设备创作的艺术作品以及创作工具和手段，例如，以计算机为工具所创作的艺术，包括数字化影像:影视特技、电子游戏、计算机绘画；数字化角色:虚拟播音员、虚拟演员、运动捕捉；数字化音乐:虚拟乐队、电子音乐；数字化场景:虚拟现实、虚拟旅游；数字化玩具:智能玩具、机器人。还有许多例子，比如面向设计的图形图像处理、新型数字输入输出设备(如三维扫描仪、数字笔、立体电视)等等。

从数字化艺术和技术的基础来说，需要所有艺术学科的艺术家的参与才有可能形成数字化的艺术，否则就变成了一种技术的表达了。从技术角度来说，有计算机图形学和计算机视觉、计算机硬件技术和其他硬件技术、多媒体技术、互联网及无线网络技术，包括智能制造及CAD/CAM技术、人工智能、光学、数学(如分形、计算几何)的发展、新学科(混沌理论等)的发展、通信技术的发展。这些发展都带来了很多对这个学科的促进，同时也提出了很多挑战。

我学的是计算机图形学，下面我就从图形学和计算机视觉的角度简单地回顾一下技术在数字化的艺术表达中做了哪些工作。(www.xing528.com)

现在PPT展示的两张照片，一张是真实的树，另一张是计算机绘制的，是十五六年前做的，那个时候计算机的绘制能力已经非常不错了。下一张图也差不多绘制于20世纪90年代初。下一张绘制的是模拟的郊外场景。接下来这张图上用了十万个植物(向日葵)，一共用了五千万个图片，用当时的计算机已经能把它绘制出来了，虽然绘制时间相对长一点。到了80年代末90年代初，大家提出了光线追踪这样的技术，可以模拟更加逼真的、以往没法模拟的场景，包括雾、烟、玻璃的透明效果等等，比如如果模拟一个教室，可以做出非常逼真的效果。以后又有了辐射度方法，对于整体光照可以使绘制场景更加有效、逼真。

我们微软亚洲研究院在三维造型上做过很多工作。以前Maya等无法绘制像毛衣这种有微细结构的对象，我们在2001～2002年间发表了一篇论文专门研究毛衣怎样绘制，我们提出了一种新的方法，可以通过虚拟图像的方法来做。PPT所展示的是当时绘制的例子和效果图，这些是我们绘制的一些毛衣片段。也可以把一张图片做成毛衣的效果。同时我们也做了一些相关的录像，模拟像毛衣这样的材料飘动起来什么样，它跟一般织物、丝绸、天鹅绒的飘动完全不一样。我们完全从物理机制上研究这个问题，也向纺织研究所的专家去讨教，做毛衣的时候也请教了很多织毛衣的专家。在1999年时我们做了一个窗帘的运动。这是一个完全基于物理的模型，它的优点在于它是实时的，而且可以改变窗帘的质感，或者改变风力、风向等等。它后来就应用在了游戏的设计中。2004年，我们做了跟毛衣类似的也是以往难于模拟的羽毛，当时发表在SIGGRAPH大会上，它可以通过参数调整把羽毛做成各种各样的效果。后来《射雕英雄传》专门请我们制作类似羽毛的效果。很有意思的是，如果做成单只羽毛的话，怎么做到鸟的身上呢?用传统的方法往往会排列得乱七八糟，于是我们又提出了一种新的方法使羽毛排列很合理，看起来也非常真实。PPT展示的是我们当时做的鹰的例子，也可以模拟像酋长的装饰一类的东西，而这些效果在以往都是没办法实现的。

除此之外，我们的沈向洋院长等人在1998年做了一项工作，这个工作到今天也很有意思、很有价值，那就是空间场景重建。比如我现在需要建一个场景，在座各位都很熟悉三维造型，要做一个三维动画把现在会场上的桌子、椅子都做出来是很容易的一件事，但是在今天的条件下要把在座各位的造型都做进去简直比登天还难。而利用我们的技术，就可以让这个想法变为现实。重建过程及设备都比较简单，我们可以通过一种特定的方式拍几张照片，然后利用我们的技术进行计算，就可以360度观看这个场景了。这个可能没什么新鲜的，Quick Time VR早就开发了类似的功能模块。但不一样的是，我们的技术虽然只拍了几张照片，没有任何三维造型，但其中的三维关系都可以在最终重建的场景中体现出来。这就使得以前三维造型中难以表现的场景得以表现。我们曾经也和秦始皇兵马俑合作制作了兵马俑虚拟漫游(2000年)，做了很多这方面的尝试。大家去参观秦始皇兵马俑的时候只能站在很远的地方观看，看不到细节。但我们做了这些虚拟的场景以后，你不但可以清楚地看到细节，还可以看到兵马俑之间的遮挡关系，还可以到每个兵马俑之间去走来走去“参观”，这样就可以使游客更好地了解秦始皇兵马俑，有一种身临其境的感觉。

我们在音乐的模拟上也做了一些工作，主要模拟的是乐队指挥。首先我们请了一位中央音乐学院的专业指挥帮我们做一些运动捕捉，现在播放的是他专业指挥的动作，然后我们就训练计算机，让计算机“学习”他的动作，学习一些固定的模式。下面播放的就是计算机模拟的一段指挥，给了一段专业指挥并没有指挥过的新的曲子，计算机完全按照专业指挥的模式来指挥这段音乐。后来在指挥的基础上，我们又对舞蹈动作进行了模拟。这是2000～ 2001年做的，当时请了北京舞蹈学院的专业舞蹈演员来帮助我们获取数据，然后我们就训练计算机“学习”她们，于是计算机就可以跳一些她们没有跳过的曲子。现在播放的是计算机生成的一些舞蹈效果。这个成果发表在SIGGRAPH 2002上。

在计算机数字化艺术方面，除了刚才我讲的各式各样的艺术形式的表现、模拟以外，还有很大一类是随着数码相机的不断发展而迅速发展的数码照片和数字图片的处理。比如这是SIGGRAPH的一篇文章。它研究的是使用一张图片，通过某些计算来得到人类最关注照片的哪些部分，通过对这些部分进行强化，自动地生成一幅类似抽象画的作品。这些是当时的作品，把照片处理成一张水粉画的效果。现在很多软件都有这样的功能，比如Photoshop。但不一样的是微软的vista要支持高清的图片，我们做的这个是支持800万像素的处理，它要求实时，所以难度很大。现在展示的是模拟素描的效果。此前我们也做了很多尝试，模拟不同艺术流派，如印象派、抽象派等等。在处理照片方面我们还做了一些工作，那就是训练计算机如何将一张图片迅速处理成抽象画一样的图像。这个论文也发表在我们这个领域最好的一个会议上。这类的工作不仅只是一个研究，有很多也已实际运用在了微软的产品里。比如现在PPT所展示的这个软件已经开始在日本销售，它用来制作电子贺卡，市场反映非常好。

在过去的七年里有一个题目我们一直没有间断，可能还要做七年或者十七年，那就是计算机学习画卡通漫画和动画。我们希望从技术角度探索一下计算机学习和人工智能的一个新途径。过去人工智能的一个很大成绩是在下棋一类的游戏中，而在画画方面是很有挑战性的。沈向洋院长和我们过去七年一直在做这个题目，当给我们一张照片时，计算机是否能画出一张夸张的图片?这个问题从技术上来讲，用计算机自动生成具有艺术风格的人像漫画是一个非常困难的问题，它的难点是无法直接利用目前常用的图像处理算法，同时也没有任何数学公式或者法则可以遵循。在过去的七年里，我们请艺术家画了上千张同一风格的作品，然后我们训练计算机“学习”艺术家是怎么画的。现在PPT所展示的是2000年的训练数据，我们可以看到计算机学习之后生成的结果，大概一秒钟一个，速度非常快。现在看来，这样的作品水平可能刚刚走到小学或幼儿园阶段，但是我相信技术就像一个孩子，它一定会长大、不断发展，会画得越来越好。这展示的是我们最早的作品，此后2001年我们又加入了阴影的效果上去，我们称之为铅笔氛围和钢笔氛围。再以后我们想计算机能不能画得更复杂一点，加入一些更细节的东西呢?现在PPT上放的是我们手绘的一个例子，表示我们想要做到的程度，下面是计算机画的结果，虽然不完美，但也能完成一定的东西。接下来是我们模拟一些插图的效果。在如何绘制夸张效果方面我们也研究了一些技术，比如用一张照片生成图像，想要夸张腮帮这一部分，我们就可以从不夸张到最夸张之间进行调节，经过夸张处理以后，脸部的其他部位会跟着起变化，这样就可以绘制出一些具有夸张风格的漫画。PPT展示的是我们2005年的一些作品。我们期望今后计算机不仅能够画出这样的图像，还能够抓住人物特点，夸张它的特殊部分。此外，所有这些绘画我们也在small device，即小的显示屏上进行尝试。现在播放的是我们在2000年做的一个项目，这是一个数字播音员，我们只使用了一张她的照片，所有的VIDEO和声音都是计算机模拟出来的。

此外，对色彩的处理我们也做了一些工作。比如在市场上有很多类似的工具:给出一种颜色可以自动生成协调的颜色；给出一张照片可以自动生成协调的颜色；给出一个图标，可以帮你自动配色……都是计算机现在可以做的事情。由于数码相机的需求越来越大，所以我们也能做到给出一张图片，就可以把前景、背景的颜色进行自动处理使它更加协调。

在模拟中国画方面我们也做了很多工作。例如对一张中国画，我们可以将它自动转换为矢量化图形，然后通过动画师的手让它动起来。做法是把画自动分解和重建出来，PPT展示的分别是位图和矢量表达。如果遇上相互重叠的笔画我们用算法把它拆开。最后的一个演示是我们做的一段金鱼的动画，画是手绘的，所有的矢量是自动分解出来的，动画由动画师设计。