多媒体信息技术在多媒体通信中的应用

多媒体信息技术是一门综合的跨学科的交叉技术，它综合了计算机通信以及多种信息科学领域的技术成果，它的研究涉及计算机硬件、软件和体系结构、图像处理、语音处理、数字信号处理、通信技术等诸多方面技术。

（一）多媒体关键技术

多媒体信息的处理和应用需要一系列相关技术的支持。以下几个方面的关键技术是多媒体研究的热点，也是未来多媒体技术发展的趋势。

1.大容量数据存储技术

早期的计算机所处理的信息主要是文本文件和数据文件，数据的类型比较单一，数据量也比较有限。随着多媒体技术的应用和普及，各种信息在介质中所占用的空间越来越大，在存储和传输这些信息时需要很大的空间和时间开销，解决这一问题的关键就是数据存储技术。

硬磁盘是计算机重要的存储设备。目前，单个硬盘的容量已达到上百个GB。磁盘阵列RAID（Redundant Array of Inexpensive Disk）是由许多台磁盘机或光盘机组成的快速、超大容量外存储系统，其最大集成容量可达上千个GB或更多，在一些大型服务器和视频点播系统中被广泛采用，是实现高可靠、快响应、大容量存储的必备设备。

光盘的发展速度也很快，如VCD采用MPEG-1图像压缩技术，已广泛用于电影、卡拉OK、广告、电子出版物和教育培训等方面，成为市场上最热门的光盘产品之一。DVD采用MPEG-2图像压缩技术，现已推出单面单层、单面双层、双面单层、双面双层4种记录密度，其单面单层容量为4.7GB，而双面双层容量可达17GB（均指12厘米的盘）。

2.多媒体数据压缩与编码技术

数字化信息的数据量相当庞大，给存储器的存储容量、通信信道的传输速率（带宽）及计算机的处理速度带来极大的压力。考虑到技术与成本等诸多因素，解决这个问题单纯用增加存储器容量和通信信道的带宽，以及提高计算机的运算速度等办法是不现实的。多媒体数据压缩编码技术是解决大数据量存储与传输问题的行之有效的方法。采用先进的压缩编码算法对数字化的视频和音频信息进行压缩，既节省了存储空间，又提高了通信介质的传输效率，同时也使计算机实时处理和播放视频、音频信息成为可能。

数据压缩技术目前已有以下一些国际标准：

（1）JPEG（Joint Photographic Experts Group）标准。JPEG是由国际标准化组织ISO等机构联合组成的专家组，专门负责制定静态图像数据压缩的工业标准，其所制定的标准便称为JPEG标准。它既可用于灰度图像，又可用于彩色图像，由于综合采用多种压缩编码技术，因此经其处理的图像质量高、压缩比大。

（2）MPEG（Moving Picture Experts Group）标准。MPEG是负责制定视频和音频编码工业标准的专家组，旨在解决视频图像压缩、音频压缩及多种压缩数据流的复合与同步，它很好地解决了计算机系统对庞大的音像数据的吞吐、传输和存储问题，使影像的质量和音频的效果达到令人满意的程度。

3.多媒体通信技术

现代社会人们工作方式的特点具有群体性、交互性。传统的电信业务，如电话、传真等通信方式已不能适应社会的需要，迫切要求通信与多媒体技术相结合，为人们提供更加高效和快捷的沟通途径，如提供多媒体电子邮件、视频会议、远程交互式教学系统、视频点播等新的服务。

多媒体通信是一项综合性技术，涉及多媒体、计算机和通信等领域，它集计算机的交互性、网络的分布性和多媒体信息的多样性于一体，为人类提供了全新的服务。多媒体通信是继电报、电话、传真之后的第4代通信手段。

4.多媒体数据库技术

传统的数据库只能解决数值与字符数据的存储检索。多媒体数据库除要求处理结构化的数据外，还要求处理大量非结构化数据。多媒体数据库需要解决的问题主要有：数据模型、数据压缩/还原、数据库操作、浏览、统计查询及对象的表现。

随着多媒体技术的发展，面向对象技术的成熟和人工智能技术的发展，多媒体数据库、面向对象的数据库及智能化多媒体数据库的发展越来越迅速，它们将进一步发展或取代传统的关系数据库，形成对多媒体数据进行有效管理的新技术。

5.多媒体信息检索技术

多媒体信息检索是根据用户的要求，对图形、图像、文本、声音、动画等多媒体信息进行检索，得到用户所需的信息。如今，越来越多的信息以数字形式存储和传输，这为人们更灵活地使用这些信息提供了可能性。但随着信息的爆炸性增长，人们获取感兴趣信息的难度越来越高，而传统的基于关键字或文件名的检索方法显然不适于数据量庞大且不具有天然结构特征的声像数据。因此，近年来多媒体研究的一个热点是声像数据基于内容的检索。实现这种基于内容检索的一个关键步骤是要定义一种描述声像信息内容的格式，而这与声像信息的编码密切相关。(www.xing528.com)

MPEG-7作为MPEG系列标准中的一个成员，正式名称被称为“多媒体内容描述接口”，其目的是为各种类型的多媒体信息规定一种标准化的描述，这种描述与多媒体信息的内容本身一起，支持用户对其感兴趣的各种信息进行快速、有效的检索。在这些信息当中，包括了静止图像、图形、音频、动态视频，以及如何将这些元素组合在一起的合成信息。

这种对信息的标准化描述可以加到任何类型的多媒体数据上。不管多媒体数据的表达格式或压缩形式如何，只要加上了这种标准化描述的多媒体数据就可以被索引和检索。各种类型信息的标准化描述可以分成一些语义上的层次。以视频资料为例，较低层次的描述是颜色、形状、纹理、空间结构等信息；最高层次的语义描述信息可以是：画面中有一栋白色的小楼在左边，而一棵苹果树在小楼的右前方。也可以有介于上面两种层次之间的中层语义描述信息。同样的内容根据不同的应用领域要求，可以携带不同类型的描述信息。MPEG-7标准的制定将有助于数字化图书馆、多媒体目录服务、广播式媒体选择以及个人电子新闻服务、媒体著作等应用领域的发展。

考虑到目前标准越来越多，媒体的应用越来越广泛，为了规范这些标准与内容传输间的关系（如底层部件与基本结构的关系、它们之间的集成方式等），并达到一个关于多媒体框架的共识，支持电子内容的传输，就需要一个更大的框架来描述与内容传输有关的所有已制定的和正在开发中的标准化活动。实际上要真正地完成不同标准之间的集成，要从用户的角度来建立一个可协同操作的多媒体内容传输服务机制，就要求用新的综合的解决方法来管理这些不同类型内容的传输过程。媒体的服务对用户应是全部透明的，如查找并获得内容及服务质量保证等。

基于内容的多媒体信息检索技术是一种新兴的信息处理技术，它包含了自然语言处理、图像处理、视频处理、语音识别、数据库与数据挖掘、模式识别、人工智能、机器学习等众多学科，是一个长期的、复杂的、富有挑战性的研究课题。

（二）多媒体信息检索的关键技术

多媒体信息检索系统并不是简单地对多种媒体进行检索，它必须既能对以文本信息为代表的离散媒体进行检索，也能对以图像、声音等为代表的连续媒体的内容进行检索。因此多媒体信息检索必须解决一些特殊的技术问题，涉及信息模型和表示、信息存储管理和多媒体同步技术几个方面。

1.信息模型和表示

目前，对多媒体信息模型的研究主要采用以下三种方法。

（1）基于关系模型，但加以扩充，使之支持多媒体数据类型或支持特定的应用。关系模型已十分成熟，但平坦化的信息模型不适于表达复杂的多媒体数据，文本、声音、图像这些非格式化的数据是关系模型无法处理的，简单化的关系也会破坏媒体实体的复杂联系，丰富的语义超出了关系模型的表达能力。目前对关系模型的扩充主要从两个方面进行，一是在数据类型、存储、存取方式、开发工具等较深层次上对RDBMS进行扩充，以支持多媒体信息；二是针对某种应用，在现有RDBMS的基础上增加表现层，研制开发工具，实现人机界面的多媒体表现。

（2）基于面向对象的信息模型，实现对多媒体数据的描述和管理。面向对象的信息模型是多媒体数据库的一个主要研究方向，其封装和面向对象的概念、复杂对象管理能力以及根据对象标识符的导航能力都适合多媒体信息的处理。但多媒体信息模型并非完全适合于多媒体数据处理，它也有局限性，主要表现为面向对象模型较为固定、不允许新的查询语言加入和对特殊问题进行查询优化。

（3）基于超文本的信息模型，超文本模型以线性顺序组织信息、结点和链路是其基本要素。在超文本信息模型中，信息的基本单位是结点，结点内的信息可以是文本、图形、图像、音频、视频和动画，甚至是一段计算机程序。链路表示结点之间的关系。这种信息模型对多媒体数据对象间的语义、时态及空间关系都会有较好的模拟，对数据的定义和操作更符合多媒体数据的复合性、分散性和时序性等特点。是目前使用较多的多媒体信息检索模型。

2.信息存储

多媒体存储多采用客户机/服务器模式，多媒体服务器首先需要的是海量存储系统，构成这样的系统可以采用光盘塔或者光盘库，这些外存储器系统一般都自带管理模块，可以让用户透明地访问庞大的存储空间。对于经常使用的资源，可以考虑采用硬盘的存储方式，以提高存取速度。数据磁带现在已经较少作为海量存储设备使用了，因为磁带在存储密度和永久度上已经无法和光盘相比。客户机/服务器系统还涉及多媒体信息的传送技术。图像一般是压缩传输的，可以采用递进式压缩格式，使用户在传输过程中就可以看到图像的局部或者低分辨率的全图，以减轻等待感。音频和视频的传输一般采用流技术，即边下载边播放的方式。Real Vivo Player是互联网上比较成熟的视频、音频流技术，已被广泛应用。

在客户机/服务器模式中，多媒体数据存储在服务器端，但由于多媒体数据量大，变长无法预估，因而不能用定长的字段或记录块等存储单元组织存储。

目前，存储结构的实现方法可分为以下两大类。

（1）基于关系系统的方法。为了使用SQL的操作，字段和记录块必须以定长格式组织。为此，将存储结构分为两部分：一部分记录常规数据及多媒体数据的指针；另一部分是多媒体数据，仍以定长格式组织，但通过链指针实现动态可变长。

（2）更适合多媒体数据特点的存储结构和存取方法。虽然基于关系系统的方法可以利用许多关系系统成功的经验，但是现在关系系统的存取方法并不完全适合多媒体数据的特点。为了实现多媒体对象的快速存取，最简单的方法是将其按逻辑模型中定义的拓扑顺序存放。如果使用这种方法，当对象较大时，可能需要物理上跨磁道存放，这会大大降低查询速度。而且这种方法不能有效地支持子类的查询。为此，可采用B+树索引结构和R+树索引结构。B+树是一维线性检索。对于多维空间数据，则可采用R+树索引结构。对于文本对象，可采用标识文件的方法。这里不存在一个适用于不同媒体检索的索引机制，而须针对不同的媒体采用不同的索引机制。

3.多媒体同步技术

多媒体同步技术的目的就是在向用户展示多媒体信息时，保持媒体对象之间固有的时间关系。尤其是在采用客户机/服务器模式的系统中，各种媒体分布在不同的空间和时间里，将数据按事件顺序和空间缓冲区地址安排，恰当地组合起来。多媒体同步包含两类同步：一类是流内同步，其主要任务是保证单个媒体流间的简单时态关系，也就是按一定的时间要求传送每一个媒体对象，以满足感知上的要求。另一类是流间同步，主要任务是保证不同媒体间的时态关系，例如音频和视频之间的时态关系、音频和文本之间的时态关系等。流间同步的复杂性和需要同步的媒体数目有关。多媒体同步技术的研究一直倍受重视，许多文献报道了这方面的研究成果。多媒体标准中也考虑了同步问题。例如MEPG标准考虑了音频和视频之间的同步问题，利用符合MPEG标准的产品采集的音频和视频之间具有很好的同步。