首先提取视频示例信息的音频信息,在音频特征数据库中进行检索,得到相似度较高的视频在视频特征数据库中的位置。然后对视频示例进行镜头分割和相机运动分类,提取出关键帧。对关键帧的纹理特征、颜色特征、形状特征、运动特性等进行提取后,再进行高层语义聚类,从视频特征数据库中对音频过滤器过滤到的视频进行相似度匹配,匹配成功的视频以数据库中所记录的URL地址下载下来,转发给客户机。
客户机得到资源后,由用户对该次得到资源的满意程度进行反馈,客户机记录并提交给服务器,为后续类似查询起到了优化作用。
客户机得到用户满意的资源后,为了达到令用户更满意的效果,进行内容自适应。比如,因为终端设备的限制,用户只能将视频序列以低分辨率播放。所以客户机应根据机器上事先储存的移动设备的设备信息,对视频进行必要的处理,如将视频序列转化为低分辨率的终端播放的最佳格式,再发给用户。
不同用户有不同的个性和需要。用户如对转换后的格式不满意,可以将自己的要求发给客户机。客户机按照客户要求对检索结果进行再处理,再发给用户,并修改客户机上该移动设备所对应的资料。
客户机上的基于内容的视频检索过程与此类似,区别是客户机所查阅的视频数据库就是客户机上的常用资源数据库。但因为常用资源数据库中资源数目相对于网络上的资源数目要少很多,所以处理方法又略有不同。同时提取视频示例中的音频特征和视频特征,给予视频特征更高的权重。最后根据计算出来的综合特征,在常用资源数据库中进行检索,得到相似度较高的视频后,经过上述一系列内容自适应处理再把多媒体资源转发给移动设备用户。
无论是在客户机上检索还是在服务器上检索,都是在解压缩状态下检索。客户机的常用多媒体资源数据库存储的也都是解压缩后的资源。而在最后阶段,即客户机根据移动设备的特点来调整检索到的多媒体资源时,有可能需要进行压缩,因为某些移动设备的分辨率过低,所使用的带宽过窄。
在移动设备上,由于种种原因,信息并不像在台式计算机上一样易于访问。现有的信息获取方法并不能很好地适用于移动设备。移动搜索绝对不是将互联网搜索照搬到手机上来。例如,移动搜索和互联网搜索的一个不同之处是移动搜索对于智能化、个性化要求很高。对于PC机这样的有较大显示屏幕的网络访问环境,用户可以逐一筛选找到自己最感兴趣的搜索结果,然而对于移动设备这样的小显示环境和私人化的通信工具,移动用户希望移动搜索引擎能够在尽可能短的时间内搜索到自己感兴趣的信息。比起互联网搜索,移动搜索在搜索的准确性、搜索结果的提示信息、满足个性化搜索需求等方面,有更高的要求。所以,移动搜索引擎需要考虑分析用户的使用习惯,应具有一定的智能性和便利的用户交互方式。(www.xing528.com)
复习与思考
(1)什么是QBIC系统?
(2)常见的基于内容的多媒体检索有哪几种?
(3)什么是颜色直方图?
(4)常见的图像索引方法有哪些?
(5)音频信号的统计特征有哪些?
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。