首页 理论教育 实验及结果分析:多源视觉信息感知与识别

实验及结果分析:多源视觉信息感知与识别

时间:2023-11-19 理论教育 版权反馈
【摘要】:在人工合成的模糊图像上进行实验是为了测试WNLSS算法在面对结构化模糊时的效果。图2-4人工合成的模糊人脸图像样本Uniform模糊核的实验结果对于Uniform模糊核,设置其模糊核大小为r=[5,7,9,11,13]。而本节算法并没有显式地移除噪声,而且在模糊程度高的人脸图像上也获得了仅次于Marszalec的实验结果。

实验及结果分析:多源视觉信息感知与识别

本节中在人工合成的模糊图像上和真实的模糊图像上对WNLSS模型进行测试,并将WNLSS算法与主流的自然图像去模糊算法和人脸图像去模糊算法进行对比。在人工合成的模糊图像上进行实验是为了测试WNLSS算法在面对结构化模糊时的效果。人工合成模糊图像可以通过将清晰人脸图像与某种模糊核k进行卷积并引入加性白噪声,从而人为地生成模糊图像。在众多模糊核中,由于Uniform模糊核和Gaussian模糊核为最常见的两种模糊核,因此采用这两种模糊核来污染清晰图像。在真实的模糊图像上进行实验则是为了测试WNLSS算法在面对现实场景下模糊时的效果。由于在拍摄过程中,相机与被摄者之间的相对运动,导致图像中存在着不同于结构化的Uniform模糊核和Gaussian模糊核所产生的模糊情况。实验仿真平台为主频3.30 GHz的Intel Xeon CPU-E3处理器,操作系统为64位Windows 7,仿真软件采用的是MATLAB 2017b。在本章实验中,默认的参数设置为:WNLSS字典构建时主成分保留个数L=70,正则权重λ=0.1。

1.在人工合成模糊图像上的性能

本节中利用大小为r×r的Uniform模糊核和标准差为s的Gaussian模糊核与清晰的人脸图像进行卷积,最终得到模糊人脸图像。为了使人工合成的模糊图像的过程与现实场景下的模糊过程(即公式(2-1)),引入加性白高斯噪声(Additive White Gaussian Noise,AWGN)来模拟加性噪声ε。最终,利用Uniform模糊核和Gaussian模糊核人工合成的模糊图像如图2-4所示。

图2-4 人工合成的模糊人脸图像样本

(1)Uniform模糊核的实验结果

对于Uniform模糊核,设置其模糊核大小为r=[5,7,9,11,13]。为了读者能够更直观地进行性能对比,将大小为9×9的Uniform核的去模糊结果列在图2-5中。

图2-5 在大小为9×9的Uniform核的情况下,各种去模糊算法得到的结果图

(从左到右,从上到下分别为:Xu工作、Krishnan工作、Portilla工作、Kheradmand工作、Pan工作、Shan工作、Cho工作、Xu工作、Beck工作和本章提出的WNLSS算法)

在实验结果中,可以看到提出的算法和Xu工作在面对Uniform核的模糊人脸图像时,获得了比其他算法更优秀的性能。尽管Xu工作也是一种针对人脸图像提出的去模糊算法,但该算法需要大量的模板库样本(exemplars)来为输入人脸图像提供显著性边缘信息。当模板库中的所有样本与输入的模糊人脸图像的显著性边缘信息均不吻合时,会导致显著性边缘信息初始化误差较大。而且,该算法的性能严重依赖于显著性边缘信息的初始化。在面对模糊程度较大的人脸图像时,显著性边缘信息的初始化和预测过程将会变得格外困难。一方面,这些算法并没有考虑到人脸图像高度结构化的先验知识,忽略了人脸图像中的非局部自相似特性。因此,它们并没有像本节算法那样,能够利用非局部自相似的属性得到更准确的稀疏编码系数。另一方面,相比其他基于稀疏先验知识的算法而言,基于权重编码技术能够从全局角度出发,优化每个图像块的权重参数,从而最小化一幅人脸图像的重建残差。

(2)Gaussian模糊核的实验结果

对于Gaussian模糊核,设置其大小为r×r=25×25,且Gaussian分布的标准差s=[3,5,7,9,11],如图2-6所示。本节算法在模糊程度低和模糊程度中等的人脸图像中均获得了优秀的性能,而Marszalec工作则在模糊程度高的人脸图像上,获得了优秀的性能。对于一幅拥有模糊和噪声的人脸图像而言,工作首先需要移除噪声的影响,然后再运行去模糊运算。而且该算法的去模糊性能严重地依赖于模糊矩阵(blurring matrix)的初始化。而本节算法并没有显式地移除噪声,而且在模糊程度高的人脸图像上也获得了仅次于Marszalec的实验结果。另外,Marszalec工作的运算时间也无法忽略。相比于本节算法的单循环运算策略,Marszalec工作拥有内循环和外循环两层循环。因而,无论是面对Uniform核模糊还是Gaussian核模糊时,该算法的计算代价均高于本节算法。在面对标准差s=5的Gaussian核模糊时,Marszalec工作耗费了26.94 s,而本节算法只耗费了13.08 s。基于权重编码的非局部自相似人脸去模糊算法仅耗费了一半的运算时间,就获得了相似于,甚至高于Marszalec工作的性能。

图2-6 在大小为25×25、标准差s=3的Gaussian模糊核情况下,各种去模糊算法得到的结果图

(从左到右,从上到下分别为:Xu工作、Krishnan工作、Portilla工作、Kheradmand工作、Pan工作、Shan工作、Cho工作、Xu工作、Beck工作和本章提出的WNLSS算法)

2.在真实模糊图像上的性能(www.xing528.com)

相比于人工合成的模糊人脸图像,从实际应用中采集得到的模糊人脸图像更具有现实意义。从PaSC数据库中挑选两张真实的模糊人脸图像,用于评测本节算法的性能。这两张图像全部来自数码静态相机(Point-and-Shoot Camera),由于在拍摄过程中,相机与被摄者之间的相对运动,导致图像中存在不同于Uniform模糊核和Gaussian模糊核的模糊情况。这种模糊更加“真实”,针对真实模糊图像的去模糊操作也更加具有现实意义。因为,本节算法是在模糊核k已知的情况下进行去模糊的。对于不知道模糊核的真实图像而言,采用Danielyan工作来估计模糊核。不同于利用清晰的人脸图像人工合成模糊图像,真实的模糊图像是无法获得原始的清晰图像的。因为在照片拍摄的过程中,只有模糊后的图像被记录下来。

由于在人工合成模糊图像的评测上,针对Pan工作、Kheradmand工作和WNLSS算法三种算法的性能进行对比。去模糊的结果如图2-7至图2-12所示。

图2-7 针对真实模糊图像的去模糊算法的性能对比(一)

图2-8 针对真实模糊图像的去模糊算法的性能对比(二)

图2-9 针对真实模糊图像的去模糊算法的性能对比(三)

图2-10 针对真实模糊图像的去模糊算法的性能对比(四)

图2-11 针对真实模糊图像的去模糊算法的性能对比(五)

图2-12 针对真实模糊图像的去模糊算法的性能对比(六)

通过上述结果图中可以看到,WNLSS算法去模糊后的结果要比其他两种算法的结果更加清晰。WNLSS算法无须额外的模板数据库,也无须提前进行噪声去除。基于权重编码的非局部自相似人脸去模糊算法可以通过参考其他非局部的相似图像块来更为准确地重建出当前图像块;同时,WNLSS是基于权重编码技术的,它可以进一步减小重建残差,从而能够为模糊图像恢复出更细节的局部信息。由于Danielyan工作估计得到的模糊核与原始图像未知的模糊核之间肯定存在着差异,但WNLSS仍然基于有偏差的模糊核恢复出清晰的人脸图像,说明本节算法对于有偏模糊核仍具有一定的鲁棒性。Pan工作去模糊性能的好坏严重地依赖于显著性边缘的预测情况。对于图2-7和图2-8,手工标定了人脸图像的轮廓,并将其输入至该算法模型中;而对于其他图片(即图2-9、图2-10、图2-11和图2-12),将输入图像与模板数据库中的每张图像进行比对,从而自动地选择最匹配的模板样本。当利用自动匹配机制得到的显著性边缘信息与实际的边缘信息之间存在一定差异时,如图2-10所示,Pan工作会根据有偏差的显著性边缘信息进行重建,导致了重建偏差的扩大。因此,Pan工作对于除图2-7和图2-8外的其他所有图像的去模糊性能并不理想,产生了一定的视觉振铃效应和“鬼影”。由于另一项Kheradmand工作[67]是基于标准化的图拉普拉斯(Normalized Graph Laplacian)技术,当它面对高度结构化的模糊核(即Uniform模糊核和Gaussian模糊核)时才能获得较好的性能。但当它面对真实模糊人脸图像时,该工作难以通过预定义的结构化先验知识(即图拉普拉斯模型)恢复出更多的人脸细节信息。

与其他两种算法相比,WNLSS算法既不需要显著性边缘检测过程,也不对输入图像的模糊核进行先验知识的约束。因而,WNLSS算法更适合无约束环境下人脸图像的去模糊需要。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈