在计算三维像素差的过程中，首先将所有模态（RGB和Depth模态）下的视频划分成了多个视频块，所以在实验阶段首先采用不同的视频块大小测试在不同数据集上的性能，并用最佳的视频块大小对其他实验参数进行调试，视频块的大小的参数值从{20×20×3，20×20×5，20×20×7，40×40×3，40×40×5，40×40×7}中进行调试。对于相邻像素差采样的空间尺度R和时间尺度T，由于R的值对于二值特征的计算影响不大，同时三维像素差的计算过程主要是考察像素值在时间上的变化信息，因此实验过程中将空间尺度R的值设为1。而对于时间尺度T，则采取与视频块的时间维度相同的参数，即T=3，5，7。对于二值特征长度K，选择从{8，16，24，32}中通过交叉验证的方式确定其值。由于公式（3-15）中的特征表达项和量化误差项对整个耦合二值表达过程具有相同的作用，所以实验过程中将平衡参数α1、α2的值设为同一个值，并从{0.0001，0.001，0.01，0.1}选择最佳参数值。而对于关联损失项的平衡参数α3，则选择从{0，0.001，0.01，0.1}中调试最优参数值以验证关联损失项的加入对于深度模态上识别性能的提升效果。特征编码过程中字典K1的大小，从{100，200，300，400}中通过10轮的交叉验证确定最佳的参数值。而对于稀疏编码的正则参数λ，将其设置为0.15。此外，在二值投影矩阵W R、W D更新过程中将更新步长τ和迭代次数分别设为0.1和1000。
1.不同像素差计算方法的性能评估
为了验证3D像素差计算方法的识别性能效果。本节在MSRdaily数据集上分别将CS-Mltp、3D LTP、VLBP中的计算方式以及像素差计算方式与人工设计和二值特征学习方法相结合并进行识别性能的对比。需要说明的是，这里的对比性能是将RGB和深度模态上的识别结果融合后而得到的最后结果。如表4-7所示，在人工设计和二值特征学习方式中，像素差计算方法的性能要高于已有的CS-Mltp和3D LTP模式，但是要低于VLBP计算模式的性能。其主要原因在于VLBP模式计算单帧上的像素差，并将所有帧的像素差进行拼接。这种方式能捕捉更多的像素变化，但是从后续的分析可知这种模式需要大量的计算成本。
在表4-7中，除了对不同的像素差计算模式做性能对比，还加入了像素差计算过程中对计算成本的对比。当给定一个大小为20×20×5的视频块，空间和时间的采样尺度为1以及采样点数量为P时，每种计算模式的计算成本如表4-7所示。从中可以看出，本节方法和CS-Mltp模式具有较小的计算成本，而3D LTP和VLBP模式具有较大的计算成本。值得注意的是本节方法的计算成本与视频块的时间维度无关，从而大大降低了像素差计算过程中的计算成本。
表4-7 三维二值特征中不同计算模式的识别性能和计算成本（视频块大小为20×20×5，采样空间和时间尺度均为1，采样点数为P）对比(www.xing528.com)
2.不同关联损失项的性能评估
在这一部分，主要是对加入CCA关联约束项的耦合二值特征学习算法性能作评估。图4-16展示了未加入关联约束和两种不同的关联约束下耦合二值特征学习算法学习到的3D-CLBP和3D-CLDP描述子在三个数据集上的性能对比。与未加入关联约束的耦合二值学习算法相比，在RGB和深度模态数据上，当加入CCA关联约束和本文所提的关联约束项后耦合二值学习算法学习到的3D-CLBP和3D-CLDP描述子普遍具有较高的识别性能。同时在深度数据上，加入两种关联约束项后算法的性能较RGB数据有更大的提升。这充分说明在耦合二值特征学习过程中加入关联约束项后，能够使得算法更有效地学习两种模态数据的局部关联，从而增强深度模态上二值特征的表达能力。此外，与CCA关联约束项相比，在耦合二值特征学习过程中加入关联约束项后算法在深度模态数据上具有更好的性能，从而在一定程度上表明了本节算法的优越性。
图4-16 未加入和分别加入两种不同的关联约束项后，耦合二值特征学习算法在数据集ORGBD、MSRdaily和UTD-MHAD上的性能对比
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
