遥感图像中地物种类繁多且场景十分复杂，一幅遥感图像中包含了复杂的内容。如图4-17所示的Freeway场景中，包含了“Vehicle”“Tree”“Building”“Parking Log”等目标。遥感图像的内容丰富性和场景复杂性，使得基于传统人工设计视觉特征的方法难以取得满意的检索结果。为了得到复杂遥感图像的语义级描述，需要对其进行像素—区域—对象—场景的层次化建模，提取多层次多粒度特征。人工神经网络从数据中直接学习图像特征，可以避免繁重的特征工程，有效克服人工设计特征存在的主观性强、依赖专家知识等局限性。深层卷积神经网络与无监督的浅层模型相比，由于堆叠了更多的特征提取层，在描述遥感图像内容时具有更强的判别能力，能够显著提升遥感图像检索性能。
图4-17 遥感图像的场景复杂性[15]
Hu F.等人(2016)设计了一个基于深度特征的遥感图像检索通用系统架构，如图4-18所示。其中包含5个卷积层和3个全连接层，通过特征编码将卷积层特征转化为单一向量。采用遥感图像数据集对部分预训练网络进行了精调，以获取更有判别力的特征；采用了多尺度特征聚合和池化进一步提高检索性能。
图4-18 基于深度特征的遥感图像检索通用系统架构[26]
本节以3个公开标准遥感数据集UCMD、AID、PatternNet为例，从5个方面对比经典卷积神经网络结构用于遥感图像检索的性能。选择Euclidean、Cosine、Manhattan、χ2作为距离度量函数；性能评价则采用ANMRR和mAP。
实验环境及参数设置:
平台:Intel®i7-8700，11 GB memory CPU，Ubuntu 16.04.6LTS；
软件:CUDA 10.0.130 cudnn7.6.5 python3.6.10-pytorch1.5.0。
训练集和测试集划分策略:UCMD数据集50%用于训练，50%用于测试；PatternNet数据集80%用于训练，20%用于测试；AID数据集50%用于训练，50%用于测试。此外，学习率设置为0.00001，批量尺寸(batch size)为80，间隔(margin)为0.9，训练轮次(epochs)为400。每两个轮次之后，在测试集上对网络进行一次评估。
一、卷积层网络的特征图聚合方法对遥感图像检索性能的影响
表4-3至表4-5列出了对卷积层特征采用不同特征图聚合方法时的遥感图像检索性能。可以看出，当对不同的网络模型采用不同的池化方法(最大池化、平均池化和混合池化)和不同的编码方法(BoW、IFK和VLAD)时，检索性能不同。总体来看，无论采用哪种池化或者编码方法，ResNet的检索性能都是最好的。
表4-3 特征图聚合方法对检索性能的影响(以UCMD数据集为例；ANMRR，mAP:%)
表4-4 特征图聚合方法对检索性能的影响(以AID数据集为例；ANMRR，mAP:%)
表4-5 特征图聚合方法对检索性能的影响(以PatternNet数据集为例；ANMRR，mAP:%)
二、单一特征和多尺度特征连接(multi-scale concatenation)对检索性能的影响
表4-6列出对3个数据集分别提取单一特征和多尺度特征时，对检索性能的影响。通过构建特征图金字塔(Feature Pyramid Network，FPN)提取多尺度特征。结果表明，采用多尺度特征连接的检索性能要明显优于单一特征。(www.xing528.com)
表4-6 单一特征和多尺度特征对检索性能的影响(mAP:%)
三、卷积层特征和全连接层特征对遥感图像检索性能的影响
图4-19给出三组基于深度特征的遥感图像检索结果。以UCMD、AID和PatternNet数据集为例，分别选取农田(agricultural)、工业区(industrial)和立交桥(overpass)作为查询类别。选用ResNet网络提取深度特征，对比了分别采用卷积层特征和全连接层特征的检索结果。同样地，红色框表示错误检索类别，且在其下标出所属类别。可以看出，当采用不同网络层深度的特征进行检索时，结果会有差异。表4-7进一步对比了当选用不同类型的网络架构时，分别采用卷积层特征和全连接层特征对3个标注遥感数据集进行检索的性能，以ANMRR和mAP作为评价指标。表4-7中，Fc表示全连接层特征，Conv＿n表示最后一个卷积层特征。结果表明，不同的网络架构、不同网络层深度的特征和特征向量维数，都会对检索性能产生影响。
图4-19 基于深度特征的遥感图像检索结果
表4-7 卷积层特征和全连接层特征对检索性能的影响(ANMRR，mAP:%)
四、原始预训练网络和精调网络对遥感图像检索性能的影响
图4-20 基于原始预训练网络和精调网络的遥感图像检索结果(ResNet网络)
图4-20给出三组分别采用原始预训练网络和精调网络模型的遥感图像检索结果。同样地，以UCMD、AID和PatternNet数据集为例，分别选取农田(agricultural)、工业区(industrial)和立交桥(overpass)作为查询类别。同样选用ResNet网络提取深度特征。红色框表示错误检索类别，且在其下标出所属类别。检索结果验证了精调网络模型有利于提升检索性能。表4-8进一步对比了选用不同网络架构时，直接采用预训练网络和通过精调迁移到遥感数据集时，在3个标准遥感数据集上的检索性能。实验结果进一步验证了精调网络对于提升检索性能的有效性。
表4-8 原始预训练CNNs网络和精调CNNs网络对检索性能的影响(mAP:%)
五、基于深度特征与人工设计特征的遥感图像检索性能对比
表4-9给出一组基于人工设计特征和深度特征的遥感图像检索性能对比结果。以UCMD为数据集，人工设计特征选择了3种中层视觉特征BoVW、LBP和VLAD，选用ResNet50和VGG网络提取深度特征，相似性计算则选取了欧氏距离、余弦距离、曼哈顿距离和χ2四种距离函数。可以看出，无论采用哪种距离函数，深度特征在遥感图像表达方面比人工设计特征均有明显的优越性。
表4-9 基于深度特征与人工设计特征的遥感图像检索性能对比(以UCMD数据集为例；mAP:%)
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
