典型遥感图像检索系统优化方案

自20世纪90年代基于内容的图像检索研究起步以来，各国政府组织、商业机构和研究部门都对其投入了很大的关注，各知名公司和科研院所纷纷开发了自己的图像检索系统。早期的国内外代表性图像检索系统包括:IBM的QBIC系统(1994)、Virage公司的VIR Image Engine(1996)、Excalibur公司的RetrievalWare系统、MIT的Photobook系统、美国哥伦比亚大学的VisualSEEk和WebSEEk系统(1996)、美国伊利诺伊大学的MARS系统(1996)、美国波士顿大学的ImageRover(1997)、美国宾州州立大学的SIMPLIcity(2001)、美国加州大学伯克利分校的Chabot系统(1995)、美国宾州州立大学的CLUE系统(2005)、芬兰赫尔辛基工业大学的PicSOM(2002)、清华大学的“Internet上的静态图像的基于内容检索的原型系统”(1997)、中国科学院自动化所和北京图书馆联合开发的MIRES、中科院计算所的ImageSeek(2002)、微软亚洲研究院的iFind检索系统(2002)、浙江大学的Photo Navigator、Photo Engine和WebscopeCBR系统，等等。

在遥感领域，由于充分意识到基于内容的图像检索技术的重要性，美国国家自然基金会(NSF)、国防部高等研究计划局(DARPA)和美国航空及太空总署(NASA)在1995年共同斥资2440万美元，支持以包括加州大学圣芭芭拉分校和伯克利分校、伊利诺伊大学等在内的6所大学为首，共有75个研究机构参与为期4年的“数字图书馆”研究计划，都将基于内容的遥感图像检索技术作为研究重点。除了美国之外，德国、法国、日本、英国、中国也都相继在这一领域开展了深入而持续的研究工作，并取得了丰硕的研究成果。代表性的遥感图像检索系统或项目包括:美国的CANDID项目(1994—1996)、美国的NETRA系统(1995—1998)、美国的Blobworld系统(1995—1998)、瑞士的RSIAⅡ＋Ⅲ项目(1997—1998)、GeoBrowse系统(1998)、新加坡南洋理工大学的(RS)2I项目(2002)、德国航空中心的KIM系统(2002)、美国的VISIMINE系统(2002)、美国密苏里大学哥伦比亚分校的GeoIRIS系统(2007)、SIMR系统(2009)、美国加州大学默塞德分校的CBGIR项目(2010)，等等。近年来，各大互联网公司，如Google、Bing、百度、Facebook等，也陆续升级了搜索引擎以支持遥感图检索；2016年，位于美国宾夕法尼亚州匹兹堡的初创公司Terrapattern发布了面向公众的遥感人工智能服务。以下对这些代表性遥感图像检索的研究项目、系统及服务进行简要介绍。

1.CANDID项目(1994—1996)

美国能源部Los Alamos National Laboratory的CANDID项目(comparison algorithm for navigating digital image databases)不是单纯针对遥感图像数据库的检索而开展的项目，而是将遥感图像(主要是多波段Landsat TM图像)作为基于内容的图像检索技术的一个重要应用，另一个重要的应用是医学图像领域。

CANDID采用概率密度函数描述图像特征，基本思想是首先计算数据库中所有图像基于像素点的可视化特征(颜色、纹理、形状)，然后通过概率密度函数描述这些特征的分布情况，这种方式同时兼顾了图像的细节信息和信息分布情况。

2.NETRA系统(1995—1998)

美国加州大学圣芭芭拉分校UCSB的Alexandria数字图书馆项目(alexandria digital library，ADL)的目标是建立一个为用户提供Internet环境下获取、操作空间信息的分布式数字图书馆。NETRA系统是ADL项目开发的一个基于内容的图像检索原型系统，对于用户提交的一个查询图像，NETRA根据颜色、纹理、形状和空间分布信息在数据库中匹配检索具有相似性特征的区域返回给用户。系统的特色在于基于Gabor滤波器的纹理特征提取、基于神经网络的图像辞典的建立和基于边界流的区域分割技术等。

3.Blobworld系统(1995—1998)

美国加州大学伯克利分校的Berkeley数字图书馆项目致力于对图像库中的图像进行基于内容的分类和检索、对WEB进行自动的分类和检索、以及对文档识别、数据库索引和访问协议、分布式搜索等的研究。BlobWorld系统是Berkeley数字图书馆项目开发的一个基于内容的图像检索原型系统，数据来源包括航空图像、USGS正射图像和地形图，SPOT卫星图像等。

4.RSIAⅡ＋Ⅲ项目(1997—1998)

瑞士苏黎世联邦理工学院的RSIAⅡ＋Ⅲ项目(advanced query and retrieval techniques for remote sensing image databases)的研究目的是基于光谱和纹理特征的瑞士卫星图像的检索。RSIAⅡ＋Ⅲ和RSIAⅠ(the swiss national remote sensing image archive)一起构成RSIA项目的研究主体。其中，RSIAⅠ的目的主要是遥感图像产品的存档、维护等工作，RSIAⅡ＋Ⅲ的目的是研究多分辨率遥感图像数据的描述和基于内容的遥感图像查询及检索技术，以便满足目前人们对海量遥感图像数据的应用需求。RSIAⅡ＋Ⅲ项目的研究内容包括:多分辨率遥感图像数据基于光谱特征和纹理特征的描述、基于小波的图像压缩、渐进式图像传输、聚类及索引技术等。RSIAⅡ＋Ⅲ提供了在线遥感图像检索演示系统MMDEMO，数据来源包括Landsat TM、X-SAR、IRS等；MMDEMO提供了丰富的查询方式，用户可基于纹理尺度、纹理范围、几何描述、语义类别及其逻辑组合实现图像检索。

5.GeoBrowse系统(1998)

GeoBrowse系统是一个支持遥感图像管理、检索、处理和挖掘的集成原型系统。系统由图形化用户界面(GUI)、对象关系数据库管理系统(ORDBMS)、科学问题解决环境(SPLUS)组成，不同组件之间可以跨平台通信。以Landsat＿TM遥感影像为例，在图像挖掘流程，需要预先进行遥感影像的光谱混合分析和6D直方图计算，提交查询图像后，会返回与之相似的图像。

6.(RS)2Ⅰ项目(2002)

新加坡南洋理工大学的(RS)2Ⅰ项目(retrieval system for remotely sensed imagery)的研究目标是为没有遥感背景的非专业类人士提供获取不同传感器类型遥感图像数据的接口。项目的研究内容涵盖基于统计模型的图像内容描述及特征向量相似性度量、索引技术、降维技术、数据存储技术、异步环境下的查询并行处理等。基于(RS)2Ⅰ项目开发的一个遥感图像检索原型系统中，目标遥感图像数据不局限于某一种传感器类型，也不需要使用者具备很强的专业知识背景，同时利用了多光谱遥感图像的光谱内容和图像文本信息(地理位置、传感器类型、获取时间等)作为查询接口。系统的一个特色就在于并行的系统体系架构设计和灵活的图像特征提取机制。数据来源包括:SPOT、Landsat、MOMS-02和IKONOS，分辨率从4m到30m，覆盖了204150km2的地域范围，包括城市、农村、森林等。

7.KIM系统(2002)

德国航空中心的Datcu等人设计并开发的KIM系统(knowledge-driven information mining)包含了遥感图像检索功能，KIM系统的特色在于利用贝叶斯网络挖掘隐含的语义特征，并通过人机交互的方式选择ROI区域和非ROI区域从而提高检索精度。(www.xing528.com)

8.VISIMINE系统

由Selim Aksoy等人设计并开发的遥感图像检索系统——VISIMINE，从像素、区域和场景三个方面提取遥感图像特征并考虑到区域间的空间关系，最后利用这些底层特征进行遥感图像的相似性匹配。

9.GeoIRIS系统(2007)

美国密苏里大学哥伦比亚分校设计并开发的GeoIRIS系统(geospatial information retrieval and indexing system)提供了大规模图像数据库的特征提取、视觉内容挖掘、高维索引、语义关联等功能。GeoIRIS的原始图像数据库由45 GB高分辨率卫星影像构成，覆盖面积为3994 km2，地物目标复杂、场景丰富。由于分别基于Tile分块和目标对象提取图像特征并分别构建索引，系统除了支持基于视觉特征的一般查询之外，还支持基于目标及其几何约束的复杂查询，提交查询请求时可以增加几何约束，比如“Given a query image containing a baseball diamond，find all similar baseball diamonds in the database that are within 2 km of a radio broadcast tower”。

10.CBGIR系统(2010)

CBGIR(content-based geographic image retrieval)系统是由加州大学默塞德分校提供的一个基于Web开发的高分辨率遥感图像检索系统，如图2-20所示。该系统提供了一个Google Map接口用于实现影像导航以及感兴趣区域的选取。图像库中的数据用Tile方式进行分块组织，提交查询图像之后，可以将该区域相似的图像返回给用户。用户可以选择的特征包括颜色直方图、纹理特征、局部不变特征描述子等，检索界面如图2-21所示。

图2-20　CBGIR系统体系架构[44]

图2-21　CBGIR检索界面^[12]

11.Terrapattern的基于人工智能的遥感卫星影像搜索引擎(2016)

Terrapattern是由来自卡内基梅隆大学(Carnegie Mellon University，CMU)Frank-Ratchye STUDIO的Golan Levin，David Newbury和Kyle McDonald开发的一个面向公众服务的遥感卫星影像搜索引擎，2016年发布了alpha版本。Terrapattern的意义不仅仅在于为用户提供了准确、高效地浏览和查询感兴趣位置(pattern of interest，POI)的接口，还在于它旨在利用人工智能技术，为各行各业的从业者(城市规划师、经济学家、社会学家、公务员、科研人员、商业人士、公益爱好者、旅游爱好者等)提供遥感图像服务的理念，而且提供了开源技术和数据。Terrapattern体现了对海量遥感影像数据管理以及地物分类和检索的卓越能力，背后的技术包括基于Tile的数据分块管理模式，基于ResNet的深度神经网络架构、迁移学习，基于SG-tree的最近邻查询等。Terrapattern的alpha版本提供了对包含纽约、旧金山、底特律、迈阿密、匹兹堡、柏林在内6个城市的支持。图2-22(a)(b)分别给出Terrapattern的检索界面和基于POI的相似地物检索结果。

图2-22　Terrapattern系统界面及地物检索结果(1)

图2-22　Terrapattern系统界面及地物检索结果^[13](2)