IVUS关键帧自动检索方法优化

目前图像检索的方法主要分为基于文本的图像检索（Text-Based Image Retrieval，TBIR）和基于内容的图像检索（Content-Based Image Retrieval，CBIR）两种。TBIR的历史可以追溯到20世纪70年代末期，其基本思想是首先建立一个图像数据库，利用关键字或者自由文本对数据库图像进行人工标注或注释来描述图像特征，存储标注数据库并建立索引。对于要检索的图像，同样利用文本进行人工标注，然后检索图像的标注信息去数据库中查找匹配的索引，得到检索结果。该方法的缺点在于目前的图像分割和计算机视觉技术尚无法实现对图像语义的自动标注，使用人工标注工作量巨大，对于大型图像数据库实现困难；人工标注存在很大的主观性，同一幅图像在不同的心理条件或者环境下，标注信息可能会有很大的不同，而且不同标注者对同一幅图像的理解和认知也不尽相同；图像中包含的信息量大，难以用语言或者文本完整表述。

CBIR不同于传统的基于文本和数字的图像检索手段，它是建立在计算机视觉和图像理解理论基础之上的，综合了人工智能、面向对象技术、认知心理学和数据库等多学科的知识。图像内容的描述不再依赖于手工标注，而是借助于从图像中自动提取的、反映图像内容并与图像储存在一起的各种量化视觉特征，检索过程也不再是关键字匹配，而是视觉特征之间的相似性匹配。其关键技术是图像的特征提取和基于特征的相似性度量。CBIR具有客观、节省人力、可建立复杂描述、通用性好和应用前景广阔等诸多优点。但是CBIR是通过计算目标图像与查询图像之间在视觉特征上的相似度，然后按照相似度由大到小的排列返回检索结果，由于对于图像理解的强烈主观性，这种关于相似性的定义比较困难。典型的相似性度量方法有基本的几何距离度量方法和直方图距离计算法。

在IVUS图像序列中，关键帧是指记录血管中重大形态学改变位置的帧。对于IVUS图像序列关键帧的检测有两方面的作用：在回撤导管时，形态学发生重大改变的帧总数远远小于图像序列的总帧数，因此关键帧具有很强的代表性；使用关键帧作为标记，医生可以只关注血管的病变部分，避免检测整个图像序列，从而提高工作效率。

目前，临床常用的IVUS图像序列关键帧的检索方法是通过变换导管的角度和纵向位置，由粗到精地进行手工逐帧搜索，不仅耗时，效率低，而且结果的客观性和可重复性差。影响检索精度的因素主要包括：导管的持续旋转、心脏扭转引起的重复帧、导管在管腔内的复杂运动、血管的搏动和斑点噪声等，这些也是在自动检测关键帧时需要解决的问题。

冠状动脉血管在形态和位置上的多变性和特殊性给IVUS图像的自动检索带来了很大的困难，目前常用的方法是首先提取出各帧IVUS图像的纹理特征，再利用分类器对这些纹理特征进行分类。此类方法的缺点是计算复杂度较高，检索效率低。本节结合对临床图像的实验结果，简单介绍一种基于血管形态的关键帧检索方法，详细方法步骤参见文献［63］。

首先，提取各帧横向视图中的血管内腔边界和中-外膜边界，并计算血管内腔轮廓的面积S₁和中-外膜轮廓所包围区域的面积S₂，如图3-54所示。

然后，计算各帧图像中血管壁内外膜轮廓所包围区域的面积。图像序列中所有帧的血管壁内膜轮廓包围区域的面积组成序列X₁，外膜轮廓包围区域的面积组成序列X₂。

其次，采用SAX方法分别对序列X₁和X₂进行量化编码，目的是对序列降维，并用符号表示数值序列，以便于利用欧氏距离计算相邻两帧之间的相似度。SAX是一种将时间序列数据离散化的方法，其基本思想是采用逐段聚集近似对序列降维，在此基础上将序列离散化。SAX表示具有计算简单高效的优点，并且允许降维支持下界函数。采用SAX的方法对序列X₁和X₂进行量化编码的具体步骤如下：

图3-54 提取IVUS图像中的血管壁轮廓

1）将序列X₁和X₂标准化为均值为0、标准差为1的标准序列X′₁和X′₂。(www.xing528.com)

2）计算一个滑动窗口中数据的均值作为整个窗口的数据表示，得到X′₁和X′₂的分段累积近似表示X″₁＇和X″₂。滑动窗口的大小W代表整个图像序列的解析度，因此将其设置为以帧为单位的心动周期长度，该值可从IVUS图像序列中估算得到。

3）由于序列X″₁和X″₂近似服从高斯分布，根据量化等级个数H在高斯分布表中查找区间的系列分裂点β_i，将均值映射为对应的量化等级。

再次，采用标准化的欧氏距离，计算出管腔区域的面积序列X″₁＇和外膜区域面积序列X″₂的均值和方差，并对两个序列标准化。每帧图像标准化后的管腔包围区域面积和外膜包围区域面积组成一个二维特征向量I（i）（i＝1，2，…n，n为量化后图像序列的帧个数），再计算出相邻两帧图像的二维特征向量I（i）和I（i＋1）之间的欧氏距离D_E（i）。设IVUS图像序列共有N帧图像，则相邻两帧的相似度序列为D_M＝｛D_M(1)，D_M(2)，…，D_M(N-1)｝。

最后，采用自适应的方法设置阈值完成关键帧的提取。若相邻两帧之间的欧氏距离大于阈值，则认为此帧为关键帧；否则认为不是。具体步骤如下：

1）对序列D_M中的元素按照由大到小的顺序排列，得到D′_M＝｛D′_M(1)，D′_M(2)，…D′_M(T)，...，D′_M（N-1）｝。以D′_M（T）为界，把D′_M分为D′_M1＝｛′_M(1)，D′_M(2)，…D′_M(T)｝和D′_M2＝｛D′_M(T+1)，D′_M (T+2)，…D′_M(N-1)｝两个子序列。

2）计算D′_M1和D′_M2两组数的方差之和，记为σ²_T。对于T＝1～N-1，分别计算出相应的σ²_T，得到｛σ²₁，σ²₂，…σ²_N-1｝，找出使方差和最小的T，则D′_M(T)即为所求阈值D_T。

3）若相邻两帧之间的D_M(i)＞D_T，则认为图像序列的第i帧为关键帧。

图3-55是对包含一个2500帧、帧间的时间间隔为39.59ms、每帧图像大小为240×240像素的IVUS图像序列进行关键帧检索的结果。

图3-55 IVUS图像进行关键帧检索结果