局部二值模式及其在人脸识别中的应用

近年来，局部二值模式（Local Binary Patterns，LBP）在图像纹理分析，特别是人脸识别应用中取得了显著的成果，并涌现出很多改进方法。由于LBP的原理相对简单，计算复杂度低，同时又具有旋转不变性和灰度不变性等显著优点，因而该方法又被广泛地应用于图像匹配、行人和汽车目标的检测与跟踪、生物和医学图像分析等领域。

（一）LBP理论的提出

局部二值模式是一种灰度范围内的纹理度量，最初由Ojala等人在1996年为了辅助性的度量图像的局部对比度而提出的。最初，LBP定义于像素的8邻域中，以中心像素的灰度值为阈值，将周围8个像素的灰度值与其比较，如果周围像素的灰度值小于中心像素的灰度值，则该像素位置就被标记为0，否则标记为1；将标记后的值（即0或1）分别与对应位置像素的权重相乘，8个乘积的和即为该邻域的LBP值，计算原理如图4-9所示，图中二值模式01100010的LBP=0+2+4+0+0+0+64+0+0=70。

图4-9　LBP值的原始定义

考虑到原始LBP存在无法提取大尺寸结构纹理特征的局限性，Ojala等人对原始LBP进行了修改，并形成系统的理论。在某一灰度图像中，定义一个半径为R（R＞0）的圆环形邻域，P（P＞0）个邻域像素均匀分布在圆周上，如图4-10所示，图中没有落在像素中心邻域内的灰度值通过双线性插值得出。设邻域的局部纹理特征为T，则T可以用该邻域中P+1个像素的函数来定义，即

式中，gc是该邻域中心像素的灰度值；gp（p=0，1，…，P-1）对应P个等距离分布于以中心像素为圆心，半径为R的圆周上的像素点的灰度值。

图4-10　几种不同P和R值对应的圆环形邻域

a）P=4，R=1.0　b）P=8，R=1.0　c）P=12，R=1.5　d）P=16，R=2.0

随着半径的增大，像素之间的相关性逐渐减小，因此在较小的邻域中即可获得绝大部分纹理信息。在不损失纹理信息的前提下，可将邻域像素点灰度值gi分别减去中心像素点的灰度值gc，则T=t（gc，g0-gc，…，gP-1-gc）。假设各个差值与gc相互独立，则T≈t（gc）t（g0-gc，…，gP-1-gc）。

这种假设的独立性并不总是成立，由于数字图像中的灰度取值范围有限，那些较大的或者较小的值分布会明显降低差值的取值范围，因此这种独立性的假设有可能会带来信息的丢失。然而，信息的丢失带来的好处是使得局部纹理的描述对于图像灰度范围内的平移具有不变性。

由于t（gc）代表图像的亮度值，且与图像局部纹理特征无关，纹理特征可以直接表示为差值的函数T≈t（g0-gc，…，gP-1-gc）。虽然该式定义的纹理不受灰度值变化的影响，即所有P+1个像素同时加上或者减去某个值，其表征的纹理不变，但是当所有像素的值同时放大或者缩小相同倍数后，其纹理特征会发生变化。

若只考虑中心像素的灰度值减去圆环邻域内像素的灰度值（即gp-gc）的符号，发现它对局部纹理的描述具有对均匀亮度变化的不变性，而不仅仅是对灰度范围内的平移具有不变性，即

为每一个s（gp-gc）分配一个权值2p，就得到唯一表征局部纹理特征的LBP值(www.xing528.com)

（二）LBP的扩展

经过阈值计算后的无符号二进制数选取的初始位和方向不同时，对应的LBPP，R会产生2P种模式。很明显，随着邻域取样点个数的增加，二值模式的种类也会急剧增加。如此多的模式对于纹理的提取、分类和识别都是不利的。为了解决这一问题，Ojala等人对LBP进行了扩展，提出一种称为“uniform（统一）”模式的LBP描述方式。检验某种模式是否为统一模式，简单的方法是将其移动一位后的二值模式按位相减的绝对值求和

若U（LBPP，Rri）≤2，则称该模式为统一模式，其他模式称为混合模式。即如果模式对应的二进制串中0、1变换的次数小于两次，则是统一模式。例如，00000000（0位转变）、01110000（2位转变）、11001111（2位转变）是统一模式，而11001001（4位转变）和01010010（6位转变）不是统一模式。

改进后二值模式的种类大大减少，对于8个邻域点来说，二值模式由原来的256种减少为58种。在LBP直方图的计算中，使用统一模式时，直方图有单独的统一模式位，而混合模式需要分配单独的位。尽管统一模式仅是所有LBP输出中的一小部分，但是实验结果表明统一模式不仅可以描述绝大部分的纹理信息，而且具有较强的分类能力。

若图像发生旋转，那么中心像素的输出值自然会有所变化，为了消除图像旋转产生的影响，Ojala等人又提出了旋转不变LBP，即不断旋转圆形邻域得到一系列初始定义的LBP值，取其最小值作为该邻域的LBP值，可表示为

式中，ROR（x，p）表示将x循环右移p位。通过引入旋转不变的定义，LBP对于图像旋转表现得更为鲁棒，并且模式的种类进一步减少，使得纹理识别更加容易。

此外，旋转不变性的LBP还可以与统一模式联合起来，即将统一模式进行旋转得到旋转不变的统一模式

式中，U（LBPP，R）的计算方法如式（4-34）所示，上标riu2表示使用了旋转不变统一模式。这种模式种类减少为P+1类，所有非旋转不变统一模式都被归为第P+1类。

LBP方法在纹理分类的实验中取得了不错的效果，但是在具体的应用中，基本的LBP方法所获得的效果还不能令人满意，所以许多学者都在具体应用中对LBP进行相应的改进，尤其在人脸识别等方面取得了不错的成果。图4-11是对血管内超声图像进行LBP纹理特征提取的结果。

图4-11　对血管内超声图像进行LBP纹理特征提取的实验结果（R：LBP半径，N：领域点的数目）

a）原始图像　b）R=1，N=8　c）R=2，N=16　d）R=3，N=24