信息熵和小波能谱熵的理论与算法

对信号x（n）进行上述J层小波分解，其中第j层分解尺度下的高频细节系数为d_j（k），低频近似系数为a_j（k），相应的重构系数分别为D_j（k）和A_j（k）。则原始信号x（n）可表示为各重构系数之和，即

为了统一符号，将上式中的A_J（n）用D_J+1（n）代替即可得到

为了统一符号，将上式中的A_J（n）用D_J+1（n）代替即可得到

根据以上分析过程，定义基于小波变换多分辨率分析的小波能量谱在某尺度j下的值为该尺度下重构系数的平方和，即

根据以上分析过程，定义基于小波变换多分辨率分析的小波能量谱在某尺度j下的值为该尺度下重构系数的平方和，即

式中 N——采样点长度；

D_j（k），k=1，2，…，N——尺度j下小波重构系数。

在信息论中，熵用来表示信源输出的平均信息量的大小，它能提供信号潜在的动态过程的有用信息，其大小是对信号平均不确定性和复杂性的度量。香农信息熵定义如下

式中 N——采样点长度；

D_j（k），k=1，2，…，N——尺度j下小波重构系数。

在信息论中，熵用来表示信源输出的平均信息量的大小，它能提供信号潜在的动态过程的有用信息，其大小是对信号平均不确定性和复杂性的度量。香农信息熵定义如下

式中 p_j——信号取值的概率，且满足

式中 p_j——信号取值的概率，且满足

信息熵值是对信号不确定性的度量，可以用来估计信号的复杂性。

基于Shannon熵概念的谱熵（Spectral Entropy）同样是一种复杂度的分析指标，所分析信号的功率谱中存在的谱峰越窄、谱熵越小，表示信号波形的变化越有规律、复杂度越小；反之，功率谱越平坦、谱熵越大，信号的复杂度越大。计算谱熵的常用方法是采用快速傅里叶变换（Fast Fourier Transform，FFT）估计信号功率谱，然后计算谱熵，但基于FFT变换的功率谱估计只能反映信号段的平均功率分布，不包含信号的任何时域变化信息，并且谱估计的频率分辨率与所采用的信号长度成正比，用短时间窗的信号作谱估计将降低其频率分辨率。用小波变换（Wavelet Transform，WT）代替FFT变换可以定义各种熵，统称为小波熵。小波变换可以在频域和时域同时定位分析非平稳时变信号，因此可以得到信号在时域的动态变化信息，在此基础上定义的各种小波熵可以表征信号复杂度在时域的变化情况，也可以表征信号的诸多频域特征，小波能谱熵就是其中之一。

小波能谱熵是将小波能谱分析与信息熵原理相结合的产物，其基本思想是将小波系数矩阵处理成一个概率分布序列，用该序列的熵值来反映这个系数矩阵的稀疏程度，即被分析信号概率分布的有序程度。信号经过小波变换后，假设每一个尺度为一个信号源，那么，每个尺度上的小波重构系数相当于一个信源发出的消息。这样，根据小波变换的重构系数的能谱，即可计算信号的小波能谱熵，即多尺度下的小波能谱熵。(www.xing528.com)

设E=E₁，E₂，…，E_J，为信号x（n）在J个尺度上的小波能谱。则在尺度域上E可以形成对信号能量的一个划分。由正交小波变换的特性可知，在某一时间窗内，信号的总功率E等于该窗内各尺度下分量功率E_j之和。因此，针对传统熵只能表征一个信号在整个时间段上的不确定性，而无法分析非平稳信号的局部不确定特征的问题，可定义一个滑动窗，计算窗口内各尺度小波重构系数的能谱熵，观察小波能谱熵跟随窗口滑动的变化情况。首先将信号进行J层小波分解，在尺度j下，多分辨率分析的小波重构系数为D_j（k），在此小波重构系数上定义一滑动时窗，窗长为L，滑动步长为δ，然后计算每个尺度下某一时窗内信号的小波能谱为

信息熵值是对信号不确定性的度量，可以用来估计信号的复杂性。

基于Shannon熵概念的谱熵（Spectral Entropy）同样是一种复杂度的分析指标，所分析信号的功率谱中存在的谱峰越窄、谱熵越小，表示信号波形的变化越有规律、复杂度越小；反之，功率谱越平坦、谱熵越大，信号的复杂度越大。计算谱熵的常用方法是采用快速傅里叶变换（Fast Fourier Transform，FFT）估计信号功率谱，然后计算谱熵，但基于FFT变换的功率谱估计只能反映信号段的平均功率分布，不包含信号的任何时域变化信息，并且谱估计的频率分辨率与所采用的信号长度成正比，用短时间窗的信号作谱估计将降低其频率分辨率。用小波变换（Wavelet Transform，WT）代替FFT变换可以定义各种熵，统称为小波熵。小波变换可以在频域和时域同时定位分析非平稳时变信号，因此可以得到信号在时域的动态变化信息，在此基础上定义的各种小波熵可以表征信号复杂度在时域的变化情况，也可以表征信号的诸多频域特征，小波能谱熵就是其中之一。

小波能谱熵是将小波能谱分析与信息熵原理相结合的产物，其基本思想是将小波系数矩阵处理成一个概率分布序列，用该序列的熵值来反映这个系数矩阵的稀疏程度，即被分析信号概率分布的有序程度。信号经过小波变换后，假设每一个尺度为一个信号源，那么，每个尺度上的小波重构系数相当于一个信源发出的消息。这样，根据小波变换的重构系数的能谱，即可计算信号的小波能谱熵，即多尺度下的小波能谱熵。

设E=E₁，E₂，…，E_J，为信号x（n）在J个尺度上的小波能谱。则在尺度域上E可以形成对信号能量的一个划分。由正交小波变换的特性可知，在某一时间窗内，信号的总功率E等于该窗内各尺度下分量功率E_j之和。因此，针对传统熵只能表征一个信号在整个时间段上的不确定性，而无法分析非平稳信号的局部不确定特征的问题，可定义一个滑动窗，计算窗口内各尺度小波重构系数的能谱熵，观察小波能谱熵跟随窗口滑动的变化情况。首先将信号进行J层小波分解，在尺度j下，多分辨率分析的小波重构系数为D_j（k），在此小波重构系数上定义一滑动时窗，窗长为L，滑动步长为δ，然后计算每个尺度下某一时窗内信号的小波能谱为

时窗内信号的总能量等于各个尺度分量的能量之和，即

时窗内信号的总能量等于各个尺度分量的能量之和，即

则时窗内每个尺度信号的相对能量为

则时窗内每个尺度信号的相对能量为

式中 p_j——不同尺度的能量分布情况。

式中 p_j——不同尺度的能量分布情况。

由于，满足广义分布条件，用其代替香农熵里的概率p_j，对数以2为底，即可得到信号x（n）在时窗内的小波能谱熵的表达式：

由于，满足广义分布条件，用其代替香农熵里的概率p_j，对数以2为底，即可得到信号x（n）在时窗内的小波能谱熵的表达式：

随着时窗的滑动，可以得到小波能谱熵随时间的变化规律。

随着时窗的滑动，可以得到小波能谱熵随时间的变化规律。