连续信源信息率失真函数及性质

设连续信源X，其值域为实数域R，概率密度为p（x）。又设另一连续变量Y，其值域也为实数域R。同样在X和Y之间确定某一非负的二元实函数d（x，y）为失真函数。假设有一个试验信道，信道的转移概率密度为p（y|x），则通过试验信道获得的平均互信息为

I（X；Y）=h（Y）-h（Y|X）

与离散信源相似，也可以定义连续信源的平均失真度、许可试验信道和信息率失真函数。

定义5.11 连续信源的平均失真度定义为失真函数d（x，y）的数学期望，即

N维连续信源的平均失真度定义为失真函数d（x，y）的数学期望，即

式中，D_i是第i个连续分量的平均失真度，并满足式（5.45）。

若式（5.46）中N维连续信源的各分量取于同一连续信源，则由式（5.46）得

D（N）=ND （5.47）

定义5.12 满足保真度准则的信道称为许可试验信道，所有许可试验信道的集合用B_D（或B_D（N））表示，其表达式为

（连续信源）B_D={p（y|x）：D′≤D，x∈R，y∈R}（5.48）(www.xing528.com)

（N维连续信源）B_D（N）={p（y|x）：D′（N）≤ND，x∈R^N，y∈R^N}（5.49）

定义5.13 在满足保真度准则的许可试验信道的集合B_D（或B_D（N））中，平均互信息的下确界定义为信息率失真函数R（D）（或R_N（D）），其表达式为

inf是指下确界，相当于离散信源中求极小值。严格地说，连续集合中可能不存在极小值，但下确界是存在的^[1]。

与离散信源类似，可以证明连续信源R（D）函数有以下性质：

性质5.4 连续信源的信息率失真函数R（D）是非负的，其定义域为0≤D_min≤D≤D_max，D＜D_min时R（D）无意义；D＞D_max时，R（D）=0；且

性质5.5 连续信源的信息率失真函数R（D）是关于平均失真度D的∪形凸函数（又称下凸函数）。

性质5.6 连续信源的信息率失真函数R（D）是（D_min，D_max）区间上的连续和严格单调递减函数。

与离散信源不同的是，在D=0（或D=D_min）时，连续信源R（D）并不连续。在D→0（或D→D_min）时，R（D）→∞，趋近信源的绝对熵。对于离散情况，H（X）是R（0）（或R（D_min））的上界，而连续信源的差熵h（X）还可能为负。