目　录
第 1章　绪论　1
第 2章　离散信息的度量　4
2.1　知识要点　4
2.1.1　自信息和互信息　4
2.1.2　信息熵　6
2.1.3　平均互信息　9
2.2　例题精解　11
2.3　习题解答　15
第3章　离散信源　34
3.1　知识要点　34
3.1.1　离散信源的分类与数学模型　34
3.1.2　离散无记忆信源的扩展　35
3.1.3　离散平稳信源的熵　35
3.1.4　有限状态马尔可夫链　36
3.1.5　马尔可夫信源　37
3.1.6　信源的相关性与剩余度　38
3.2　例题精解　38
3.3　习题解答　42
第4章　连续信息与连续信源　64
4.1　知识要点　64
4.1.1　连续随机变量的熵　64
4.1.2　离散时间高斯随机变量的熵　65
4.1.3　连续**大熵定理　66
4.1.4　连续随机变量之间的平均互
信息　67
4.1.5　离散集与连续随机变量之间的
互信息　67
4.1.6　几种重要的连续信源　68
4.2　例题精解　68
4.3　习题解答　74
4.4　补充题解　89
第5章　无失真信源编码　92
5.1　知识要点　92
5.1.1　概述　92
5.1.2　定长码　93
5.1.3　变长码　94
5.1.4　**优编码　95
5.1.5　几种实用的信源编码方法　96
5.2　例题精解　97
5.3　习题解答　103
5.4　补充题解　119
第6章　离散信道及其容量　124
6.1　知识要点　124
6.1.1　基本概念　124
6.1.2　单符号离散信道及其容量　125
6.1.3　级联信道及其容量　126
6.1.4　多维矢量信道及其容量　127
6.1.5　信道容量的迭代算法　129
6.1.6　有约束信道的容量　129
6.2　例题精解　130
6.3　习题解答　136
第7章　有噪信道编码　155
7.1　知识要点　155
7.1.1　基本概念　155
7.1.2　**佳判决与译码准则　156
7.1.3　信道编码与**佳译码　157
7.1.4　费诺不等式　157
7.1.5　有噪信道编码定理　158
7.1.6　纠错编码技术简介　159
7.2　例题精解　160
7.3　习题解答　166
7.4　补充题解　181
第8章　波形信道　182
8.1　知识要点　182
8.1.1　离散时间连续信道　182
8.1.2　加性噪声信道与容量　183
8.1.3　AWGN信道的容量　184
8.1.4　有色高斯噪声信道　185
8.1.5　数字调制系统的信道容量　186
8.2　例题精解　186
8.3　习题解答　190
第9章　信息率失真函数　204
9.1　知识要点　204
9.1.1　基本概念　204
9.1.2　信息率失真函数定义　205
9.1.3　限失真信源编码定理　205
9.1.4　离散R(D)函数的性质与
计算　205
9.1.5　连续R(D)函数的性质与
计算　206
9.1.6　高斯信源的R(D)函数　207
9.1.7　一般连续信源的R(D)函数　207
9.1.8　有损数据压缩技术简介　207
9.2　例题精解　207
9.3　习题解答　213
9.4　补充题解　232
第 10章　网络信息论初步　235
10.1　知识要点　235
10.1.1　基本概念　235
10.1.2　多址接入信道　236
10.1.3　广播信道　237
10.1.4　中继信道　237
10.1.5　分布信源编码　237
10.2　习题解答　238
第 11章　信息理论方法及其应用　262
11.1　知识要点　262
11.1.1　离散信源熵的估计　262
11.1.2　**大熵原理　262
11.1.3　**小交叉熵原理　264
11.1.4　信息理论方法的应用　265
11.2　例题精解　265
11.3　习题解答　267
期末考试模拟试题　277
期末考试模拟试题标准答案　279
参考文献　285