应用信息论基础

《应用信息论基础》是在2001年清华大学出版社出版的图书，作者是朱雪龙。

本书从基本概念、基本方法结航图费球吸和基本应用三个方面较系统地介绍了信息理论。包括信剧九源的熵率、冗余度与冗来自余度压缩编码等。

• 书名 应用信息论基础
• 作者 朱雪龙
• 出版社 清华大学出版社
• 出版时间 2001年1月
• 页数 339 页

内容介绍

　　本书从基本概念、基本方法和基本应用三个方面较系统地来自介绍了信息理论。全书共分9章。除第1章概述和第2章基本概念外，第3章至第6章分别介绍信源的冗余度压缩编码、熵压缩编码和信道的容量与信道编码。第7章讨论最大熵与最小鉴别信息原理及其应用。非统计意义下的信息理论在第8章中讨论，内容包括组合信息、算法信息与通用编码。最后在第9章中简要介绍了通信网中的信源编码与信道容量问题 。

图书目录

　　第1章信息论与信息论方法概述1

　　1.1信息、信360百科息科学和信息论1

　　1.2信息论方法的应用及其取得的成果3

　　1.3信息论流抓微如历数坏坚比件杨的形成与发展7

　　1.3.1通信技术的理论基础7

　　1.3.2鸡夜统计数学的一个分田该对吸效承能省西丰毛支11

　　1.3.3信号与信息处理的一般理论基础12

　　第2章信息论的基本概念14

制钟阻末常许　　2.1离散熵14

　　2.1.1熵的定义14

　　2.1.2熵函数的性质19

　　2.1.3熵函数形式的唯一性23

放肉明船击哥投章代群既　　2.1.4联合熵与条件熵26

　　2.2离散互信息29

　　2.2.1互信息的定义29

　　2.2.2多个玉号械请州沙白东随机变量下的互信息31

　　2.2.3互信息函数的性质35

　　2.3连续随机变量下的熵与互信息38

　　2.3.1连续随机变量下的微分熵38

　　2.3多香皮逐振力.2随机变量函数异养突杀收的微分熵40

　　2.3.3连续随机变量下的互信息42

　　2.4鉴别信息4还缺执牛语4

　　2.4.1鉴别信息的定义44

　　2.4.2Kullback与香农两种信息量度之间的关系47

　　2.4.3鉴别信息的性质51

　　*2.4.4鉴别信息函数形式的唯一性57

　　2.5对信息论基本概念的若干评注70

　　习题71

　　第3章信源的熵率、冗余度与冗余度压缩编码74

　　3.1信源、信源模型与信源编码74

　　3.1.1信源74

　　3.1.2信源模型75

　　3.1.协表万片曲衡轻盟入3信源编码77

　　3.2离散稳恒信源的熵率与冗余度78

　　3.3离散无记忆信源的渐近等同分割性与信源的定长编码定理82

　　3.3.1渐近等同分割性82

　　3.3.2定长千具路劳提朝道距当编码定理84

　　3.4离散无记忆信源的变长编码86

　　3.4.1前缀码与Kraft定理87

　　3.4.2唯一可译码定理89

　　3.5变长编码的平均码长与最优编码90

　　谈保宪思书3.5.1变长编码的平均码长90

　　3.5.2最优编码92

　　3.6离散无记忆信源的变长树码95

　　3.6.1算术码95

　　3.6.2算金损机正烟苏阳不门连何术码的存在性97

　　3.7离散马尔可夫信源的熵率100

　　3时龙热远仍书说积.7.1马尔可夫链的基本概念1氢变举出突谈采低从额选00

　　3.7.2离散马尔可夫信源熵率的计算102

　　3.8离散马尔可夫信源的编码定理与最优编码105

　　习题展面研别能还护茶108

　　第4章信道、些信道容量与信道的有效利用110

　　4.1信道、信道模型与信道分类110

　　4.1.1信道110

　　4.1.2信道模型与信道分类111

　　4式乐.2离散无记忆信道及其信道容量112

　　4.3离散无记忆信道容量的计算116

　　4.3.1信道容量解的充要条件116

　　4.3.2某些简单情况下信道容量的解119

　　4.3.3一般情况下信道容量的解122

　　*4.3.4信道容量的迭代解法124

　　4.4级联信道和并联信道的信道容量125

　　4.4.1级联信道125

　　4.4.2并联信道128

　　4.5信道达到充分利用时输入输出字母概率分布的唯一性131

　　4.6连续信道的信道容量135

　　4.6.1无记忆加性噪声信道的信道容量费用函数136

　　4.6.2无记忆加性高斯噪声信道的信道容量费用函数137

　　4.6.3一般无记忆加性噪声信道的信道容量费用函数的界141

　　4.6.4无记忆加性高斯噪声信道的级联和并联142

　　4.7模拟信道的信道容量145

　　4.7.1模拟随机信号的正交展开145

　　4.7.2模拟信道下的信道容量费用函数及其计算148

　　4.8限带加性白色高斯噪声信道的极限性能及其与传输要求的

　　匹配156

　　4.8.1限带加性白色高斯噪声信道的性能及其极限157

　　4.8.2信道与信息传输要求的匹配160

　　4.9限带模拟信道的数字化163

　　*4.10蜂窝移动通信条件下信道的有效利用165

　　4.10.1蜂窝移动通信与系统的频谱利用效率165

　　4.10.2不同接入方法下蜂窝移动通信系统的频谱利用

　　效率及其比较167

　　习题171

　　第5章信道编码173

　　5.1信道编码概述173

　　5.2信道译码准则176

　　5.3联合典型序列与联合渐近等同分割定理179

　　5.4信道编码定理181

　　5.5信道编译码方法的最初范例--汉明码183

　　5.6分组码之一:线性码185

　　5.6.1线性码的定义、编码与生成矩件185

　　5.6.2线性码的伴随式与伴随式译码187

　　*5.7分组码之二:循环码190

　　5.7.1循环码的定义191

　　5.7.2循环码的编码与生成多项式191

　　5.7.3循环码的伴随式与译码原理193

　　5.8树码、网格码与卷积码195

　　5.9关于信道编码理论的若干评注199

　　习题200

　　第6章信源的信息速率失真函数与熵压缩编码203

　　6.1熵压缩编码和信源的信息速率失真函数204

　　6.1.1熵压缩编码204

　　6.1.2离散无记忆信源的熵压缩分组编码及信源的信息

　　速率失真函数204

　　6.2信息速率失真函数的性质206

　　6.3离散无记忆信源下的信息速率失真函数的计算211

　　6.3.1信息速率失真函数解的充要条件及参数方程211

　　*6.3.2求解信息速率失真函数的迭代算法217

　　6.3.3信息速率失真函数解的唯一性问题220

　　6.3.4乘积信源的信息速率失真函数222

　　6.4连续无记忆信源的信息速率失真函数224

　　6.4.1连续无记忆信源信息速率失真函数的定义及其解

　　的充要条件224

　　6.4.2差值失真量度下连续无记忆信源信息速率失真

　　函数的计算226

　　6.5标量量化233

　　6.5.1均匀量化235

　　6.5.2Lloyd\\|Max算法235

　　6.6有记忆连续信源与模拟信源的信息速率失真函数236

　　6.6.1有记忆连续信源的信息速率失真函数的定义236

　　6.6.2模拟信源的信息速率失真函数的定义237

　　6.6.3高斯有记忆连续信源的信息速率失真函数237

　　6.6.4高斯模拟信源的信息速率失真函数240

　　6.7变换编码--实用的熵压缩分组编码242

　　6.8预测编码--实用的熵压缩树码248

　　6.8.1最小均方误差预测器249

　　6.8.2最小平均绝对误差预测器249

　　6.8.3最大零误差概率预测器249

　　习题251

　　第7章最大熵原理与最小鉴别信息原理254

　　7.1非适定问题与最大熵和最小鉴别信息原理254

　　7.1.1非适定问题的提出254

　　7.1.2最大熵原理与最小鉴别信息原理255

　　7.2最大熵原理的合理性258

　　*7.3最小鉴别信息原理与最大熵原理的公理化推导261

　　7.3.1最小鉴别信息原理的推导261

　　7.3.2最大熵原理的推导269

　　7.4最小失真意义下的最大熵原理与最小鉴别信息原理269

　　7.4.1方向正交与投影失真270

　　7.4.2投影失真的一般形式272

　　7.4.3最小失真准则与熵准则274

　　7.5最大熵与最小鉴别信息原理的应用及其解的分布276

　　7.5.1最大熵与最小鉴别信息原理的应用276

　　7.5.2最大熵分布与最小鉴别信息分布281

　　习题282

　　第8章组合信息、算法信息与通用编码284

　　8.1信源统计特性不确定时的信源编码问题284

　　8.1.1统计特性失配时统计编码的性能285

　　8.1.2自适应统计编码285

　　8.2基于组合的信息量度与通用编码287

　　8.2.1基于组合的信息量度287

　　8.2.2通用编码288

　　8.2.3Fitingof通用编码的性能289

　　8.3算法信息量292

　　8.3.1单一事件或数值下的信息量度问题292

　　8.3.2Kolmogorov算法熵293

　　8.4二元字符序列的算法熵294

　　8.5算法熵的不可计算性296

　　8.6有限状态压缩编码器298

　　8.7Lewpel\\|Ziv编码302

　　8.8LZ编码压缩比与香农熵305

　　习题306

　　第9章通信网中的信源编码与信道容量309

　　9.1概述309

　　9.2反馈信道314

　　9.3多个随机变量下的联合典型序列316

　　9.4多源接入信道320

　　9.4.1多源接入信道的容量320

　　9.4.2相关信源输入下的多源接入信道324

　　9.5高斯多源接入信道324

　　9.5.1高斯多源接入信道的容量域324

　　9.5.2对高斯多源接入信道容量域的讨论326

　　9.5.3多源接入信道容量域与多址方法的关系327

　　9.6分布信源编码329

　　习题333

　　参考文献335

　　索引336