当前位置:主页 > 课后答案 > 应用信息论习题答案
应用信息论基础

《应用信息论基础》课后习题答案

  • 更新:2021-08-13
  • 大小:1.26 MB
  • 类别:应用信息论
  • 作者:朱雪龙
  • 出版:清华大学出版社
  • 格式:PDF

  • 资源介绍
  • 相关推荐

本书被教育部研究生工作办公室推荐为全国研究生教学用书。 本书从基本概念、基本方法和基本应用三个方面较系统地介绍了信息理论。全书共分9章。除第1章概述和第2章基本概念外,第3章至第6章分别介绍信源的冗余度压缩编码、熵压缩编码和信道的容量与信道编码。第7章讨论最大熵与最小鉴别信息原理及其应用。非统计意义下的信息理论在第8章中讨论,内容包括组合信息、算法信息与通用编码。最后在第9章中简要介绍了通信网中的信源编码与信道容量问题。书末附有习题。 本书的特点是既重视基础理论,又面向实际应用。既讲述成熟的原理又适当介绍发展中的前沿课题。本书可供高等学校与科研院所作研究生教学用书使用,也可供有关科技人员在学习专业基础理论时参考。

目录

  • 第1章信息论与信息论方法概述1
  • 1.1信息、信息科学和信息论1
  • 1.2信息论方法的应用及其取得的成果3
  • 1.3信息论的形成与发展7
  • 1.3.1通信技术的理论基础7
  • 1.3.2统计数学的一个分支11
  • 1.3.3信号与信息处理的一般理论基础12
  • 第2章信息论的基本概念14
  • 2.1离散熵14
  • 2.1.1熵的定义14
  • 2.1.2熵函数的性质19
  • 2.1.3熵函数形式的唯一性23
  • 2.1.4联合熵与条件熵26
  • 2.2离散互信息29
  • 2.2.1互信息的定义29
  • 2.2.2多个随机变量下的互信息31
  • 2.2.3互信息函数的性质35
  • 2.3连续随机变量下的熵与互信息38
  • 2.3.1连续随机变量下的微分熵38
  • 2.3.2随机变量函数的微分熵40
  • 2.3.3连续随机变量下的互信息42
  • 2.4鉴别信息44
  • 2.4.1鉴别信息的定义44
  • 2.4.2Kullback与香农两种信息量度之间的关系47
  • 2.4.3鉴别信息的性质51
  • *2.4.4鉴别信息函数形式的唯一性57
  • 2.5对信息论基本概念的若干评注70
  • 习题71
  • 第3章信源的熵率、冗余度与冗余度压缩编码74
  • 3.1信源、信源模型与信源编码74
  • 3.1.1信源74
  • 3.1.2信源模型75
  • 3.1.3信源编码77
  • 3.2离散稳恒信源的熵率与冗余度78
  • 3.3离散无记忆信源的渐近等同分割性与信源的定长编码定理82
  • 3.3.1渐近等同分割性82
  • 3.3.2定长编码定理84
  • 3.4离散无记忆信源的变长编码86
  • 3.4.1前缀码与Kraft定理87
  • 3.4.2唯一可译码定理89
  • 3.5变长编码的平均码长与最优编码90
  • 3.5.1变长编码的平均码长90
  • 3.5.2最优编码92
  • 3.6离散无记忆信源的变长树码95
  • 3.6.1算术码95
  • 3.6.2算术码的存在性97
  • 3.7离散马尔可夫信源的熵率100
  • 3.7.1马尔可夫链的基本概念100
  • 3.7.2离散马尔可夫信源熵率的计算102
  • 3.8离散马尔可夫信源的编码定理与最优编码105
  • 习题108
  • 第4章信道、信道容量与信道的有效利用110
  • 4.1信道、信道模型与信道分类110
  • 4.1.1信道110
  • 4.1.2信道模型与信道分类111
  • 4.2离散无记忆信道及其信道容量112
  • 4.3离散无记忆信道容量的计算116
  • 4.3.1信道容量解的充要条件116
  • 4.3.2某些简单情况下信道容量的解119
  • 4.3.3一般情况下信道容量的解122
  • *4.3.4信道容量的迭代解法124
  • 4.4级联信道和并联信道的信道容量125
  • 4.4.1级联信道125
  • 4.4.2并联信道128
  • 4.5信道达到充分利用时输入输出字母概率分布的唯一性131
  • 4.6连续信道的信道容量135
  • 4.6.1无记忆加性噪声信道的信道容量费用函数136
  • 4.6.2无记忆加性高斯噪声信道的信道容量费用函数137
  • 4.6.3一般无记忆加性噪声信道的信道容量费用函数的界141
  • 4.6.4无记忆加性高斯噪声信道的级联和并联142
  • 4.7模拟信道的信道容量145
  • 4.7.1模拟随机信号的正交展开145
  • 4.7.2模拟信道下的信道容量费用函数及其计算148
  • 4.8限带加性白色高斯噪声信道的极限性能及其与传输要求的
  • 匹配156
  • 4.8.1限带加性白色高斯噪声信道的性能及其极限157
  • 4.8.2信道与信息传输要求的匹配160
  • 4.9限带模拟信道的数字化163
  • *4.10蜂窝移动通信条件下信道的有效利用165
  • 4.10.1蜂窝移动通信与系统的频谱利用效率165
  • 4.10.2不同接入方法下蜂窝移动通信系统的频谱利用
  • 效率及其比较167
  • 习题171
  • 第5章信道编码173
  • 5.1信道编码概述173
  • 5.2信道译码准则176
  • 5.3联合典型序列与联合渐近等同分割定理179
  • 5.4信道编码定理181
  • 5.5信道编译码方法的最初范例——汉明码183
  • 5.6分组码之一:线性码185
  • 5.6.1线性码的定义、编码与生成矩件185
  • 5.6.2线性码的伴随式与伴随式译码187
  • *5.7分组码之二:循环码190
  • 5.7.1循环码的定义191
  • 5.7.2循环码的编码与生成多项式191
  • 5.7.3循环码的伴随式与译码原理193
  • 5.8树码、网格码与卷积码195
  • 5.9关于信道编码理论的若干评注199
  • 习题200
  • 第6章信源的信息速率失真函数与熵压缩编码203
  • 6.1熵压缩编码和信源的信息速率失真函数204
  • 6.1.1熵压缩编码204
  • 6.1.2离散无记忆信源的熵压缩分组编码及信源的信息
  • 速率失真函数204
  • 6.2信息速率失真函数的性质206
  • 6.3离散无记忆信源下的信息速率失真函数的计算211
  • 6.3.1信息速率失真函数解的充要条件及参数方程211
  • *6.3.2求解信息速率失真函数的迭代算法217
  • 6.3.3信息速率失真函数解的唯一性问题220
  • 6.3.4乘积信源的信息速率失真函数222
  • 6.4连续无记忆信源的信息速率失真函数224
  • 6.4.1连续无记忆信源信息速率失真函数的定义及其解
  • 的充要条件224
  • 6.4.2差值失真量度下连续无记忆信源信息速率失真
  • 函数的计算226
  • 6.5标量量化233
  • 6.5.1均匀量化235
  • 6.5.2Lloyd\|Max算法235
  • 6.6有记忆连续信源与模拟信源的信息速率失真函数236
  • 6.6.1有记忆连续信源的信息速率失真函数的定义236
  • 6.6.2模拟信源的信息速率失真函数的定义237
  • 6.6.3高斯有记忆连续信源的信息速率失真函数237
  • 6.6.4高斯模拟信源的信息速率失真函数240
  • 6.7变换编码——实用的熵压缩分组编码242
  • 6.8预测编码——实用的熵压缩树码248
  • 6.8.1最小均方误差预测器249
  • 6.8.2最小平均绝对误差预测器249
  • 6.8.3最大零误差概率预测器249
  • 习题251
  • 第7章最大熵原理与最小鉴别信息原理254
  • 7.1非适定问题与最大熵和最小鉴别信息原理254
  • 7.1.1非适定问题的提出254
  • 7.1.2最大熵原理与最小鉴别信息原理255
  • 7.2最大熵原理的合理性258
  • *7.3最小鉴别信息原理与最大熵原理的公理化推导261
  • 7.3.1最小鉴别信息原理的推导261
  • 7.3.2最大熵原理的推导269
  • 7.4最小失真意义下的最大熵原理与最小鉴别信息原理269
  • 7.4.1方向正交与投影失真270
  • 7.4.2投影失真的一般形式272
  • 7.4.3最小失真准则与熵准则274
  • 7.5最大熵与最小鉴别信息原理的应用及其解的分布276
  • 7.5.1最大熵与最小鉴别信息原理的应用276
  • 7.5.2最大熵分布与最小鉴别信息分布281
  • 习题282
  • 第8章组合信息、算法信息与通用编码284
  • 8.1信源统计特性不确定时的信源编码问题284
  • 8.1.1统计特性失配时统计编码的性能285
  • 8.1.2自适应统计编码285
  • 8.2基于组合的信息量度与通用编码287
  • 8.2.1基于组合的信息量度287
  • 8.2.2通用编码288
  • 8.2.3Fitingof通用编码的性能289
  • 8.3算法信息量292
  • 8.3.1单一事件或数值下的信息量度问题292
  • 8.3.2Kolmogorov算法熵293
  • 8.4二元字符序列的算法熵294
  • 8.5算法熵的不可计算性296
  • 8.6有限状态压缩编码器298
  • 8.7Lewpel\|Ziv编码302
  • 8.8LZ编码压缩比与香农熵305
  • 习题306
  • 第9章通信网中的信源编码与信道容量309
  • 9.1概述309
  • 9.2反馈信道314
  • 9.3多个随机变量下的联合典型序列316
  • 9.4多源接入信道320
  • 9.4.1多源接入信道的容量320
  • 9.4.2相关信源输入下的多源接入信道324
  • 9.5高斯多源接入信道324
  • 9.5.1高斯多源接入信道的容量域324
  • 9.5.2对高斯多源接入信道容量域的讨论326
  • 9.5.3多源接入信道容量域与多址方法的关系327
  • 9.6分布信源编码329
  • 习题333
  • 参考文献335
  • 索引336

资源下载

资源下载地址1:https://pan.baidu.com/s/1cUn41UfYLhm3nWsPBIP36w

相关资源

网友留言