内容介绍
《信息论基础》书是作者多年教学科研实践的积累它是在吸收国内外优秀教材优点的基础上，进一步优化整合教学内容，并加以完善和补充。本书分为12章，包括：信息的基本概念、香农信息论研究的内容和进展，离散信息的测量，离散信息源，连续信息和连续信息源，不失真信息源编码，离散信道及其容量，噪声信道编码，波形信道，信息率失真函数，约束信道及其编码，初步的网络信息论，信息论方法和应用等。
本书强调对定理中物理概念和结论的理解和掌握，简化繁琐的数学推导，注重清晰的运用、直观的物理概念，增加例题，力求让内容更适合工科学生的学习。本书有*否的部分可以作为选择内容，有利于教师根据教学计划进行调整。每一章的思考问题和练习可以作为课后练习。
本课程的主要目的是了解香农信息论的基本原理，掌握信息和熵的基本运算方法。
本书主要作为其他高校信息与通信及相关专业的教材使用，也可作为相关专业研究生和工程技术人员的参考书使用。
目录
- 第1章 绪论
- 1.1 信息的基本概念
- 1.1.1 信息论的产生
- 1.1.2 信息的基本概念
- 1.2 香农信息论研究的内容
- 1.2.1 通信系统模型
- 1.2.2 香农信息论的主要内容
- 1.3 香农信息论研究的进展与应用
- 1.3.1 香农信息论创立的背景
- 1.3.2 香农的主要贡献
- 1.3.3 香农信息论的研究进展
- 1.3.4 香农信息论的应用
- 思考题
- 第2章 离散信息的度量
- 2.1 自信息和互信息
- 2.1.1 自信息
- 2.1.2 互信息
- 2.2 信息熵
- 2.2.1 信息熵的定义与计算
- 2.2.2 条件熵与联合熵
- 2.2.3 熵的基本性质
- 2.3 平均互信息
- 2.3.1 平均互信息的定义
- 2.3.2 平均互信息的性质
- 2.3.3 平均条件互信息
- 本章小结
- 思考题
- 习题
- 第3章 离散信源
- 3.1 离散信源的分类与数学模型
- 3.1.1 离散信源的分类
- 3.1.2 离散无记忆信源的数学模型
- 3.1.3 离散有记忆信源的数学模型
- 3.2 离散无记忆信源的熵
- 3.2.1 单符号离散无记忆信源的熵
- 3.2.2 离散无记忆信源N次扩展源的熵
- 3.3 离散平稳信源的熵
- 3.3.1 离散平稳信源
- 3.3.2 离散平稳有记忆信源的熵
- 3.4 有限状态马尔可夫链
- 3.4.1 马氏链基本概念
- 3.4.2 齐次马氏链
- 3.4.3 马氏链状态分类
- 3.4.4 马氏链的平稳分布
- 3.5 马尔可夫信源
- 3.5.1 马氏源的基本概念
- 3.5.2 马氏源的产生模型
- 3.5.3 马氏链N次扩展源的熵的计算
- 3.5.4 马氏源符号熵的计算
- 3.6 信源的相关性与剩余度
- 3.6.1 信源的相关性
- 3.6.2 信源剩余度（冗余度）
- 3.6.3 自然语言的相关性和剩余度
- 本章小结
- 思考题
- 习题
- 第4章 连续信息与连续信源
- 4.1 连续随机变量集合的熵
- 4.1.1 连续随机变量的离散化
- 4.1.2 连续随机变量集的熵
- 4.1.3 连续随机变量集的条件熵
- 4.1.4 连续随机变量集的联合熵
- 4.1.5 连续随机变量集合差熵的性质
- 4.1.6 连续随机变量集合的信息散度
- 4.2 离散时间高斯信源的熵
- 4.2.1 维高斯随机变量集的熵
- 4.2.2 多维独立高斯随机变量集的熵
- 4.2.3 多维相关高斯随机变量集的熵
- 4.3 连续熵定理
- 4.3.1 限峰值熵定理
- 4.3.2 限功率熵定理
- 4.3.3 熵功率和剩余度
- 4.4 连续随机变量集的平均互信息
- 4.4.1 连续随机变量集的平均互信息
- 4.4.2 连续随机变量集平均互信息的性质
- 4.5 离散集与连续集之间的互信息
- 4.5.1 离散事件与连续事件之间的互信息
- 4.5.2 离散集合与连续集合的平均互信息
- 本章小结
- 思考题
- 习题
- 第5章 无失真信源编码
- 5.1 概述
- 5.1.1 信源编码器
- 5.1.2 信源编码的分类
- 5.1.3 分组码
- 5.2 定长码
- 5.2.1 无失真编码条件
- 5.2.2 信源序列分组定理
- 5.2.3 定长码信源编码定理
- 5.3 变长码
- 5.3.1 异前置码的性质
- 5.3.2 变长码信源编码定理
- 5.4 哈夫曼编码
- 5.4.1 二元哈夫曼编码
- 5.4.2 多元哈夫曼编码
- 5.4.3 马氏源的编码
- *5.5 几种实用的编码方法
- 5.5.1 算术编码
- 5.5.2 游程编码
- 5.5.3 L-Z编码
- 本章小结
- 思考题
- 习题
- 第6章 离散信道及其容量
- 6.1 概述
- 6.1.1 信道的分类
- 6.1.2 离散信道的数学模型
- 6.1.3 信道容量的定义
- 6.2 单符号离散信道及其容量
- 6.2.1 离散无噪信道的容量
- 6.2.2 离散对称信道的容量
- 6.2.3 般离散信道的容量
- 6.3 级联信道及其容量
- 6.4 多维矢量信道及其容量
- 6.4.1 多维矢量信道输入与输出的性质
- 6.4.2 离散无记忆扩展信道及其容量
- 6.4.3 并联信道及其容量
- 6.4.4 和信道及其容量
- 6.5 信道容量的迭代计算
- 本章小结
- 思考题
- 习题
- 第7章 有噪信道编码
- 7.1 概述
- 7.1.1 信道编码的基本概念
- 7.1.2 判决与译码规则
- 7.1.3 译码错误概率
- 7.2 判决与译码准则
- 7.2.1 后验概率准则
- 7.2.2 似然准则
- 7.3 信道编码与译码
- 7.3.1 线性分组码
- 7.3.2 序列似然译码
- 7.3.3 几种简单的分组码
- 7.4 费诺（Fano）不等式
- 7.4.1 信道疑义度
- 7.4.2 费诺（Fano）不等式
- 7.5 有噪信道编码定理
- 7.5.1 联合典型序列
- 7.5.2 有噪信道编码定理
- 7.5.3 无失真信源信道编码定理
- 7.6 纠错编码技术简介
- 7.6.1 线性分组码的编译码
- 7.6.2 几种重要的分组码
- 7.6.3 卷积码简介
- *7.7 信道编码性能界限
- 7.7.1 汉明球包界
- 7.7.2 Varsharmov-Gilberlt界
- 7.7.3 P1otkin界
- 本章小结
- 思考题
- 习题
- 第8章 波形信道
- 8.1 离散时间连续信道
- 8.1.1 时间离散连续信道模型
- 8.1.2 平稳无记忆连续信道
- 8.1.3 多维矢量连续信道的性质
- 8.1.4 离散时间连续信道的容量
- 8.2 加性噪声信道与容量
- 8.2.1 加性噪声信道的容量
- 8.2.2 加性高斯噪声信道的容量
- 8.2.3 般加性噪声信道容量界
- 8.2.4 并联加性高斯噪声信道的容量
- 8.3 AWGN信道的容量
- 8.3.1 加性高斯噪声波形信道
- 8.3.2 波形信道的互信息与容量
- 8.3.3 AWGN信道的容量
- 8.3.4 高斯噪声信道编码定理
- 8.3.5 功率利用率和频谱利用率的关系
- 8.4 有色高斯噪声信道
- 8.4.1 有色高斯噪声信道容量
- 8.4.2 AWGN信道容量的进一步讨论
- *8.5 数字调制系统的信道容量
- 本章小结
- 思考题
- 习题
- 第9章 信息率失真函数
- 9.1 概述
- 9.1.1 系统模型
- 9.1.2 失真测度
- 9.2 离散信源信息率失真函数
- 9.2.1 信息率失真函数
- 9.2.2 R（D）函数的性质
- 9.3 限失真信源编码定理
- 9.3.1 码率的压缩
- 9.3.2 限失真信源编码定理
- 9.3.3 限失真信源信道编码定理
- 9.4 离散信源信息率失真函数的计算
- 9.4.1 R（D）参量表示法求解
- 9.4.2 R（D）求解过程归纳
- 9.4.3 参量s的意义
- 9.5 连续信源信息率失真函数
- 9.5.1 信息率失真函数与性质
- 9.5.2 R（D）函数的计算
- 9.5.3 差值失真测度
- 9.6 高斯信源的R（D）函数
- 9.6.1 离散时间无记忆高斯信源
- 9.6.2 独立并联高斯信源
- 9.7 一般连续信源R（D）函数
- *9.8 有损数据压缩技术简介
- 9.8.1 量化
- 9.8.2 预测编码
- 9.8.3 子带编码
- 9.8.4 变换编码
- 本章小结
- 思考题
- 习题
- 第10章 有约束信道及其编码
- 10.1 标号图的性质
- 10.1.1 标号图的基本概念
- 10.1.2 标号图的变换
- 10.2 有约束信道容量
- 10.2.1 有约束信道容量的定义
- 10.2.2 等时长符号有约束信道的容量
- 10.2.3 不等时长符号无约束信道的容量
- 10.2.4 不等时长符号有约束信道的容量
- 10.3 有约束序列的性质
- 10.3.1 信道对传输序列的约束
- 10.3.2 游程长度受限序列（RLL）
- 10.3.3 部分响应似然（PRML）序列
- 10.3.4 直流平衡序列
- 10.3.5 其他频域受限序列
- 10.4 有约束信道编码定理
- 10.4.1 编码器的描述
- 10.4.2 有约束信道编码定理
- 10.4.3 有限状态编码定理
- 10.4.4 编码器性能指标
- *10.5 有约束序列编码与应用
- 10.5.1 块编码器
- 10.5.2 实用直流平衡序列
- 10.5.3 常用有约束序列编码及应用
- 本章小结
- 思考题
- 习题
- 第11章 网络信息论初步
- 11.1 概述
- 11.2 多址接人信道
- 11.2.1 二址接入信道的容量
- 11.2.2 不同多址方式下的接入信道容量分析
- 11.2.3 多址接入信道的容量
- 11.3 广播信道
- 11.3.1 退化广播信道
- 11.3.2 退化广播信道的容量区域
- 11.4 相关信源编码
- 11.4.1 典型的相关信源编码模型
- 11.4.2 S1epiarr—Wolf相关信源编码定理
- 本章小结
- 思考题
- 习题
- *第12章 信息理论方法及其应用
- 12.1 信源熵的估计
- 12.1.1 离散信源序列熵的估计
- 12.1.2 连续信源熵的估计
- 12.2 熵原理
- 12.2.1 熵原理的描述
- 12.2.2 熵集中定理
- 12.2.3 几种重要的熵分布
- 12.3 最小交叉熵原理
- 12.3.1 最小交叉熵原理
- 12.3.2 交叉熵的性质
- 12.3.3 最小交叉熵推断的性质
- 12.3.4 交叉熵法
- 12.4 信息理论方法的应用
- 12.4.1 DNA序列的熵估计和压缩
- 12.4.2 熵谱估计和最小交叉熵谱估计
- 12.4.3 熵建模及其在自然语言处理中的应用
- 12.4.4 熵原理在经济学中的应用
- 12.4.5 信息理论方法应用展望
- 本章小结
- 思考题
- 习题
- 参考文献
