信息论是20世纪40年代后期从长期通讯实践中总结出来的一门学科，是专门研究信息的有效处理和可靠传输的的一般规律的学科。全书共分7章，内容包括：随机变量的信息度量；随机过程的信息度量；数据压缩和信源编码；数据可靠传输和信道编码；限失真数据压缩和率失真理论；网络信息理论；信息论应用等。既包括了信息论的基本理论，也设计了一些信息处理的算法及信息论在其他领域的应用。
本书可作为数学类信息与计算科学专业的教材，也可为其他专业同类课程所用。
目录
- 前言
- 第一章 随机变量的信息度量
- 1.1 自信息
- 1.2 熵、联合熵、条件熵
- 1.3 相对熵和互信息1
- 1.4 信息量的一些基本性质
- 1.5 广义熵习题一
- 第二章 随机过程的信息度量和渐近等分性
- 2.1 信源和随机过程的基本概念
- 2.2 随机过程的信息度量
- 2.3 渐近等分性质
- 2.4 渐近等分性在数据压缩中的应用——信源编码定理
- 2.5 Shan：non.McMillan-Breiman定理习题二
- 第三章 数据压缩和信源编码
- 3.1 等长码
- 3.2 变长编码
- 3.3 哈夫曼（Huffman）码
- 3.4 算术码
- 3.4.1 申农一法诺码
- 3.4.2 自适应算术码
- 3.5 通用信源编码
- 3.5.1 Lz算法
- 3.5.2 Lzw（Lempel-ziv-Welch）算法
- 3.5.3 Kieffer.Yang算法（基于语法的普适信源压缩算法）
- 习题三
- 第四章 数据可靠传输和信道编码
- 4.1 离散无记忆信道和信道容量
- 4.2 信道容量的计算
- 4.2.1 拉格朗日乘子法
- 4.2.2 信道容量的迭代算法
- 4.3 信道编码理论
- 4.3.1 一些定义和概念
- 4.3.2 联合典型序列
- 4.3.3 信道编码定理
- 4.4 带反馈的信道模型
- 4.5 联合信源信道编码定理
- 4.6 线性分组码
- 习题四
- 第五章 限失真信源编码和率失真函数
- 5.1 限失真信源编码模型和率失真函数
- 5.1.1 限失真信源编码模型和率失真函数定义
- 5.1.2 率失真函数的性质
- 5.1.3 平稳信源的率失真函数
- 5.2 率失真函数的计算
- 5.2.1 一个简单的例子
- 5.2.2 拉格朗日乘子法
- 5.2.3 迭代算法
- 5.3 限失真信源编码定理
- 习题五
- 第六章 连续信源和信道编码理论
- 6.1 可微熵
- 6.2 相对熵和互信息
- 6.3 连续信源的率失真函数
- 6.3.1 率失真函数和失真率函数
- 6.3.2 高斯信源的率失真函数
- 6.3.3 一般连续信源的率失真函数
- 6.4 高斯信道
- 6.4.1 有加性噪声的信道模型和信道容量
- 6.4.2 复合高斯信道和平稳高斯信道
- 习题六
- 第七章 网络信息理论
- 7.1 网络通信模型
- 7.2 多变量联合典型序列
- 7.3 多址信道
- 7.3.1 二址信道模型和编码定理
- 7.3.2 多址信道容量区域的计算
- 7.3.3 高斯多址信道
- 7.4 相关信源编码
- 7.4.1 S1epian-Wolf模型
- 7.5 相关信源和多址信道复合编码问题
- 习题七
- 参考文献
