《模式分类(第2版)》课后习题答案

《模式分类》（原书第2版）已被卡内基-梅隆、哈佛、斯坦福、剑桥等120多所大学采用为教材。本书作为流行和经典的教材和专业参考书，主要面向电子工程、计算机科学、数学和统计学、媒体处理、模式识别、计算机视觉、人工智能和认知科学等领域的研究生和相关领域的科技人员。开发和研究模式识别系统的实践者，无论其应用涉及语音识别、字符识别、图像处理还是信号分析，常会遇到需要从大量令人迷惑的技术中做出选择的难题。这本教材及专业参考书，为你准备了充足的资料和信息，供你选择最适合的技术。作为一本在过去几十年内模式识别领域经典著作的新版，这一版本更新并扩充了原作，重点介绍模式分类及该领域近年来的巨大进展。

《模式分类》（原书第2版）的第1版《模式分类与场景分析》出版于1973年，是模式识别和场景分析领域奠基性的经曲名著。在第2版中，除了保留了第1版的关于统计模式识别和结构模式识别的主要内容以外，读者将会发现新增了许多近25年来的新理论和新方法，其中包括神经网络、机器学习、数据挖掘、进化计算、不变量理论、隐马尔可夫模型、统计学习理论和支持向量机等。作者还为未来25年的模式识别的发展指明了方向。书中包含许多实例，各种不同方法的对比，丰富的图表，以及大量的课后习题和计算机练习。

目录

• 出版者的话
• 译者序
• 前言
• 第1章 绪论
• 1.1 机器感知
• 1.2 一个例子
• 1.3 模式识别系统
• 1.3.1 传感器
• 1.3.2 分割和组织
• 1.3.3 特征提取
• 1.3.4 分类器
• 1.3.5 后处理
• 1.4 设计循环
• 1.4.1 数据采集
• 1.4.2 特征选择
• 1.4.3 模型选择
• 1.4.4 训练
• 1.4.5 评价
• 1.4.6 计算复杂度
• 1.5 学习和适应
• 1.5.1 有监督学习
• 1.5.2 无监督学习
• 1.5.3 强化学习
• 1.6 本章小结
• 全书各章概要
• 文献和历史评述
• 参考文献
• 第2章 贝叶斯决策论
• 2.1 引言
• 2.2 贝叶斯决策论——连续特征
• 2.3 最小误差率分类
• 2.3.1 极小化极大准则
• 2.3.2 Neyman-Pearson准则
• 2.4 分类器、判别函数及判定面
• 2.4.1 多类情况
• 2.4.2 两类情况
• 2.5 正态密度
• 2.5.1 单变量密度函数
• 2.5.2 多元密度函数
• 2.6 正态分布的判别函数
• 2.6.1 情况1：∑iδI
• 2.6.2 情况2：∑i=∑
• 2.6.3 情况3：∑=任意
• 2.7 误差概率和误差积分
• 2.8 正态密度的误差上界
• 2.8.1 Chernoff界
• 2.8.2 Bhattacharyya界
• 2.8.3 信号检测理论和操作特性
• 2.9 贝叶斯决策论——离散特征
• 2.9.1 独立的二值特征
• 2.1 0丢失特征和噪声特征
• 2.1 0.1 丢失特征
• 2.1 0.2 噪声特征
• 2.1 1贝叶斯置信网
• 2.1 2复合贝叶斯决策论及上下文
• 本章小结
• 文献和历史评述
• 习题
• 上机练习
• 参考文献
• 第3章 最大似然估计和贝叶斯参数估计
• 3.1 引言
• 3.2 最大似然估计
• 3.2.1 基本原理
• 3.2.2 高斯情况：u未知
• 3.2.3 高斯情况：u和∑均未知
• 3.2.4 估计的偏差
• 3.3 贝叶斯估计
• 3.3.1 类条件密度
• 3.3.2 参数的分布
• 3.4 贝叶斯参数估计：高斯情况
• 3.4.1 单变量情况：P(U|D)
• 3.4.2 单变量情况：P(z|D)
• 3.4.3 多变量情况
• 3.5 贝叶斯参数估计：一般理论
• 3.5.1 最大似然方法和贝叶斯方法何时有区别
• 3.5.2 无信息先验和不变性
• 3.5.3 吉布斯算法
• 3.6 充分统计量
• 3.7 维数问题
• 3.7.1 精度、维数和训练集的大
• 3.7.2 计算复杂度
• 3.7.3 过拟合
• 3.8 成分分析和判别函数
• 3.8.1 主成分分析
• 3.8.2 Fisher线性判别分析
• 3.8.3 多重判别分析
• 3.9 期望最大化算法
• 3.10 隐马尔可夫模型
• 3.10.1 一阶马尔可夫模型
• 3.10.2 一阶隐马尔可夫模型
• 3.10.3 隐马尔可夫模型的计算
• 3.10.4 估值问题
• 3.10.5 解码问题
• 3.10.6 学习问题
• 本章小结
• 文献和历史评述
• 习题
• 上机练习
• 参考文献
• 第4章 非参数技术
• 4.1 引言
• 4.2 概率密度的估计
• 4.3 Parzen窗方法
• 4.3.1 均值的收敛性
• 4.3.2 方差的收敛性
• 4.3.3 举例说明
• 4.3.4 分类的例子
• 4.3.5 概率神经网络
• 4.3.6 窗函数的选取
• 4.4 Kπ近邻估计
• 4.4.1 Kπ近邻估计和Parzen窗估计
• 4.4.2 后验概率的估计
• 4.5 最近邻规则
• 4.5.1 最近邻规则的收敛性
• 4.5.2 最近邻规则的误差率
• 4.5.3 误差界
• 4.5.4 K-近邻规则
• 4.5.5 K-近邻规则的计算复杂度
• 4.6 距离度量和最近邻分类
• 4.6.1 度量的性质
• 4.6.2 切空间距离
• 4.7 模糊分类
• 4.8 RCE网络
• 4.9 级数展开逼近
• 本章小结
• 文献和历史评述
• 习题
• 上机练习
• 参考文献
• 第5章 线性判别函数
• 5.1 引言
• 5.2 线性判别函数和判定面
• 5.2.1 两类情况
• 5.2.2 多类的情况
• 5.3 广义线性判别函数
• 5.4 两类线性可分的情况
• 5.4.1 几何解释和术语
• 5.4.2 梯度下降算法
• 5.5 感知器准则函数最小化
• 5.5.1 感知器准则函数
• 5.5.2 单个样本校正的收敛性证明
• 5.5.3 一些直接的推广
• 5.6 松弛算法
• 5.6.1 下降算法
• 5.6.2 收敛性证明
• 5.7 不可分的情况
• 5.8 最小平方误差方法
• 5.8.1 最小平方误差及伪逆
• 5.8.2 与Fisher线性判别的关系
• 5.8.3 最优判别的渐近逼近
• 5.8.4 Widrow-Hoff算法或最小均方算法
• 5.8.5 随机逼近法
• 5.9 Ho-Kashyap算法
• 5.9.1 下降算法
• 5.9.2 收敛性证明
• 5.9.3 不可分的情况
• 5.9.4 一些相关的算法
• 5.10 线性规划算法
• 5.10.1 线性规划
• 5.10.2 线性可分情况
• 5.10.3 极小化感知器准则函数
• 5.11 支持向量机
• 5.12 推广到多类问题
• 5.12.1 Kesler构造法
• 5.12.2 固定增量规则的收敛性
• 5.12.3 MSE算法的推广
• 本章小结
• 文献和历史评述
• 习题
• 上机练习
• 参考文献
• ……
• 第7章 随机方法
• 第8章 非度量方法
• 第9章 独立于算法的机器学习
• 第10章 无监督学习和聚类
• 附录A 数学基础
• 参考文献
• 索引