技术文章
当前位置:首页 > Python技术文章 > 详解分类评价指标和回归评价指标以及Python代码实现

分类、回归评价指标以及Python代码实现详解

  • 发布时间:
  • 作者:码农之家原创
  • 点击:163

这篇文章主要知识点是关于回归评价、指标、分类评价、Python、的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

Python与量化投资:从基础到实战
  • 类型:Python零基础大小:248.2 MB格式:PDF出版:电子工业出版社作者:王小川
立即下载

更多Python相关的学习资源可以参阅 Python电子书程序设计电子书 等栏目。

详解分类评价指标和回归评价指标以及Python代码实现

这篇文章介绍的内容是详解分类评价指标和回归评价指标以及Python代码实现,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下。

1、概念

性能度量(评价)指标,主分为两大类:
1)分类评价指标(classification),主要分析,离散的,整数的。其具体指标包括accuracy(准确率),precision(精确率),recall(召回率),F值,P-R曲线,ROC曲线和AUC。
2)回归评价指标(regression),主要分析整数和实数之间的关系。其具体指标包括可释方差得分(explianed_variance_score),平均绝对误差MAE(mean_absolute_error),均方误差MSE(mean-squared_error),均方根差RMSE,交叉熵lloss(Log loss,cross-entropy loss),R方值(确定系数,r2_score)。

1.1、前提

假设只有两类-正类(positive)和负类(negative),通常以关注的类为正类,其他类为负类(故多类问题亦可归纳为两类)
混淆矩阵(Confusion matrix)如下

实际类别 预测类别
  总结  
TP FN P(实际为正)  
FP TN N(实际为负)  

表中AB模式:第一个表示预测结果的对错,第二个表示预测的类别。如TP表示,True Positive,即正确的预测为正类;FN表示,False Negative,即错误的预测为了负类。

2、评价指标(性能度量)

2.1、分类评价指标
2.1.1 值指标-Accuracy、Precision、Recall、F值
度量 Accuracy(准确率) Precision(精确率) Recall(召回率) F值
定义 正确分类的样本数与总样本数之比(预测为垃圾短信中真正的垃圾短信的比例) 判定为正例中真正正例数与判定为正例数之比(所有真的垃圾短信被分类求正确找出来的比例) 被正确判定为正例数与总正例数之比 准确率与召回率的调和平均F-score
表示 accuracy=

 

precision=

 

recall=

 

F - score =

 

1.precision也常称为查准率,recall称为查全率
2.比较常用的是F1,

 

python3.6代码实现:

#调用sklearn库中的指标求解from sklearn import metricsfrom sklearn.metrics import precision_recall_curvefrom sklearn.metrics import average_precision_scorefrom sklearn.metrics import accuracy_score#给出分类结果y_pred = [0, 1, 0, 0]
y_true = [0, 1, 1, 1]
print("accuracy_score:", accuracy_score(y_true, y_pred))
print("precision_score:", metrics.precision_score(y_true, y_pred))
print("recall_score:", metrics.recall_score(y_true, y_pred))
print("f1_score:", metrics.f1_score(y_true, y_pred))
print("f0.5_score:", metrics.fbeta_score(y_true, y_pred, beta=0.5))
print("f2_score:", metrics.fbeta_score(y_true, y_pred, beta=2.0))
2.1.2 相关曲线-P-R曲线、ROC曲线及AUC值

1)P-R曲线
步骤:
1、从高到低将”score”值排序并依次作为阈值threshold;
2、对于每个阈值,”score”值大于或等于这个threshold的测试样本被认为正例,其他为负例。从而形成一组预测数。
eg.
详解分类评价指标和回归评价指标以及Python代码实现
将0.9作为阈值,则第1个测试样本为正例,2、3、4、5为负例
得到

  预测为正例 预测为负例 总计
正例(score大于阈值) 0.9 0.1 1
负例(score小于阈值) 0.2+0.3+0.3+0.35 = 1.15 0.8+0.7+0.7+0.65 = 2.85 4
precision=

 

recall=

 

在阈值以下的部分,当作负例,则预测为负例的取值情况是正确预测值,即如果本身是正例,则取TP;如果本身是负例,则取TN,其都为预测分值。
python实现伪代码

#precision和recall的求法如上
#主要介绍一下python画图的库
import matplotlib.pyplot ad plt
#主要用于矩阵运算的库
import numpy as np#导入iris数据及训练见前一博文
...
#加入800个噪声特征,增加图像的复杂度
#将150*800的噪声特征矩阵与150*4的鸢尾花数据集列合并
X = np.c_[X, np.random.RandomState(0).randn(n_samples, 200*n_features)]
#计算precision,recall得到数组
for i in range(n_classes):
    #计算三类鸢尾花的评价指标, _作为临时的名称使用
    precision[i], recall[i], _ = precision_recall_curve(y_test[:, i], y_score[:,i])#plot作图plt.clf()
for i in range(n_classes):
    plt.plot(recall[i], precision[i])
plt.xlim([0.0, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel("Recall")
plt.ylabel("Precision")
plt.show()

将上述代码补充完整后得到鸢尾花数据集的P-R曲线
详解分类评价指标和回归评价指标以及Python代码实现
2)ROC曲线
横轴:假正例率 fp rate = FP / N
纵轴:真正例率 tp rate = TP / N
步骤:
1、从高到低将”score”值排序并依次作为阈值threshold;
2、对于每个阈值,”score”值大于或等于这个threshold的测试样本被认为正例,其他为负例。从而形成一组预测数。

同P-R曲线计算类似,不再赘述
鸢尾花数据集的ROC图像为
详解分类评价指标和回归评价指标以及Python代码实现
AUC(Area Under Curve)定义为ROC曲线下的面积
AUC值提供了分类器的一个整体数值。通常AUC越大,分类器更好,取值为[0, 1]

2.2、回归评价指标

1)可释方差得分
详解分类评价指标和回归评价指标以及Python代码实现
2)平均绝对误差 MAE (Mean absolute error)
详解分类评价指标和回归评价指标以及Python代码实现
3)均方差 MSE (Mean squared error)
详解分类评价指标和回归评价指标以及Python代码实现
详解分类评价指标和回归评价指标以及Python代码实现
4)logistics回归损失
详解分类评价指标和回归评价指标以及Python代码实现
5)一致性评价 - pearson相关系数法
详解分类评价指标和回归评价指标以及Python代码实现
python代码实现

from sklearn.metrics import log_loss
log_loss(y_true, y_pred)from scipy.stats import pearsonr
pearsonr(rater1, rater2)from sklearn.metrics import cohen_kappa_score
cohen_kappa_score(rater1, rater2)

以上就是详解分类评价指标和回归评价指标以及Python代码实现的详细内容,更多请关注码农之家其它相关文章!

以上就是本次给大家分享的关于Python的全部知识点内容总结,大家还可以在下方相关文章里找到Python3结合Dlib实现人脸识别、 python字符串与url编码转换、 python里dict变成list的实例方、 等python文章进一步学习,感谢大家的阅读和支持。

上一篇:python支持返回函数的知识点总结

下一篇:Python实现一行输入多个值的实例方法

展开 +

收起 -

Python代码 相关电子书
学习笔记
网友NO.576928

python是怎么计算auc指标的?

1.安装scikit-learn 1.1Scikit-learn 依赖 Python (= 2.6 or = 3.3), NumPy (= 1.6.1), SciPy (= 0.9). 分别查看上述三个依赖的版本, python -V 结果:Python 2.7.3 python -c 'import scipy; print scipy.version.version' scipy版本结果:0.9.0 python -c import numpy; print numpy.version.version numpy结果:1.10.2 1.2 Scikit-learn安装 如果你已经安装了NumPy、SciPy和python并且均满足1.1中所需的条件,那么可以直接运行sudo pip install - U scikit - learn 执行安装。 2.计算auc指标 sklearn.metrics y_true = np.array([0, 0, 1, 1 y_scores = np.array([0.1, 0.4, 0.35, 0.8 roc_auc_score(y_true, y_scores)输出:0.75 3.计算roc曲线 sklearn y = np.array([1, 1, 2, 2 scores = np.array([0.1, 0.4, 0.35, 0.8 fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2 thresholds输出:array([ 0. , 0.5, 0.5, 1. ])array([ 0.5, 0.5, 1. , 1. ])array([ 0.8 , 0.4 , 0.35, 0.1 ]) 以上就是python是怎么计算auc指标的?的详细内容,更多请关……

网友NO.689974

demjson python如何安装?简介dem指标的用法

Demjson 是 python 的第三方模块库,可用于编码和解码 JSON 数据 ,包含了 JSONLint 的格式化及校验功能。 Github 地址:https://github.com/dmeranda/demjson 官方地址:http://deron.meranda.us/python/demjson/ 环境配置 在使用 Demjson 编码或解码 JSON 数据前,我们需要先安装 Demjson 模块。本教程我们会下载 Demjson 并安装: $ tar -xvzf demjson-2.2.3.tar.gz$ cd demjson-2.2.3$ python setup.py install 更多安装介绍查看:http://deron.meranda.us/python/demjson/install JSON 函数 encode Python encode() 函数用于将 Python 对象编码成 JSON 字符串。 语法 demjson.encode(self, obj, nest_level=0) 实例 以下实例将数组编码为 JSON 格式数据: #!/usr/bin/pythonimport demjsondata = [ { 'a' : 1, 'b' : 2, 'c' : 3, 'd' : 4, 'e' : 5 } ]json = demjson.encode(data)print json 以上代码执行结果为: [{a:1,b:2,c:3,d:4,e:5}] 以上就是demjson python如何安装?简介dem指标的用法的详细内容,……

网友NO.847501

python计算auc指标实例

1、安装scikit-learn 1.1Scikit-learn 依赖 Python (= 2.6 or = 3.3), NumPy (= 1.6.1), SciPy (= 0.9). 分别查看上述三个依赖的版本, python -V 结果:Python 2.7.3 python -c 'import scipy; print scipy.version.version' scipy版本结果:0.9.0 python -c "import numpy; print numpy.version.version" numpy结果:1.10.2 1.2 Scikit-learn安装 如果你已经安装了NumPy、SciPy和python并且均满足1.1中所需的条件,那么可以直接运行sudo pip install -U scikit-learn 执行安装。 2、计算auc指标 import numpy as np from sklearn.metrics import roc_auc_score y_true = np.array([0, 0, 1, 1]) y_scores = np.array([0.1, 0.4, 0.35, 0.8]) roc_auc_score(y_true, y_scores)输出:0.75 3、计算roc曲线 import numpy as np from sklearn import metrics y = np.array([1, 1, 2, 2]) #实际值 scores = np.array([0.1, 0.4, 0.35, 0.8]) #预测值 fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2) #pos_label=2,表示值为2的实际值为正样本 print fpr ……

<
1
>

Copyright 2018-2020 xz577.com 码农之家

电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

版权投诉 / 书籍推广 / 赞助:520161757@qq.com

上传资源(网友、会员均可提供)

查看最新会员资料及资源信息