技术文章
当前位置:首页 > Python技术文章 > Python实现基于KNN算法的笔迹识别功能

Python实现基于KNN算法的笔迹识别功能实例代码

  • 发布时间:
  • 作者:码农之家原创
  • 点击:117

这篇文章主要知识点是关于Python、KNN算法、笔迹识别、python使用KNN算法识别手写数字 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

从芯片到云端:Python物联网全栈开发实践
  • 类型:Python大小:214 MB格式:PDF出版:电子工业出版社作者:刘凯
立即下载

更多Python相关的学习资源可以参阅 Python电子书程序设计电子书 等栏目。

Python实现基于KNN算法的笔迹识别功能

本文实例讲述了Python实现基于KNN算法的笔迹识别功能。分享给大家供大家参考,具体如下:

需要用到:

  • Numpy库
  • Pandas库
  • 手写识别数据 点击此处本站下载

数据说明:

数据共有785列,第一列为label,剩下的784列数据存储的是灰度图像(0~255)的像素值 28*28=784

KNN(K近邻算法):

从训练集中找到和新数据最接近的K条记录,根据他们的主要分类来决定新数据的类型。

这里的主要分类,可以有不同的判别依据,比如“最多”,“最近邻”,或者是“距离加权”。

整个程序的几个部分:

1.数据的归一化处理(normalization)
2.(重要)找出与test数据最接近的train数据的编号,根据编号查找到对应的label,将label赋给test数据的预测值
3.统计知道的test的label值与test的预测label值得正确率

Step 1

导入Numpy与Pandas库

import numpy as np
import pandas as pd

Step 2

对数据进行归一化

对数据归一化的方法很多,比如:

一、max-Min标准化

max - Min标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值,将A的一个原始值x通过max-Min标准化映射成在区间[0,1]中的值x',其公式为:

新数据=(原数据-极小值)/(极大值-极小值)

二、

新数据=原数据/(原数据的平方和开根号)

三、

y = ( x - min )/( max - min ) 其中min为x的最小值,max为x的最大值,输入向量为x,归一化后的输出向量为y 。上式将数据归一化到 [ 0 , 1 ]区间,当激活函数采用S形函数时(值域为(0,1))时这条式子适用

在这里采用方法二

def normalize(x):
 norms = np.apply_along_axis(np.linalg.norm,1,x)
 return x / np.expand_dims(norms,-1)

调用np中的linalg.norm(x)apply_along_axis(func, axis, x)函数

linalg.norm(x)函数的作用是 return sum(abs(xi)**2)**0.5

apply_along_axis(func, axis, x)函数的作用是将x按axis方向执行func函数,axis=0表示做列方向上的运算,axis=1表示做行方向上的运算

step 3

找出与test数据最接近的train数据,这步是最关键的一步。

在这里,test数据与train数据就是空间的两个向量,问题就变成了如何计算这两个向量的相似程度。

我们可以把它们想象成空间中的两条线段,都是从原点([0, 0, ...])出发,指向不同的方向。两条线段之间形成一个夹角,如果夹角为0度,意味着方向相同、线段重合;如果夹角为90度,意味着形成直角,方向完全不相似;如果夹角为180度,意味着方向正好相反。因此,我们可以通过夹角的大小,来判断向量的相似程度。夹角越小,就代表越相似。

假定a向量是[x1, y1],b向量是[x2, y2],那么可以将余弦定理改写成下面的形式:

Python实现基于KNN算法的笔迹识别功能详解

余玄定理

def nearest_neighbor(norm_func,train_data,train_label,test_data):
 train_data = norm_func(train_data)
 test_data = norm_func(test_data)
 cos = np.dot(train_data,np.transpose(test_data))#np.transpose为求转置,dot为矩阵的乘积,结果为cos的一列值为test与train的相似度
 max_cos = np.argmax(cos,axis=0)#np.argmax为cos中一列上方的最大值
 test_pred = train_label[max_cos]#train_label为一列,max_cos为一个数组,train_label[max_cos]会读出train_label中max_cos数组编号的元素
 return test_pred#返回test的预测值

step 4

统计预测值的正确率

def validate(test_pred,test_label):
 c=len(test_pred)#在数组里面套数组的时候,len得到的是大数组里数组的个数,在只有一层数组的时候,得到的是数组中元素的个数
 correct=(test_pred == test_label).sum()#统计两个数组中有多少个元素相同
 return float(correct)/c#必须转变成浮点数再做除法,之前使用correct/c得到0

测试代码:

if __name__ == '__main__':
 train_num = 200
 test_num = 300#测试数据起始是test_num-train_num
 x = pd.read_csv('train.csv')
 x_train = x.values[0:train_num,1:]#读取pandas中读取出来的数据,需要用data.values[]
 x_train_label = x.values[0:train_num,0]#第一列是label,每幅图的数据是一行
 x_test = x.values[train_num:test_num,1:]
 x_test_label = x.values[train_num:test_num,0]
 test_pred=nearest_neighbor(normalize,x_train,x_train_label,x_test)
 prec=validate(test_pred,x_test_label)
 print u"正确率为%.2f"%(prec)#浮点数是%f

完整代码点击此处本站下载

注解:

上面部分主要是讲解KNN算法,运用到的是现成的28*28的数据,而在实际做笔迹分析的时候,首先需要将图像转化成矩阵数据。

现在介绍一下,图像转化成矩阵与矩阵转化成图像的方法

矩阵转化成图像

需要用到的库是图像处理库Python Imaging Library (PIL)

在Windows下使用pip install PIL安装失败,采取了下载PIL.exe双击安装的方法
下载地址:

PIL官方下载地址

import pandas as pd
import numpy as np
from PIL import Image
# load data
train = pd.read_csv('train.csv')
# now draw the numbers
for ind, row in train.iloc[0:3].iterrows():#iloc方法(介绍见后)来获得前3行数据
 i = row[0]#[0]为标签项
 arr = np.array(row[1:], dtype=np.uint8)#1-784列组成一幅图,,uint8为8位无符号整数
 #arr = np.array(255 - row[1:], dtype=np.uint8)#如果需要颜色取反,用255减去当前每个像素点的值
 arr.resize((28, 28))#把它变成28*28的矩阵
 #save to file
 im = Image.fromarray(arr)
 im.save("./train_pics/%s-%s.png" % (ind, i))#第一个%s(ind)表示它是第几幅图像,第二个%s表示这个图像里面数字是几 ,注意该语句不能产生文件夹,需要现在指定目录建一个文件夹

.iloc()方法

iloc[行位置,列位置]
df.iloc[1,1]#选取第二行,第二列的值,返回的为单个值
df.iloc[0,2],:]#选取第一行及第三行的数据

图像转化成矩阵

需要用到的库是opencv(open source computer vision),下载安装方式请参照附录:python_OpenCV安装

这里主要讲它的几个简单功能

1.静态图像的输入,输出

cv2.imread('xxx.png')#输入,#这里输入image的维度image.shape = (w,h,3),w*h是图片的长宽,3是BGR等三种颜色的channel值,每个值为0~255
cv2.imwrite('xxx.jpg', image)#输出

2.将图片转化为灰度图片

#灰度图片的颜色channel只有一个,0~255表示灰度值
grayImage = cv2.imread('xxx.png',cv2.CV_LOAD_IMAGE_GRAYSCALE)

3.改变图像的大小

print grayImage.shape#查看图像的shape,shape为(137,301),如果查看的是图像的size,则为42137(41237=137*301)
res=cv2.resize(grayImage,(28,28),interpolation=cv2.INTER_CUBIC)#将图片grayImage以cv2.INTER_CUBIC方式变化为(28,28)大小的图片

变换的方法:

  • CV_INTER_NN - 最近邻插值,
  • CV_INTER_LINEAR - 双线性插值 (缺省使用)
  • CV_INTER_AREA - 使用象素关系重采样。当图像缩小时候,该方法可以避免波纹出现。当图像放大时,类似于 CV_INTER_NN 方法..
  • CV_INTER_CUBIC -立方插值.

下面是有关输入,输出,改变成灰度图,改变图像大小,显示的完整程序,注意图像在窗口中的显示

import cv2
image = cv2.imread('111.png')#读
cv2.imwrite('111.jpg', image)#写
grayImage = cv2.imread('111.png',cv2.CV_LOAD_IMAGE_GRAYSCALE)
print grayImage.shape
res=cv2.resize(grayImage,(28,28),interpolation=cv2.INTER_CUBIC)
#显示图像
cv2.imshow('test',grayImage)#显示灰度图
cv2.imshow('change',res)#显示改变了大小的图
#捕获键盘输入
k=cv2.waitKey(0)
if k==27:#27表示ESC键
 cv2.destroyWindow()

cv2.imshow()用于将图片显示在窗口中,后面必须跟个cv2.waitKey()函数,才能让显示持续,不然显示出来程序就中止了,窗口就会被关闭。cv2.waitKey()函数是捕获键盘的输入,cv2.destroyWindow()是释放窗口。

在学习了如果读取,输出图片后,我们就可以用写好的KNN算法识别我们的笔迹了。

问题:

我使用了很多手写的数据去验证识别是否准确,发现准确率还不够高。主要存在的问题是

1.图片大小问题,大小的调节不应该把整张图片变为28*28的图,而应该识别出写有数字的中心图片,把旁边的白边去掉

2.手写的数字照片,不能保证写字的地方为黑(像素值为255)

解决方式:需要使用一个滤波器,把因纸张,拍摄问题出现的像素值降。再没有使用滤波器的条件下,我把照片换成了在画图板上写的数字。

3.写字的粗细会影响判断

解决办法:这个可能是训练样本不够多,整体训练样本的字迹偏粗,在输入很细的笔迹时,不能识别出来。还有就是应该监测输入字体的粗细,对输入的很细的笔迹做膨胀处理,对很粗的笔迹做腐蚀处理

附:python_OpenCV安装

看到网上好多教程的是在VS环境下OpenCV的安装,而我一直都是在windows7,32位,sublime+cmd环境下,进行python的编程,所以琢磨了下这种条件下的OpenCV安装

使用pip install numpy语句安装numpy
(如果出现错误:Microsoft Visual C++ 9.0 is required <unable to find vcvarsall.bat>,使用管理员身份安装 Microsoft Visual C++ 9.0,重新启动计算机,再使用使用pip install numpy语句安装numpy

opencv2.4.10下载

下载之后解压(随便解压到哪里),将解压目录opencv文件夹中,build->python->2.7->x86下的文件cv2.pyd 复制到python2.7\Lib\site-packages

测试是否安装成功,执行解压目录下的sources\samples\python\drawing.py或者进入python环境,使用import cv2

希望本文所述对大家Python程序设计有所帮助。

python使用KNN算法识别手写数字

本文实例为大家分享了python使用KNN算法识别手写数字的具体代码,供大家参考,具体内容如下

# -*- coding: utf-8 -*-
#pip install numpy
import os
import os.path
from numpy import *
import operator
import time
from os import listdir
 
"""
描述:
  KNN算法实现分类器
参数:
  inputPoint:测试集
  dataSet:训练集
  labels:类别标签
  k:K个邻居
返回值:
  该测试数据的类别
"""
def classify(inputPoint,dataSet,labels,k):
  dataSetSize = dataSet.shape[0] #已知分类的数据集(训练集)的行数
  #先tile函数将输入点拓展成与训练集相同维数的矩阵,再计算欧氏距离
  diffMat = tile(inputPoint,(dataSetSize,1))-dataSet #样本与训练集的差值矩阵
 
  # print(inputPoint);
  sqDiffMat = diffMat ** 2 #sqDiffMat 的数据类型是nump提供的ndarray,这不是矩阵的平方,而是每个元素变成原来的平方。
  sqDistances = sqDiffMat.sum(axis=1)  #计算每一行上元素的和
  # print(sqDistances);
  distances = sqDistances ** 0.5   #开方得到欧拉距离矩阵
  # print(distances);
  sortedDistIndicies = distances.argsort() #按distances中元素进行升序排序后得到的对应下标的列表,argsort函数返回的是数组值从小到大的索引值
  # print(sortedDistIndicies);
 
  # classCount数据类型是这样的{0: 2, 1: 2},字典key:value
  classCount = {}
  # 选择距离最小的k个点
  for i in range(k):
    voteIlabel = labels[ sortedDistIndicies[i] ]
    # print(voteIlabel)
    # 类别数加1
    classCount[voteIlabel] = classCount.get(voteIlabel,0)+1
  print(classCount)# {1: 1, 7: 2}
  #按classCount字典的第2个元素(即类别出现的次数)从大到小排序
  sortedClassCount = sorted(classCount.items(), key = operator.itemgetter(1), reverse = True)
  print(sortedClassCount)# [(7, 2), (1, 1)]
  return sortedClassCount[0][0]
 
"""
描述:
  读取指定文件名的文本数据,构建一个矩阵
参数:
  文本文件名称
返回值:
  一个单行矩阵
"""
def img2vector(filename):
 returnVect = []
 fr = open(filename)
 for i in range(32):
  lineStr = fr.readline()
  for j in range(32):
   returnVect.append(int(lineStr[j]))
 return returnVect
 
"""
描述:
  从文件名中解析分类数字,比如由0_0.txt得知这个文本代表的数字分类是0
参数:
  文本文件名称
返回值:
  一个代表分类的数字
"""
def classnumCut(fileName):
  fileStr = fileName.split('.')[0]
  classNumStr = int(fileStr.split('_')[0])
  return classNumStr
 
"""
描述:
  构建训练集数据向量,及对应分类标签向量
参数:
  无
返回值:
  hwLabels:分类标签矩阵
  trainingMat:训练数据集矩阵
"""
def trainingDataSet():
  hwLabels = []
  trainingFileList = listdir('trainingDigits')   #获取目录内容
  m = len(trainingFileList)
  # zeros返回全部是0的矩阵,参数是行和列
  trainingMat = zeros((m,1024))    #m维向量的训练集
  for i in range(m):
    # print (i);
    fileNameStr = trainingFileList[i]
    hwLabels.append(classnumCut(fileNameStr))
    trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
  return hwLabels,trainingMat
 
"""
描述:
  主函数,最终打印识别了多少个数字以及识别的错误率
参数:
  无
返回值:
  无
"""
def handwritingTest():
  """
  hwLabels,trainingMat 是标签和训练数据,
  hwLabels 是一个一维矩阵,代表每个文本对应的标签(即文本所代表的数字类型)
  trainingMat是一个多维矩阵,每一行都代表一个文本的数据,每行有1024个数字(0或1)
  """
  hwLabels,trainingMat = trainingDataSet() #构建训练集
  testFileList = listdir('testDigits') #获取测试集
  errorCount = 0.0    #错误数
  mTest = len(testFileList)    #测试集总样本数
  t1 = time.time()
  for i in range(mTest):
    fileNameStr = testFileList[i]
    classNumStr = classnumCut(fileNameStr)
    # img2vector返回一个文本对应的一维矩阵,1024个0或者1
    vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
    #调用knn算法进行测试
    classifierResult = classify(vectorUnderTest, trainingMat, hwLabels, 3)
    # 打印测试出来的结果和真正的结果,看看是否匹配
    print ("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
    # 如果测试出来的值和原值不相等,errorCount+1
    if (classifierResult != classNumStr):
      errorCount += 1.0
  print("\nthe total number of tests is: %d" % mTest)   #输出测试总样本数
  print ("the total number of errors is: %d" % errorCount )  #输出测试错误样本数
  print ("the total error rate is: %f" % (errorCount/float(mTest))) #输出错误率
  t2 = time.time()
  print ("Cost time: %.2fmin, %.4fs."%((t2-t1)//60,(t2-t1)%60) ) #测试耗时
 
"""
描述:
  指定handwritingTest()为主函数
"""
if __name__ == "__main__":
 handwritingTest()

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持码农之家。

以上就是本次给大家分享的关于Python的全部知识点内容总结,大家还可以在下方相关文章里找到python里dict变成list的实例方、 python字符串与url编码转换、 Python3结合Dlib实现人脸识别、 等python文章进一步学习,感谢大家的阅读和支持。

上一篇:Django配置celery执行异步任务和定时任务详解

下一篇:Python基于多线程操作数据库相关知识点详解

展开 +

收起 -

相关电子书
学习笔记
网友NO.441678

Python中KNN算法(k-近邻算法)的详细介绍(附示例)

本篇文章给大家带来的内容是关于Python中KNN算法(k-近邻算法)的详细介绍(附示例),有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助。 KNN算法是一种数据分类算法,以距离样本k个最邻近数据的类别代表样本的类别,因此也叫作k-近邻算法。KNN算法是数据挖掘中最简单的方法之一,大致可分为以下几个步骤: 训练数据:原数据集中所有数据类别的数据。 测试数据:我们将要拿来测试的数据样本。 处理数据 我们得到的测试数据,通常和训练数据是不同维的,这时候就需要我们将测试数据升维到和训练数据相同,python的numpy中自带了一个tile()函数可以帮助我们将测试数据升维。 将数据向量化 测试数据升维后,我们为了计算距离样本点的距离,此时需要将数据向量化,所谓的向量化就很简单了,即将两个同维数据相减。 计算欧式距离……

网友NO.537247

在python中利用KNN实现对iris进行分类的方法

如下所示: from sklearn.datasets import load_iris iris = load_iris() print iris.data.shape from sklearn.cross_validation import train_test_split X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size = 0.25, random_state = 33) from sklearn.preprocessing import StandardScalerfrom sklearn.neighbors import KNeighborsClassifier ss = StandardScaler() X_train = ss.fit_transform(X_train)X_test = ss.transform(X_test) knc = KNeighborsClassifier()knc.fit(X_train, y_train)y_predict = knc.predict(X_test) print 'The accuracy of K-Nearest Neighbor Classifier is: ', knc.score(X_test, y_test) from sklearn.metrics import classification_report print classification_report(y_test, y_predict, target_names = iris.target_names) 以上这篇在python中利用KNN实现对iris进行分类的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

网友NO.241808

Python实现KNN(K-近邻)算法的示例代码

一、概述 KNN(K-最近邻)算法是相对比较简单的机器学习算法之一,它主要用于对事物进行分类。用比较官方的话来说就是:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的K个实例, 这K个实例的多数属于某个类,就把该输入实例分类到这个类中。为了更好地理解,通过一个简单的例子说明。 我们有一组自拟的关于电影中镜头的数据: 那么问题来了,如果有一部电影X,它的打戏为 3,吻戏为 2。那么这部电影应该属于哪一类? 我们把所有数据通过图表显示出来(圆点代表的是自拟的数据,也称训练集;三角形代表的是X电影的数据,称为测试数据): 计算测试数据到训练数据之间的距离,假设k为 3,那么我们就找到距离中最小的三个点,假如 3个点中有 2个属于动作片,1个属于爱情片,那么把该电影X分类为动作片。这……

<
1
>

Copyright 2018-2020 xz577.com 码农之家

电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

版权投诉 / 书籍推广 / 赞助:520161757@qq.com

上传资源(网友、会员均可提供)

查看最新会员资料及资源信息