利用Python实现kNN算法的代码
邻近算法（k-NearestNeighbor) 是机器学习中的一种分类（classification）算法，也是机器学习中最简单的算法之一了。虽然很简单，但在解决特定问题时却能发挥很好的效果。因此，学习kNN算法是机器学习入门的一个很好的途径。
kNN算法的思想非常的朴素，它选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签（label）。我们假设每一个样本有m个特征值（property），则一个样本的可以用一个m维向量表示: X =（ x1，x2，... , xm ), 同样地，测试点的特征值也可表示成：Y =（ y1，y2，... , ym )。那我们怎么定义这两者之间的“距离”呢？
在二维空间中，有：d2 = ( x1 - y1 )2 + ( x2 - y2 )2 , 在三维空间中，两点的距离被定义为：d2 = ( x1 - y1 )2 + ( x2 - y2 )2 + ( x3 - y3 )2 。我们可以据此推广到m维空间中，定义m维空间的距离：d2 = ( x1 - y1 )2 + ( x2 - y2 )2 + ...... + ( xm - ym )2 。要实现kNN算法，我们只需要计算出每一个样本点与测试点的距离，选取距离最近的k个样本，获取他们的标签（label) ，然后找出k个样本中数量最多的标签，返回该标签。
在开始实现算法之前，我们要考虑一个问题，不同特征的特征值范围可能有很大的差别，例如，我们要分辨一个人的性别，一个女生的身高是1.70m，体重是60kg，一个男生的身高是1.80m，体重是70kg，而一个未知性别的人的身高是1.81m, 体重是64kg，这个人与女生数据点的“距离”的平方 d2 = ( 1.70 - 1.81 )2 + ( 60 - 64 )2 = 0.0121 + 16.0 = 16.0121，而与男生数据点的“距离”的平方d2 = ( 1.80 - 1.81 )2 + ( 70 - 64 )2 = 0.0001 + 36.0 = 36.0001 。可见，在这种情况下，身高差的平方相对于体重差的平方基本可以忽略不计，但是身高对于辨别性别来说是十分重要的。为了解决这个问题，就需要将数据标准化（normalize），把每一个特征值除以该特征的范围，保证标准化后每一个特征值都在0~1之间。我们写一个normData函数来执行标准化数据集的工作：
def normData(dataSet): maxVals = dataSet.max(axis=0) minVals = dataSet.min(axis=0) ranges = maxVals - minVals retData = (dataSet - minVals) / ranges return retData, ranges, minVals
然后开始实现kNN算法：
def kNN(dataSet, labels, testData, k):
distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和
distances = distSquareSums ** 0.5 # 开根号，得出每个样本到测试点的距离
sortedIndices = distances.argsort() # 排序，得到排序后的下标
indices = sortedIndices[:k] # 取最小的k个
labelCount = {} # 存储每个label的出现次数
for i in indices:
label = labels[i]
labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一
sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True)
# 对label出现的次数从大到小进行排序
return sortedCount[0][0] # 返回出现次数最大的label
注意，在testData作为参数传入kNN函数之前，需要经过标准化。
我们用几个小数据验证一下kNN函数是否能正常工作：
if __name__ == "__main__": dataSet = np.array([[2, 3], [6, 8]]) normDataSet, ranges, minVals = normData(dataSet) labels = ['a', 'b'] testData = np.array([3.9, 5.5]) normTestData = (testData - minVals) / ranges result = kNN(normDataSet, labels, normTestData, 1) print(result)
结果输出 a ，与预期结果一致。
完整代码：
import numpy as np
from math import sqrt
import operator as opt
def normData(dataSet):
maxVals = dataSet.max(axis=0)
minVals = dataSet.min(axis=0)
ranges = maxVals - minVals
retData = (dataSet - minVals) / ranges
return retData, ranges, minVals
def kNN(dataSet, labels, testData, k):
distSquareMat = (dataSet - testData) ** 2 # 计算差值的平方
distSquareSums = distSquareMat.sum(axis=1) # 求每一行的差值平方和
distances = distSquareSums ** 0.5 # 开根号，得出每个样本到测试点的距离
sortedIndices = distances.argsort() # 排序，得到排序后的下标
indices = sortedIndices[:k] # 取最小的k个
labelCount = {} # 存储每个label的出现次数
for i in indices:
label = labels[i]
labelCount[label] = labelCount.get(label, 0) + 1 # 次数加一
sortedCount = sorted(labelCount.items(), key=opt.itemgetter(1), reverse=True) # 对label出现的次数从大到小进行排序
return sortedCount[0][0] # 返回出现次数最大的label
if __name__ == "__main__":
dataSet = np.array([[2, 3], [6, 8]])
normDataSet, ranges, minVals = normData(dataSet)
labels = ['a', 'b']
testData = np.array([3.9, 5.5])
normTestData = (testData - minVals) / ranges
result = kNN(normDataSet, labels, normTestData, 1)
print(result)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇解决安装pycharm后不能执行python脚本的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-01-01
这篇文章主要介绍了Pytorch写数字识别LeNet模型，LeNet-5是一个较简单的卷积神经网络， LeNet-5 这个网络虽然很小，但是它包含了深度学习的基本模块：卷积层，池化层，全连接层。是其他深度学习模型的基础， 这里我们对LeNet-5进行深入分析,需要的朋友可以参考下2022-01-01
这篇文章主要介绍了Python基础之操作MySQL数据库,文中有非常详细的代码示例,对正在学习python基础的小伙伴们有非常好的帮助,需要的朋友可以参考下2021-05-05
基于tensorflow指定GPU运行及GPU资源分配的几种方式小结
今天小编就为大家分享一篇基于tensorflow指定GPU运行及GPU资源分配的几种方式小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-02-02
这篇文章主要为大家详细介绍了如何在 Python 中执行素因数分解,文中的示例代码讲解详细,具有一定的参考价值,感兴趣的小伙伴可以一起学习一下2023-10-10
Tqdm是一个快速,可扩展的Python进度条,可以在 Python 长循环中添加一个进度提示信息,用户只需要封装任意的迭代器tqdm(iterator),下面这篇文章主要给大家介绍了关于Python中tqdm的使用和例子的相关资料,需要的朋友可以参考下2022-09-09
python实现一次性封装多条sql语句(begin end)
这篇文章主要介绍了python实现一次性封装多条sql语句(begin end)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-06-06
python中的try except与R语言中的tryCatch异常解决
这篇文章主要为大家介绍了python中的try except与R语言中的tryCatch异常解决的方式及分析，有需要的朋友可以借鉴参考下，希望能够有所帮助2021-11-11
python计算最小优先级队列代码分享,大家参考使用吧2013-12-12
这篇文章主要介绍了Django单元测试中Fixtures用法详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-02-02
最新评论