决策树(Decision Tree)是一个非参数的监督式学习方法,决策树又称为判定树,是运用于分类的一种树结构,其中的每个内部节点代表对某一属性的一次测试,每条边代表一个测试结果,叶节点代表某个类或类的分布。
下面就使用决策树对人体身高体重数据进行分类。
这个数据一共有10个样本,每个样本有2个属性,分别为身高和体重,第三列为类别标签,表示“胖”或“瘦”。该数据保存在1.txt中,如下所示:
我们的任务就是训练一个决策树分类器,输入身高和体重,分类器能给出这个人是胖子还是瘦子。
分析:首先这次的训练数据是在一个文本文件中,因此需要把该数据集读入,特征和类标签存放在不同变量中。此外,由于类标签是文本,需要转换为数字。其它的过程和前面的例题完全类似,下面就看一下过程。
本例需要使用下面第三方库:
importscipyassp fromsklearnimporttree fromsklearn.metricsimportprecision_recall_curve fromsklearn.metricsimportclassification_report fromsklearn.model_selectionimporttrain_test_splitimportnumpyasnp
下面这段代码是从文本文件中读入数据:
labels=[] withopen("1.txt")asifile: forlineinifile: tokens=line.strip().split('') data.append([float(tk)fortkintokens[:-1]]) labels.append(tokens[-1]) x=np.array(data) labels=np.array(labels) y=np.zeros(labels.shape)data=[]
可以看出,程序每次从文本中读取一行,然后使用空格作为分割,将数据当道data矩阵中,然后分别将特征和类标签放到labels和y中。
由于类标签是文本,需要转换为数字,可以使用下面代码进行转换:
y[labels=='fat']=1
然后将数据随机拆分,训练数据占80%的比例,测试数据占20%的比例:
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=0)
下面就可以使用DecisionTreeClassifier建立模型,并进行训练了,如下所示:
clf.fit(x_train,y_train)clf=tree.DecisionTreeClassifier(criterion='entropy')
测试结果可以使用下面代码实现:
print(x_train) print(answer) print(y_train) print(np.mean(answer==y_train))answer=clf.predict(x_train)
可以使用下面代码测试不同特征对分类的影响权重
print(clf.feature_importances_)
程序运行结果如下所示:
同样,可以将决策树模型输出到模型文件中,代码如下:
f=tree.export_graphviz(clf,out_file=f)withopen("tree.dot",'w')asf:
切换到命令行状态下,输入以下命令:
dot-Tpdftree.dot-otree.pdf
然后在当前目录下找到tree.pdf
文件,打开该文件,即可看到这个决策树,如下所示:
留言回复你在机器学习方面做过哪些有趣的应用,我们会在留言中随机抽取一位读者免费送出北京大学出版社出版的《Python 3 数据分析与机器学习实战》图书一本。
推荐Python中文社区旗下的几个服务类公众号
热 门 推 荐
为你的Python程序加密
用Python开发计时器程序
硬核 | 用Python给女朋友送一颗彩蛋
用Pandas库实现MySQL数据库的读写
本文部分观点摘自北京大学出版社出版的《Python 3 数据分析与机器学习实战》,点击阅读原文了解详情!
如果觉得《送书 | 使用决策树对身高体重数据进行分类》对你有帮助,请点赞、收藏,并留下你的观点哦!