送书 | 使用决策树对身高体重数据进行分类

决策树（Decision Tree）是一个非参数的监督式学习方法，决策树又称为判定树，是运用于分类的一种树结构，其中的每个内部节点代表对某一属性的一次测试，每条边代表一个测试结果，叶节点代表某个类或类的分布。

下面就使用决策树对人体身高体重数据进行分类。

这个数据一共有10个样本，每个样本有2个属性，分别为身高和体重，第三列为类别标签，表示“胖”或“瘦”。该数据保存在1.txt中，如下所示：

我们的任务就是训练一个决策树分类器，输入身高和体重，分类器能给出这个人是胖子还是瘦子。

分析：首先这次的训练数据是在一个文本文件中，因此需要把该数据集读入，特征和类标签存放在不同变量中。此外，由于类标签是文本，需要转换为数字。其它的过程和前面的例题完全类似，下面就看一下过程。

本例需要使用下面第三方库：

importnumpyasnp

importscipyassp

fromsklearnimporttree

fromsklearn.metricsimportprecision_recall_curve

fromsklearn.metricsimportclassification_report

fromsklearn.model_selectionimporttrain_test_split

下面这段代码是从文本文件中读入数据：

data=[]

labels=[]

withopen("1.txt")asifile:

forlineinifile:

tokens=line.strip().split('')

data.append([float(tk)fortkintokens[:-1]])

labels.append(tokens[-1])

x=np.array(data)

labels=np.array(labels)

y=np.zeros(labels.shape)

可以看出，程序每次从文本中读取一行，然后使用空格作为分割，将数据当道data矩阵中，然后分别将特征和类标签放到labels和y中。

由于类标签是文本，需要转换为数字，可以使用下面代码进行转换：

y[labels=='fat']=1

然后将数据随机拆分，训练数据占80%的比例，测试数据占20%的比例：

x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.2,random_state=0)

下面就可以使用DecisionTreeClassifier建立模型，并进行训练了，如下所示：

clf=tree.DecisionTreeClassifier(criterion='entropy')

clf.fit(x_train,y_train)

测试结果可以使用下面代码实现：

answer=clf.predict(x_train)

print(x_train)

print(answer)

print(y_train)

print(np.mean(answer==y_train))

可以使用下面代码测试不同特征对分类的影响权重

print(clf.feature_importances_)

程序运行结果如下所示：

同样，可以将决策树模型输出到模型文件中，代码如下：

withopen("tree.dot",'w')asf:

f=tree.export_graphviz(clf,out_file=f)

切换到命令行状态下，输入以下命令：

dot-Tpdftree.dot-otree.pdf

然后在当前目录下找到tree.pdf文件，打开该文件，即可看到这个决策树，如下所示：

留言回复你在机器学习方面做过哪些有趣的应用，我们会在留言中随机抽取一位读者免费送出北京大学出版社出版的《Python 3 数据分析与机器学习实战》图书一本。

推荐Python中文社区旗下的几个服务类公众号

热 门 推 荐

为你的Python程序加密

用Python开发计时器程序

硬核 | 用Python给女朋友送一颗彩蛋

用Pandas库实现MySQL数据库的读写

本文部分观点摘自北京大学出版社出版的《Python 3 数据分析与机器学习实战》，点击阅读原文了解详情！

如果觉得《送书 | 使用决策树对身高体重数据进行分类》对你有帮助，请点赞、收藏，并留下你的观点哦！