在上一篇文章中,我们已经构建了决策树,接下来可以使用它用于实际的数据分类。在执行数据分类时,需要决策时以及标签向量。程序比较测试数据和决策树上的数值,递归执行直到进入叶子节点。
这篇文章主要使用决策树分类器就行分类,数据集采用UCI数据库中的红酒,白酒数据,主要特征包括12个,主要有非挥发性酸,挥发性酸度, 柠檬酸, 残糖含量,氯化物, 游离二氧化硫, 总二氧化硫,密度, pH,硫酸盐,酒精, 质量等特征。
下面是具体代码的实现:
#coding :utf-8 ''' 2017.6.26 author :Erin function: "decesion tree" ID3 ''' import numpy as np import pandas as pd from math import log import operator import random def load_data(): red = [line.strip().split(';') for line in open('e:/a/winequality-red.csv')] white = [line.strip().split(';') for line in open('e:/a/winequality-white.csv')] data=red+white random.shuffle(data) #打乱data x_train=data[:800] x_test=data[800:] features=['fixed','volatile','citric','residual','chlorides','free','total','density','pH','sulphates','alcohol','quality'] return x_train,x_test,features def cal_entropy(dataSet): numEntries = len(dataSet) labelCounts = {} for featVec in dataSet: label = featVec[-1] if label not in labelCounts.keys(): labelCounts[label] = 0 labelCounts[label] += 1 entropy = 0.0 for key in labelCounts.keys(): p_i = float(labelCounts[key]/numEntries) entropy -= p_i * log(p_i,2)#log(x,10)表示以10 为底的对数 return entropy def split_data(data,feature_index,value): ''' 划分数据集 feature_index:用于划分特征的列数,例如“年龄” value:划分后的属性值:例如“青少年” ''' data_split=[]#划分后的数据集 for feature in data: if feature[feature_index]==value: reFeature=feature[:feature_index] reFeature.extend(feature[feature_index+1:]) data_split.append(reFeature) return data_split def choose_best_to_split(data): ''' 根据每个特征的信息增益,选择最大的划分数据集的索引特征 ''' count_feature=len(data[0])-1#特征个数4 #print(count_feature)#4 entropy=cal_entropy(data)#原数据总的信息熵 #print(entropy)#0.9402859586706309 max_info_gain=0.0#信息增益最大 split_fea_index = -1#信息增益最大,对应的索引号 for i in range(count_feature): feature_list=[fe_index[i] for fe_index in data]#获取该列所有特征值 ####################################### # print(feature_list) unqval=set(feature_list)#去除重复 Pro_entropy=0.0#特征的熵 for value in unqval:#遍历改特征下的所有属性 sub_data=split_data(data,i,value) pro=len(sub_data)/float(len(data)) Pro_entropy+=pro*cal_entropy(sub_data) #print(Pro_entropy) info_gain=entropy-Pro_entropy if(info_gain>max_info_gain): max_info_gain=info_gain split_fea_index=i return split_fea_index ################################################## def most_occur_label(labels): #sorted_label_count[0][0] 次数最多的类标签 label_count={} for label in labels: if label not in label_count.keys(): label_count[label]=0 else: label_count[label]+=1 sorted_label_count = sorted(label_count.items(),key = operator.itemgetter(1),reverse = True) return sorted_label_count[0][0] def build_decesion_tree(dataSet,featnames): ''' 字典的键存放节点信息,分支及叶子节点存放值 ''' featname = featnames[:] ################ classlist = [featvec[-1] for featvec in dataSet] #此节点的分类情况 if classlist.count(classlist[0]) == len(classlist): #全部属于一类 return classlist[0] if len(dataSet[0]) == 1: #分完了,没有属性了 return Vote(classlist) #少数服从多数 # 选择一个最优特征进行划分 bestFeat = choose_best_to_split(dataSet) bestFeatname = featname[bestFeat] del(featname[bestFeat]) #防止下标不准 DecisionTree = {bestFeatname:{}} # 创建分支,先找出所有属性值,即分支数 allvalue = [vec[bestFeat] for vec in dataSet] specvalue = sorted(list(set(allvalue))) #使有一定顺序 for v in specvalue: copyfeatname = featname[:] DecisionTree[bestFeatname][v] = build_decesion_tree(split_data(dataSet,bestFeat,v),copyfeatname) return DecisionTree def classify(Tree, featnames, X): classLabel='' root = list(Tree.keys())[0] firstDict = Tree[root] featindex = featnames.index(root) #根节点的属性下标 #classLabel='0' for key in firstDict.keys(): #根属性的取值,取哪个就走往哪颗子树 if X[featindex] == key: if type(firstDict[key]) == type({}): classLabel = classify(firstDict[key],featnames,X) else: classLabel = firstDict[key] return classLabel if __name__ == '__main__': x_train,x_test,features=load_data() split_fea_index=choose_best_to_split(x_train) newtree=build_decesion_tree(x_train,features) #print(newtree) #classLabel=classify(newtree, features, ['7.4','0.66','0','1.8','0.075','13','40','0.9978','3.51','0.56','9.4','5'] ) #print(classLabel) count=0 for test in x_test: label=classify(newtree, features,test) if(label==test[-1]): count=count+1 acucy=float(count/len(x_test)) print(acucy)
测试的准确率大概在0.7左右。至此决策树分类算法结束。本文代码地址
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
python,决策树
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 小骆驼-《草原狼2(蓝光CD)》[原抓WAV+CUE]
- 群星《欢迎来到我身边 电影原声专辑》[320K/MP3][105.02MB]
- 群星《欢迎来到我身边 电影原声专辑》[FLAC/分轨][480.9MB]
- 雷婷《梦里蓝天HQⅡ》 2023头版限量编号低速原抓[WAV+CUE][463M]
- 群星《2024好听新歌42》AI调整音效【WAV分轨】
- 王思雨-《思念陪着鸿雁飞》WAV
- 王思雨《喜马拉雅HQ》头版限量编号[WAV+CUE]
- 李健《无时无刻》[WAV+CUE][590M]
- 陈奕迅《酝酿》[WAV分轨][502M]
- 卓依婷《化蝶》2CD[WAV+CUE][1.1G]
- 群星《吉他王(黑胶CD)》[WAV+CUE]
- 齐秦《穿乐(穿越)》[WAV+CUE]
- 发烧珍品《数位CD音响测试-动向效果(九)》【WAV+CUE】
- 邝美云《邝美云精装歌集》[DSF][1.6G]
- 吕方《爱一回伤一回》[WAV+CUE][454M]