机器学习——决策树基础

第1关:创建数据集

python 复制代码
def createDataSet():
    dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],
               [1, 0, 'no'],
               [0, 1, 'no'],
               [0, 1, 'no']]
    labels = ['no surfacing','flippers']
    return dataSet, labels
####请在此处输入代码####
myDat, t = createDataSet()
#######################
print(myDat)

第2关:计算数据集的信息熵

python 复制代码
from math import log
import operator
def calcShannonEnt(dataSet):
    numEntries = len(dataSet)                   #声明数据集中样本总数
    labelCounts = {}                             #创建字典
    for featVec in dataSet:                      #所有可能分类的数量和发生频率
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries
        shannonEnt -= prob * log(prob,2) #log base 2
    return shannonEnt

第3关:数据集的划分

python 复制代码
def splitDataSet(dataSet, axis, value):
    retDataSet = []                                   #创建列表对象引用数据集,防止由于多次调用而改变元数据集。
    ####请在此处输入代码####
    for i in dataSet:
        if i[axis] == value:
            t = i[:axis]
            t.extend(i[axis + 1:])
            retDataSet.append(t)
    #######################
    return retDataSet

第4关:计算信息增益

python 复制代码
from ex03_lib import calcShannonEnt,splitDataSet

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1          #最后一个元素是当前实例的类别标签。
    baseEntropy = calcShannonEnt(dataSet)    #计算原始信息熵。
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):            #遍历数据集中所有特征。
        featList = [example[i] for example in dataSet]#create a list of all the examples of this feature
        uniqueVals = set(featList)           #创建唯一的分类标签列表。
        newEntropy = 0.0
        ####请在此处输入代码####
        for value in uniqueVals:             #遍历当前特征中所有唯一的特征值。
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)  #计算每种划分方式的信息熵。   
        infoGain = baseEntropy - newEntropy        #计算信息增益。
        #######################
        if (infoGain > bestInfoGain):            #将结果与目前所得到的最优划分进行比较。
            bestInfoGain = infoGain                   #如果结果优于当前最优化分特征,则更新划分特征。
            bestFeature = i
    return bestFeature                                 #返回最优划分的索引值。
相关推荐
Tony聊跨境7 分钟前
独立站SEO类型及优化:来检查这些方面你有没有落下
网络·人工智能·tcp/ip·ip
懒惰才能让科技进步13 分钟前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
Qspace丨轻空间24 分钟前
气膜场馆:推动体育文化旅游创新发展的关键力量—轻空间
大数据·人工智能·安全·生活·娱乐
没有不重的名么25 分钟前
门控循环单元GRU
人工智能·深度学习·gru
love_and_hope29 分钟前
Pytorch学习--神经网络--搭建小实战(手撕CIFAR 10 model structure)和 Sequential 的使用
人工智能·pytorch·python·深度学习·学习
Chef_Chen32 分钟前
从0开始学习机器学习--Day14--如何优化神经网络的代价函数
神经网络·学习·机器学习
2403_875736871 小时前
道品科技智慧农业中的自动气象检测站
网络·人工智能·智慧城市
学术头条1 小时前
AI 的「phone use」竟是这样练成的,清华、智谱团队发布 AutoGLM 技术报告
人工智能·科技·深度学习·语言模型
准橙考典1 小时前
怎么能更好的通过驾考呢?
人工智能·笔记·自动驾驶·汽车·学习方法
ai_xiaogui1 小时前
AIStarter教程:快速学会卸载AI项目【AI项目管理平台】
人工智能·ai作画·语音识别·ai写作·ai软件