机器学习——决策树基础

第1关:创建数据集

python 复制代码
def createDataSet():
    dataSet = [[1, 1, 'yes'],
               [1, 1, 'yes'],
               [1, 0, 'no'],
               [0, 1, 'no'],
               [0, 1, 'no']]
    labels = ['no surfacing','flippers']
    return dataSet, labels
####请在此处输入代码####
myDat, t = createDataSet()
#######################
print(myDat)

第2关:计算数据集的信息熵

python 复制代码
from math import log
import operator
def calcShannonEnt(dataSet):
    numEntries = len(dataSet)                   #声明数据集中样本总数
    labelCounts = {}                             #创建字典
    for featVec in dataSet:                      #所有可能分类的数量和发生频率
        currentLabel = featVec[-1]
        if currentLabel not in labelCounts.keys(): labelCounts[currentLabel] = 0
        labelCounts[currentLabel] += 1
    shannonEnt = 0.0
    for key in labelCounts:
        prob = float(labelCounts[key])/numEntries
        shannonEnt -= prob * log(prob,2) #log base 2
    return shannonEnt

第3关:数据集的划分

python 复制代码
def splitDataSet(dataSet, axis, value):
    retDataSet = []                                   #创建列表对象引用数据集,防止由于多次调用而改变元数据集。
    ####请在此处输入代码####
    for i in dataSet:
        if i[axis] == value:
            t = i[:axis]
            t.extend(i[axis + 1:])
            retDataSet.append(t)
    #######################
    return retDataSet

第4关:计算信息增益

python 复制代码
from ex03_lib import calcShannonEnt,splitDataSet

def chooseBestFeatureToSplit(dataSet):
    numFeatures = len(dataSet[0]) - 1          #最后一个元素是当前实例的类别标签。
    baseEntropy = calcShannonEnt(dataSet)    #计算原始信息熵。
    bestInfoGain = 0.0; bestFeature = -1
    for i in range(numFeatures):            #遍历数据集中所有特征。
        featList = [example[i] for example in dataSet]#create a list of all the examples of this feature
        uniqueVals = set(featList)           #创建唯一的分类标签列表。
        newEntropy = 0.0
        ####请在此处输入代码####
        for value in uniqueVals:             #遍历当前特征中所有唯一的特征值。
            subDataSet = splitDataSet(dataSet, i, value)
            prob = len(subDataSet)/float(len(dataSet))
            newEntropy += prob * calcShannonEnt(subDataSet)  #计算每种划分方式的信息熵。   
        infoGain = baseEntropy - newEntropy        #计算信息增益。
        #######################
        if (infoGain > bestInfoGain):            #将结果与目前所得到的最优划分进行比较。
            bestInfoGain = infoGain                   #如果结果优于当前最优化分特征,则更新划分特征。
            bestFeature = i
    return bestFeature                                 #返回最优划分的索引值。
相关推荐
ZHOU_WUYI4 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1234 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界4 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK221514 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot2514 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台
FreedomLeo15 小时前
Python数据分析NumPy和pandas(四十、Python 中的建模库statsmodels 和 scikit-learn)
python·机器学习·数据分析·scikit-learn·statsmodels·numpy和pandas
浊酒南街5 小时前
Statsmodels之OLS回归
人工智能·数据挖掘·回归
风间琉璃""5 小时前
二进制与网络安全的关系
安全·机器学习·网络安全·逆向·二进制
畅联云平台6 小时前
美畅物联丨智能分析,安全管控:视频汇聚平台助力智慧工地建设
人工智能·物联网
加密新世界6 小时前
优化 Solana 程序
人工智能·算法·计算机视觉