机器学习笔记

目录

决策树模型

[决策树 Decision Tree](#决策树 Decision Tree)

[随机森林 Random Forest](#随机森林 Random Forest)

[梯度提升决策树 Gradient Boosting Decision Trees](#梯度提升决策树 Gradient Boosting Decision Trees)

线性模型

回归

分类

[Softmax Regression](#Softmax Regression)


决策树模型

决策树 Decision Tree

用于分类和回归,通过一系列判断得到最终的结果。

优点:可解释;既能处理数值也能处理特征分类

缺点:不稳定,噪声的影响大(集成学习可以改进);过拟合;不易并行计算;

随机森林 Random Forest

森林:独立地训练几棵决策树,综合几棵决策树的结果来提高结果的稳定性。

随机:1.训练集使用随机采样的方法,如数据集D={1,2,3},训练集A={1,2,3},B={1,1,3};

2.随机选取部分特征,比如确定一个西瓜好不好吃需要10个特征,我只随机拿5个特征用来训练决策树,从这5个特征中找最优划分特征。

梯度提升决策树 Gradient Boosting Decision Trees

按照顺序来训练多棵决策树;首先训练一棵树,然后用这棵树的结果和实际结果之间的残差来训练下一棵树,相当于一直训练新的树来修正之前的树的结果,最后所有树的结果相加得到最终结果。

线性模型

回归

目标:学习使得均方误差最小。

分类

使用得到一系列类别的置信度,结果取置信度最大的类别。

目标:使均方误差最小。

问题:我们使结果能够足够明显的被识别出来就行了,不必过于关注别的类别,而这个方法让均方误差最小,相当于想训练一个模型使得正确结果的预测结果就是1,错误结果的预测结果就是0,没必要。

Softmax Regression

标签向量,其中表示真实的类别是第i类,否则为0。

设模型的输出是分数,用表示,softmax函数把这些分数转化为概率。

目标:最小化,是指模型预测出的正确的类别的概率。正确类别的概率越接近一越好。

小批量随机梯度下降

几乎可以求解除决策树之外所有的算法模型。

相关推荐
智联视频超融合平台1 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟2 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯3 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐3 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777711 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn11 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健12 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道12 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99612 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音