机器学习Day9:集成学习

概念

集成学习通过构建并结合多个学习器来完成学习任务

模型

集成学习的结果通过投票法(少数服从多数)产生,所以学习器要有多样性,精度高不一定是好事

1.Bagging模型并行 训练多个学习器

典型代表:随机森林

随机:数据采样随机,特征选择随机

森林:多个决策树并行放在一起

优点:能够学习高维数据,不用做特征选择;可以进行可视化 展示,便于分析;训练完成后,能给出哪些特征 更重要

理论上,树的数量越多训练效果越好,但当树的数量达到一个值时,增加树的数量作用不大

2.Boosting模型 :先训练出一个基学习器,在此基础上进行调整提升训练效果,以此类推,直至学习器的数量达到预设的值,最终将这些学习器进行加权结合

典型代表:AdaBoost 、xgBoost

AdaBoost会根据前一次的分类效果调整数据权重

3.Stacking堆叠模型 :第一阶段得出各自结果,第二阶段再用前一阶段的结果训练

适合竞赛使用

相关推荐
zandy10111 分钟前
LLM与数据工程的融合:衡石Data Agent的语义层与Agent框架设计
大数据·人工智能·算法·ai·智能体
大千AI助手7 分钟前
梯度消失问题:深度学习中的「记忆衰退」困境与解决方案
人工智能·深度学习·神经网络·梯度·梯度消失·链式法则·vanishing
研梦非凡16 分钟前
CVPR 2025|无类别词汇的视觉-语言模型少样本学习
人工智能·深度学习·学习·语言模型·自然语言处理
seegaler21 分钟前
WrenAI:开源革命,重塑商业智能未来
人工智能·microsoft·ai
max50060022 分钟前
本地部署开源数据生成器项目实战指南
开发语言·人工智能·python·深度学习·算法·开源
他们叫我技术总监22 分钟前
【保姆级选型指南】2025年国产开源AI算力平台怎么选?覆盖企业级_制造业_国际化场景
人工智能·开源·算力调度·ai平台·gpu国产化
IT_陈寒24 分钟前
🔥5个必学的JavaScript性能黑科技:让你的网页速度提升300%!
前端·人工智能·后端
czijin25 分钟前
【论文阅读】Security of Language Models for Code: A Systematic Literature Review
论文阅读·人工智能·安全·语言模型·软件工程
蛋先生DX32 分钟前
零压力了解 LoRA 微调原理
人工智能·llm
姚瑞南39 分钟前
【AI产品思路】AI 原型设计工具横评:产品经理视角下的 v0、Bolt 与 Lovable
人工智能·经验分享·笔记·aigc·产品经理