机器学习概述

机器学习概述

人工智能三个重要概念

人工智能(AI )+机器学习(ML )+深度学习(DL )

通俗来说:机器学习是实现人工智能的一种途径 ,深度学习是机器学习的一种方法

算法的学习方式

1.基于规则的学习:就是程序员制定并输入的预测规则

2.基于模型的学习:通过编写机器学习算法,让加器自己学习从数据中获得的规律(模型),然后进行预测

人工智能发展三要素

三要素:数据、算法、算力

1.数据:

决定了模型效果的上限。

常见术语:

样本:通俗来说一条数据就是一个样本;

特征/属性:通常是指一列数据即为一个特征;

标签/目标:模型需要预测的那一列数据;

数据集划分:训练集(训练模型)和测试集(测试模型),一般对应占比8:2或者7:3

【数据和特征决定了机器学习的上限】

2.算法:分类,回归,聚类...

3.算力:

CPU:主要适合I\O密集型的任务

GPU:主要适合计算密集型任务

TPU:专门针对大型网络训练而设计的一款处理器

机器学习算法分类

1.有监督 学习

有特征有标签(结果驱动),出现两大问题是:分类任务(标签是离散的,函数输出有限个离散值)和回归任务(标签是连续的,函数输出连续的值)

2.无监督 学习

有特征无标签(数据驱动),出现问题:聚类任务,降维任务,异常检测任务...聚类根据样本间的相似性对样本集体进行分类

3.半监督 学习

有特征有部分标签,作用是降低标注成本,提升效率。举个例子:专家标记少量数据并利用其训练出一个模型,然后由大批量工作人员套用该模型进行标记数据,即可在短时间内获取大量结果。

4.强化学习

所需构建的四个要素:agent、环境、行动、奖励,其中agent会根据环境状态进行不断交互行动获得累计的奖励。举个例子:训练小狗按指令做动作,训练机器人学会下棋等等。

机器学习建模流程(五大步)

1.获取数据 :根据任务获取所需的数据

2.数据基本处理 :处理缺失值、异常值等等

3.特征工程 :利用专业背景知识和技巧处理数据,让机器学习算法效果更好

子任务又分为五点:①特征提取:从原始数据中提取与任务相关的特征;②特征预处理:将不同的特征数据转换成同一尺度,同一分布内(即标准化,归一化);③特征降维:将原始数据的维度降低;④特征选择:从特征中选择一些重要特征;⑤特征组合:把多个特征组合成一个特征。

4.模型训练 :从特征数据中学习到规律,通常是决策函数或条件概率分布

5.模型评估 :主要是模型拟合,拟合效果分为:欠拟合、过拟合和合理拟合。
欠拟合 :模型在训练集上表现很差,在测试集上表现也很差。原因是模型过于简单,没有充分学习到规律。可以通过增加特征来解决欠拟合的问题;
过拟合 :模型在训练集上表现很好,在测试集上表现很差。原因是模型过于复杂,数据不纯,训练数量太少。可以通过正则化、异常检测、特征降维等方法来解决过拟合的问题。

泛化:模型在新数据集上的表现好坏的能力。

奥卡姆剃刀原则:给定两个相同泛化误差的模型,较简单的模型比较复杂的模型更可取。

相关推荐
hans汉斯3 分钟前
【计算机科学与应用】基于多光谱成像与边缘计算的物流安全风险预警模式及系统实现
大数据·数据库·人工智能·设计模式·机器人·边缘计算·论文笔记
aneasystone本尊3 分钟前
深入 Dify 的应用运行器之知识库检索(续)
人工智能
许泽宇的技术分享12 分钟前
Windows MCP.Net:解锁AI助手的Windows桌面自动化潜能
人工智能·windows·.net·mcp
从后端到QT18 分钟前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
AI新兵22 分钟前
AI大事记13:GPT 与 BERT 的范式之争(上)
人工智能·gpt·bert
文火冰糖的硅基工坊22 分钟前
[人工智能-大模型-43]:模型层技术 - 强化学学习:学习的目标、收敛条件、评估依据、应用到的模型、应用场景 - 通俗易懂。
人工智能·学习
Fibocom广和通30 分钟前
禾赛科技与广和通战略合作,联合推出机器人解决方案加速具身智能商业化落地
人工智能
飞哥数智坊30 分钟前
Claude Skills 自定义实战:提炼会议纪要并推送企业微信
人工智能·claude·chatglm (智谱)
golang学习记36 分钟前
性能飙升4倍,苹果刚发布的M5给人看呆了
人工智能·后端
golang学习记38 分钟前
快手推出AI编程IDE:自主编程时代已来!
人工智能