一.机器学习分类
1.1反馈分类
建模过程中,根据训练数据的标注情况(学习所依赖的反馈信号),可以把机器学习分为监督学习、 无监督学习、半监督学习、自监督学习、强化学习。
1.1.1监督学习
概念:监督学习,给模型一批带标准答案(标签)的数据,让模型学习特征和答案之间的对应关系,训练完成后预测新数据。
举一个栗子~
我们收集150朵鸢尾花:每一朵都测好4个特征(花萼长、花萼宽、花瓣长、花瓣宽),并且提前写好这朵花是什么品种(就是标签)。把这些数据丢给模型。模型反复学习:什么样的长宽组合对应哪一类花。训练结束后,拿来一朵新的鸢尾花,只测量它的长宽,模型就能判断它是哪个品种。
1.1.2无监督学习
概念:无监督学习只给模型无标签的原始数据,让算法自主挖掘数据内部的相似结构,不靠预设标准答案完成分组。
举一个栗子~
例子:用电商用户的浏览、下单、时段、退货等行为数据,通过聚类算法自动把行为相近的用户归为不同用户类型。
- 数码极客:高频浏览电子产品、客单价高、男性居多
- 家庭采购者:购买粮油、清洁用品、复购稳定
- 深夜冲动型:多在凌晨下单、浏览品类跳跃、退货率高
1.1.3半无监督学习
概念:半监督学习用少量带人工标签的数据,搭配大量无标签数据共同训练,兼顾标注成本和模型精度。
举一个栗子~
医学X光病灶识别里,只有资深放射科医生才能准确标注 X 光片,医生时间昂贵且稀缺。但医院每天会产生海量的原始 X 光片(无标注),所以请资深医生标注500张X光片当少量标签数据,再接入几千张未标注的日常X光片一起训练,模型先从少量标注里学会病灶特征,再靠海量无标签数据强化识别规律,最终精度远高于只用50张标片训练。
1.1.4自监督学习
概念:自监督学习不用人工标注标签,从无标签数据里自动构造监督任务,模型自己出题、自己预测、自己对照原生数据当答案完成训练。
举一个栗子~
拿大量无标注的英文文章,随机遮住句子里的一个单词,让模型根据上下文猜被遮的词,原文里的原词就是天然答案,模型靠反复猜词练出语言理解能力,后续能直接用在文本分类这类任务上。
举两个栗子~
自监督学习里图像超分辨率类的典型做法。拿一张清晰原图当最终标准答案,先给它做模糊、打马赛克、降分辨率处理,让模型从模糊图还原出清晰原图,全程不用人工额外标类别,靠原图自带的清晰信息当监督信号,模型练熟后就掌握了图像修复、清晰化的能力。
1.1.5强化学习
概念:智能体在环境里试错行动,靠环境给出的奖惩信号更新策略,追求长期累计奖励最大化。
举一个栗子~
以当时轰动一时的AlphaGo战胜人类围棋九段选手为例
- 第一阶段:监督学习(2015) 使用大量人类职业棋手的围棋棋谱做监督学习,模仿人类的落子习惯,学会基础棋理。只到这一步的模型棋力还不够,无法战胜李世石。
- 第二阶段:强化学习自我对弈(2016) 在监督学习的基础上开启自我对弈强化学习。 奖惩机制:整盘棋赢棋 = 大额正向奖励;输棋 = 负向惩罚;局部吃掉对方棋子、扩大地盘获得小额正向奖励;落子导致地盘丢失、被对方杀棋得到负奖励。 AI 不断左右互搏,持续优化落子策略。 2016 年 3 月,这个版本的 AlphaGo 在韩国对战韩国九段棋手李世石,最终 4:1 取胜。
- 第三阶段:AlphaGo Zero(2017) 不再使用任何人类棋谱,完全依靠强化学习从零开始自我对弈,沿用同样的奖惩规则(赢有奖、输受罚)。仅用 40 天训练,棋力就远超击败李世石的 AlphaGo,自测对战 100:0 完胜旧版 AlphaGo。
1.1.6总结
- 监督学习:信号来自人工标注
- 无监督学习:信号来自数据本身的内在结构
- 自监督学习:信号由数据自动构造
- 强化学习:信号来自环境给出的奖励(延迟、数值型)
1.2学习任务分类
1.2.1分类
概念:分类是监督学习任务,核心是用带预设离散标签的标注数据训练,学到特征规律后,给未知类别的新数据匹配对应类别。
举一个栗子~
假设你刚入职一家公司,领导交给你邮件分类的任务,要把收到的邮件分成正常邮件和垃圾邮件两类。他先给你5000封已经人工分好类的历史邮件,这就是训练数据,里面标成垃圾邮件的大多带中奖、促销关键词,发件人是陌生群发地址,还常带不明附件;标成正常邮件的多是同事、合作方发来,内容是业务沟通、工作通知。你先从这5000封已标邮件里摸透两类的特征规律,之后新邮件到了,就靠这套规律自动判断它该归到哪一类。
1.2.2回归
概念:它属于监督学习任务,和输出离散类别的分类不同,回归是从带连续数值标签的训练数据里学习特征规律,最终输出连续数值完成预测。
举一个栗子~
你刚入职基金公司做量化分析师,领导给你预测次日股票价格的任务,先丢给你过去500天的历史股票记录当训练数据,每条都带当天开盘价、收盘价、成交量、最高价、最低价这些带真实价格的标签数据。你把数据按时间当横轴、价格当纵轴画出来,能看到价格不是乱跳,藏着趋势规律,让模型自动拟合出特征和价格的数学关系,学完规律后喂入当日新行情数据做推理,就能输出明天的股票预测价格。
1.2.3聚类
概念:聚类属于无监督学习,没有预先人工标注的类别标签,机器只靠数据自身的特征相似度,把特征近的自动归成同一簇,特征远的分开。
举一个栗子~
以音乐APP后台千万首歌例子拆细:
**第一步,**先给每首歌提取节奏速度、乐器种类、人声性别、情绪是欢快还是舒缓这些具体特征,把每首歌转成多维坐标点;
**第二步,**机器计算这些点之间的特征距离,自动把距离近的歌抱团成不同簇,比如节奏慢、纯音乐、情绪悲伤的就聚成深夜emo簇;
**第三步,**把你过去一周的听歌记录放进这些坐标里,匹配到你最常听的深夜emo簇,再从这个簇里挑你没听过的歌塞进每日推荐,就得到了贴合你喜好的歌单。
1.2.4关联规则
概念:它是无监督学习的一种,不用提前给数据打标签,专门从海量交易、行为数据里自动挖掘不同商品或事件的隐性共现关联,找到谁和谁大概率会一起出现。
举一个栗子~
时间是上世纪90年代,地点美国,主体是沃尔玛连锁超市,当时他们的数据分析团队扫遍全门店的历史购物小票,意外发现一个反常识规律,周五傍晚的订单里,买婴儿尿布的年轻男性顾客,有超过3成会顺手拿一款平价罐装啤酒。深挖背后的生活场景,当时美国家庭大多是妻子在家照看婴儿,丈夫下班顺路去超市买尿布,完成任务后会拿罐啤酒给自己当周末放松的小奖励。沃尔玛没做额外促销,只是把尿布货架和啤酒货架挪到相邻位置,还在中间摆上周末家庭小场景的提示牌,结果短短一个月,尿布和啤酒的单店销量都涨了近4成,这就是关联规则从冰冷小票里挖出人性消费习惯、直接拉动营收的完整落地过程。
1.2.5序列预测
概念:它属于监督学习里的时序任务,核心依赖数据的顺序关联性,不是把数据当独立个体看,而是用按时间或逻辑排好的历史序列,推后面的结果。
举一个栗子~
输⼊序列(源语言): "我 爱 学习"
目标序列(目标语言): "I love learning"
现在主流大模型翻译不是一次性输出整句,而是拆成自回归的序列预测。比如输入"我爱学习",模型先基于中文语义序列预测第一个英文词I,再把I和原句拼在一起预测下一个love,接着用I love加原句预测learning,一步接一步按序列依赖拼出完整的I love learning,每一步都是基于前面已生成的序列做的单步预测,串起来就成了整句翻译。
1.3反馈分类和任务分类的区分
按"学习方式"分(看手里有没有答案)
| 类型 | 本质 | 通俗理解 |
|---|---|---|
| 监督学习 | 有标准答案 | 老师给你题和答案,你照着学 |
| 无监督学习 | 没有标准答案 | 没人告诉你对错,自己找规律 |
| 强化学习 | 靠奖励反馈 | 做完动作拿奖励,慢慢学会怎么做 |
按"任务类型"分(看最后要交什么作业)
| 任务 | 要交的作业 | 通俗理解 |
|---|---|---|
| 分类 | 分堆放 | 这是垃圾邮件还是正常邮件? |
| 回归 | 估数字 | 明天房价会是多少? |
| 聚类 | 自己分组 | 把相似的用户归成一堆 |
| 关联规则 | 找谁和谁爱一起出现 | 买了啤酒的人常买尿布 |
| 序列预测 | 顺着时间猜后面 | 下周销量会是多少? |
例子串起来
| 例子 | 有没有答案 | 学习方式 | 交什么作业 | 任务类型 |
|---|---|---|---|---|
| 垃圾邮件识别 | 有标好的答案 | 监督学习 | 分类 | 分类 |
| 啤酒尿布 | 没给答案 | 无监督学习 | 找关联 | 关联规则 |
两者是两个独立维度,可以交叉组合。比如"垃圾邮件识别" = 监督学习 + 分类任务。