一、引言


二、机器学习经典算法
1.KNN:K最近邻居(K-Nearest Neighbors,简称KNN)
监督学习算法,用于分类和回归问题。
基本思想:通过测量不同数据点之间的距离来进行预测
步骤:1.距离度量: KNN使用距离度量(通常是欧氏距离)来衡量数据点之间的相似性。 2.确定邻居数量K 3.投票机制

2.决策树
三种算法(ID3,C4.5,cart)
简单示例

决策树不擅长处理未见过的特征
3.朴素贝叶斯(执果索因)

三、深度学习
设计一个很深的网络架构让机器自己学(深度学习相当于函数f)
神经网络的输入形式:
(1).向量 eg:(身高,体重,财富)T
(2).矩阵/张量 eg:图片的RGB三通道矩阵
(3).序列:"你今天吃什么",视频(一帧帧图片构成的序列),一行行代码,chatgpt
输出:
(1).回归任务:填空题,如预测明天的温度
(2).分类任务:选择题:如预测这图片是狼是狗,预测一句话积极还是消极
(3).生成任务(结构化输出):简答题:chatgpt
分类和回归是结构化的基础。分类时, 是用数字来表示类别。有的时候需要多个模态的数据, 比如 图片, 文字, 声音。
步骤:
(1).定义函数 (模型)
模型:ŷ = w x + b (weight权重,bias偏置,此为Linear model(线性模型))
(2).定义合适的损失函数loss
L(w, b) = |ŷ - y| = | w x+b- y|
L=1/N∑l
作用:判断我们选择的这组参数怎么样
(3).根据损失, 对模型进行优化(Optimization)
使L最小时w与b是多少
使L最小时w与b是多少