机器学习笔记03

1.线性回归(linear regression)

是利用回归方程(函数)对一个或者多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方法。

线性模型:

1.线性关系:y = w1x1 + w2x2 ... + wnxn + b (b为偏置)

2.非线性关系

线性关系一定是线性模型,线性模型不一定是线性关系

损失函数/cost/成本函数/目标函数

最小二乘法

优化损失

正规方程

直接求解

梯度下降

试错,改进

波士顿房价预测(在sklearn1.2中已删除,http://lib.stat.cmu.edu/datasets/boston)

1.获取数据集

2.划分数据集

3.特征工程--标准化

4.预估器流程

fit() coef_(权重系数) intercept_(偏置)

5.模型评估

2.欠拟合和过拟合

欠拟合:学习到的数据特征过少

解决方法:增加数据的特征数量

过拟合:原始特征过多,存在一些嘈杂特征,模型过于复杂为了兼顾各个测试数据点

解决方法:正则化

L1

损失函数 + λ惩罚项 (只是绝对值)

LASSO

L2 更常用

损失函数 + λ惩罚项 (数值的平方)

Ridge - 岭回归

3.逻辑回归的改进-岭回归

带有L2正则化的线性回归-岭回归

逻辑回归的应用场景:

广告点击率 是否会被点击/是否为垃圾邮件

是否患病/是否为金融诈骗/ 是否为虚假账号

原理:线性回归的输出就是逻辑回归的输入

激活函数

sigmoid函数 [0,1]区间中的一个概率值,默认为0.5的阈值

1/(1 + e^(-x))

假设函数/线性模型

1/(1 + e^(-(w1x1 + w2x2 ... + wnxn + b)))

损失函数

(y_predict - y_true)平方和/总数

逻辑回归的真实值/预测值 是否属于某个类别

优化损失

4.分类的评估方法

精确率与召回率

1.混淆矩阵

TP = True Possitive

FN = False Negative

2.精确率(Precision)与召回率(Recall)

精确率

召回率 查的全不全

3.F1-score 模型的稳健性

总共有100人,如果99个样本是癌症,1个样本非癌症 --样本不均衡

ROC曲线与AUC指标
	TPR与FPR
	TPR = TP/(TP + FN) - 召回率
		所有真是类别为1的样本中,预测类别为1的比例
	FPR = FP / (FP + TN)
		所有真是类别为0的样本中,预测类别为1的比例
AUC(Area Under Curve):
	被定义为ROC曲线下与坐标轴围成的面积,显然这个面积的数值不会大于1。
又由于ROC曲线一般都处于y=x这条直线的上方,所以AUC的取值范围在0.5和1之间。AUC越接近1.0,
检测方法真实性越高;等于0.5时,则真实性最低,无应用价值
1.AUC只能用来评价二分类
2.AUC非常适合评价样本不均衡中的分类器性能	

5.模型保存与加载

joblib.dump(estimator, 'my_ridge.pkl')

estimator = joblib.load('my_ridge.pkl')

6.无监督学习(没有目标值) -- K-means算法

聚类:K-means(K均值聚类)

降维:PCA

K-means原理:一种基于划分的无监督聚类算法,其核心思想是将数据集划分为k个簇,使得每个数据点都属于最近的簇,

并且簇的中心是所有数据点的平均值。

开发流程:

降维之后的数据

1.预估器流程

2.看结果

3.模型评估

kmeans性能评估指标

轮廓系数

如果b_i >> a_i 趋近于1效果越好,趋近于-1效果不好

轮廓系数的值介于[-1,1]之间

越趋近于1代表内聚度和分离度都相对较优

kmeans总结:采用迭代式算法,直观易懂并且非常实用

缺点:容易收敛到局部最优解

相关推荐
昨日之日200628 分钟前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_30 分钟前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover31 分钟前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川1 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
API快乐传递者2 小时前
淘宝反爬虫机制的主要手段有哪些?
爬虫·python
阡之尘埃3 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
aloha_7894 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot
dsywws5 小时前
Linux学习笔记之vim入门
linux·笔记·学习
孙同学要努力5 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20215 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉