机器学习笔记

1.线性回归模型

  1. 损失函数

3.梯度下降算法

多元特征的线性回归

当有多个影响因素的时候,公式可以改写为:

当有多个影响因素的时候为了方便计算,可以使用 Numpy下面的点积方法, np.dot(w,x) 最后再加个b

就省略了很多书写步骤,这叫做矢量化

多元回归的梯度下降

左边是一元的,只需要更新一个w,

右边是多元的,需要对多个w进行梯度下降

特征缩放

假设特征1的范围为 5~2000

特征2的范围为0~5

有三种方法可以实现特征缩放

1.除以最大值法:

5~2000 除以2000 变成 0.0025~1

0~5 除以 5 变成 0~1

2.归一化

3.z-score

数据太大,或太小,需要进行特征缩放,来加快梯度下降的效率

逻辑回归

该模型常用于分类问题, 比如分辨 良性肿瘤和 恶性肿瘤

上图为 sigmoid函数

数学公式如下

公式推导如下

既然分类那么需要决策边界

当Z>0时 即 y>0.5 时 类型为 1 ;Z = wx + b 即 wx + b > 0

当Z<0时 即 y<0.5 时 类型为 0; wx + b < 0

相关推荐
RAG专家1 小时前
【Mixture-of-RAG】将文本和表格与大型语言模型相结合
人工智能·语言模型·rag·检索增强生成
骁的小小站1 小时前
Verilator 和 GTKwave联合仿真
开发语言·c++·经验分享·笔记·学习·fpga开发
kkkkk0211061 小时前
软考高级-系统架构设计师案例专题三:系统开发基础
笔记·系统架构
星期天要睡觉4 小时前
自然语言处理(NLP)——自然语言处理原理、发展历程、核心技术
人工智能·自然语言处理
低音钢琴4 小时前
【人工智能系列:机器学习学习和进阶01】机器学习初学者指南:理解核心算法与应用
人工智能·算法·机器学习
大千AI助手5 小时前
Hoeffding树:数据流挖掘中的高效分类算法详解
人工智能·机器学习·分类·数据挖掘·流数据··hoeffding树
新子y5 小时前
【小白笔记】区分类方法/实例方法和静态函数/命名空间函数
笔记·分类
新知图书5 小时前
大模型微调定义与分类
人工智能·大模型应用开发·大模型应用
山烛5 小时前
一文读懂YOLOv4:目标检测领域的技术融合与性能突破
人工智能·yolo·目标检测·计算机视觉·yolov4
大千AI助手5 小时前
独热编码:分类数据处理的基石技术
人工智能·机器学习·分类·数据挖掘·特征工程·one-hot·独热编码