神经网络|(三)线性回归基础知识

【1】引言

前序学习进程中,已经对简单神经元的工作模式有所了解,这种二元分类的工作机制,进一步使用sigmoid()函数进行了平滑表达。相关学习链接为:

神经网络|(一)加权平均法,感知机和神经元-CSDN博客

神经网络|(二)sigmoid神经元函数-CSDN博客

实际上,上述表达模型的一个基本原则是:元素和对应的权重,线性相乘后再和阈值开关作对比,元素的综合影响在本质上是一个线性函数,类似于y=wx+b,这里把w理解为权重组成的矩阵,x理解为影响元素组成的矩阵,b就是阈值开关。

然而实际应用中,大多数时候我们获得的数据是y和x,权重w 和阈值开关-b躲在数据堆里。机器学习的目标之一就是通过大量的数据把k和b反推出来。

在数学上我们知道,如果是线性函数,知道自变量和因变量,反推斜率和解决过程叫做线性回归,线性回归常用的方法是最小二乘法。

【2】最小二乘法基础知识

最小二乘法的英文翻译是Least Squares Method,也就是最小平方法。

实际解释起来,需要用线性代数中的矩阵来辅助。

定义影响元素组成的矩阵x=xij(i=1,2...m,j=1,2...n),对应的元素权重组成的矩阵w=wij(i=1,2...n,j=1,2...m),写出来全是类似下方的模样:

++图1 自变量 x++

进行最小二乘法计算时,采用的计算公式为:

非常明确,yi是实际的已知量,xijwij+bi是将自变量xij和对应权重wij相乘再叠加阈值开关-bi后的"计算结果",这个计算结果越接近已知量yi,表明权重wij和阈值开关-bi给的越准。

所以在本质上,最小二乘法是查看函数拟合效果的基石。

【3】总结

了解了线性回归使用最小二乘法的基础知识。

相关推荐
zhangfeng11331 小时前
数据分析 医学分析中线性回归、Cox回归、Logistic回归的定义和区别,原理和公式,适用场景
数据分析·回归·线性回归
AI街潜水的八角1 小时前
基于Pytorch深度学习神经网络MNIST手写数字识别系统源码(带界面和手写画板)
pytorch·深度学习·神经网络
黑符石2 小时前
【论文研读】Madgwick 姿态滤波算法报告总结
人工智能·算法·机器学习·imu·惯性动捕·madgwick·姿态滤波
JQLvopkk2 小时前
智能AI“学习功能”在程序开发部分的逻辑
人工智能·机器学习·计算机视觉
jiayong232 小时前
model.onnx 深度分析报告(第2篇)
人工智能·机器学习·向量数据库·向量模型
张祥6422889043 小时前
数理统计基础一
人工智能·机器学习·概率论
悟乙己3 小时前
使用TimeGPT进行时间序列预测案例解析
机器学习·大模型·llm·时间序列·预测
云和数据.ChenGuang3 小时前
人工智能实践之基于CNN的街区餐饮图片识别案例实践
人工智能·深度学习·神经网络·机器学习·cnn
人工智能培训4 小时前
什么是马尔可夫决策过程(MDP)?马尔可夫性的核心含义是什么?
人工智能·深度学习·机器学习·cnn·智能体·马尔可夫决策
木头左5 小时前
基于集成学习的多因子特征融合策略在指数期权方向性预测中的应用
人工智能·机器学习·集成学习