【从感知机到神经网络】

感知机

什么是感知机

公式、框图表示
直观举例

根据身高体重判断胖瘦的感知机。

1、根据已知样本训练出一条直线,用于对非训练样本进行分类,这条直线就是感知机模型。

三维情况下感知机模型是一个平面

感知机的缺陷

缺陷原因

不能处理异或问题,换句话说,感知机只能处理线性二分问题。

对于以下二分问题:

前三种情况都能用一条直线分类,第四种异或运算不能直线可分,单个感知机无法解决。

克服缺陷

如何解决异或问题呢?可以使用多个感知机进行叠加。

从线性变换角度理解感知机

将一组向量(样本)经模型的参数矩阵变换后变为另一组向量。

从感知机到神经网络

神经网络的组成

感知机模型
神经网络模型

对于非线性问题,单个感知机无法实现,从上面对感知机介绍可知,多个感知机的叠加可以解决非线性问题,所以神经网络模型可以有多个感知机叠加组成,从而解决非线性问题:(下图由6个感知机组成)

说明:

(1)每一个节点都和下一层的节点全部相连,叫做全连接网络。

(2)数据的传播是单向的,会朝着神经网络一直向前传播,叫做前馈神经网络

直观理解损失函数

本质:两个模型之间的差别。

神经网络训练的模型(机器的认知)与人心中的模型(人的认知)之间是有差别的,训练的目的是让这个差别减小,而神经网络的模型与人心中的模型是无法用同一种度量方式进行比较的,可以想象为在两个模型在两个空间,而这两个空间之间也有一个接口,这个接口是什么呢?即是让两个空间中的两个模型对同一批目标进行功能实现,通过某种方法得到两种实现之间的差距,进而调整机器空间中的模型。以下是三种通过这个接口比较两个模型的两种实现之间差别的三种方法。

最小二乘法

顾名思义:最小二乘即"最小":min、"二乘":平方。即

优点:(1)简洁易懂(2)全程可导

缺点:(1)计算麻烦,在复杂的神经网络中一般不用

最大似然估计

例子

举一个简单的例子,抛一枚质地均匀的硬币,正反面朝上的概率都是1/2,所以我们可以认为在现实世界抛硬币大概率就会有一半正面,一半反面。

那么抛一枚质地不均匀的硬币,抛了10次,前7次正面,后3次反面(记为事件A),那么若要问抛掷这枚质地不均匀的硬币正面概率和反面概率分别为多少的可能性最大?

我们可能会毫不犹豫地回答,正面地概率是0.7,反面概率是0.3地可能性最大,即由这个结果可以估计正反面概率是7:3的可能性最大。

下面来定量计算不同正反面概率的情况下事件A发生的可能性:

先验概率0.1:0.9的概率为:

先验概率0.2:0.8的概率为:

先验概率0.3:0.7的概率为:

先验概率0.4:0.6的概率为:

先验概率0.5:0.5的概率为:

先验概率0.6:0.4的概率为:

先验概率0.7:0.3的概率为:

先验概率0.8:0.2的概率为:

先验概率0.9:0.1的概率为:

计算可得先验概率为0.7:0.3时事件A发生的概率最大。神经网络解决这个问题的时候正是为了寻找这个先验概率(W和b)。

交叉熵

"交叉熵"如何做损失函数?打包理解"信息量"、"比特"、"熵"、"KL散度"、"交叉熵"_哔哩哔哩_bilibili

相关推荐
CHENKONG_CK几秒前
RFID 技术赋能汽车制造:发动机气缸缸体生产线智能化升级案例
人工智能·生产制造·rfid
葡萄城技术团队1 小时前
实战视角:为何专用小型语言模型(SLM)正成为企业 AI 选型新宠—与 LLM 的全面对比指南
大数据·人工智能·语言模型
AndrewHZ1 小时前
【图像处理基石】老照片修复入门:用技术唤醒沉睡的回忆
图像处理·人工智能·opencv·计算机视觉·cv·图像修复
AI_Auto1 小时前
MES系列-制造流程数字化的实现
大数据·人工智能·自动化·制造·数字化
DolphinDB智臾科技1 小时前
DolphinDB × 浙江大学合作新课——量化金融:理论与应用
人工智能·金融·浙江大学·量化金融·dolphindb
老赵聊算法、大模型备案1 小时前
广西 “人工智能 + 制造” 政策科普:十大支持方向与补贴明细
人工智能·aigc·制造
格林威1 小时前
AOI在PCB制造领域的核心应用
人工智能·数码相机·计算机视觉·视觉检测·制造·pcb·aoi
阿里云大数据AI技术2 小时前
云栖实录|智能哨兵:AI驱动的云平台风险巡检
大数据·运维·人工智能
机器之心2 小时前
单张4090跑到30fps,范浩强团队让VLA实时跑起来了
人工智能·openai
国科安芯2 小时前
光电传感器领域国产MCU芯片抗辐照技术考量
网络·人工智能·单片机·嵌入式硬件·安全