线性代数|机器学习-P34神经网络和学习函数

文章目录

  • [1. 神经网络](#1. 神经网络)
  • [2. 损失函数](#2. 损失函数)
  • [3. 距离矩阵](#3. 距离矩阵)

1. 神经网络

构建一个神经网络步骤如下:

    1. 构建一个神经网络
    1. 构造一个学习函数 F ( x , v ) F(x,v) F(x,v),x代表权重 A k , b k A_k,b_k Ak,bk,v代表样本特征向量,ReLu激活函数
      v 1 = R e L u [ F ( A 1 , b 1 , v 0 ) ] → v 1 = R e L u [ A 1 v 0 + b 1 ] \begin{equation} v_1=\mathrm{ReLu}[F(A_1,b_1,v_0)]\to v_1=\mathrm{ReLu}[A_1v_0+b_1]\ \end{equation} v1=ReLu[F(A1,b1,v0)]→v1=ReLu[A1v0+b1]
    1. 不断循环迭代上诉公式,构建神经网络
      v k = R e L u [ A k v k − 1 + b k ] \begin{equation} v_{k}=\mathrm{ReLu}[A_{k}v_{k-1}+b_{k}]\ \end{equation} vk=ReLu[Akvk−1+bk]
  • 神经网络图如下:

2. 损失函数

神经网络损失函数如下:
L ( x ) = { 1 N ∑ i = 1 N [ F ( x , x i ) − t r u e i ] 2 } \begin{equation} L(x)=\{\frac{1}{N}\sum_{i=1}^N[F(x,x_i)-true_i]^2\} \end{equation} L(x)={N1i=1∑N[F(x,xi)−truei]2}

  • 常见的损失函数如下:
    -- 最小平方损失函数
    -- L1范数损失函数
    -- 交叉熵损失函数
    -- Hinge损失函数

3. 距离矩阵

假设我们有两个点 x i , x j x_i,x_j xi,xj,用D表示点之间的距离如下:
d i j = ∣ ∣ x i − x j ∣ ∣ 2 2 \begin{equation} d_{ij}=||x_i-x_j||_2^2 \end{equation} dij=∣∣xi−xj∣∣22

  • 距离向量化分解:
    d i j = ∣ ∣ x i − x j ∣ ∣ 2 = ( x i − x j ) T ( x i − x j ) = x i T x i − x i T x j − x j T x i + x j T x j \begin{equation} d_{ij}=||x_i-x_j||^2=(x_i-x_j)^T(x_i-x_j)=x_i^Tx_i-x_i^Tx_j-x_j^Tx_i+x_j^Tx_j \end{equation} dij=∣∣xi−xj∣∣2=(xi−xj)T(xi−xj)=xiTxi−xiTxj−xjTxi+xjTxj
相关推荐
Blossom.1184 分钟前
把 AI 推理塞进「 8 位 MCU 」——0.5 KB RAM 跑通关键词唤醒的魔幻之旅
人工智能·笔记·单片机·嵌入式硬件·深度学习·机器学习·搜索引擎
小贤编程手记19 分钟前
毛绒变装、吉卜力风...快手AI视频可灵为什么好用?
人工智能·数码产品
TGITCIC26 分钟前
从依赖到自研:一个客服系统NLP能力的跃迁之路
人工智能·智能客服·ai大模型·大模型落地·ai落地·大模型ai·rag增强检索
鲲鹏Talk28 分钟前
燃爆了!我在字节亲历一场 AI 编程盛宴,干货多到溢出来!
人工智能·程序员
Keying,,,,1 小时前
力扣hot100 | 矩阵 | 73. 矩阵置零、54. 螺旋矩阵、48. 旋转图像、240. 搜索二维矩阵 II
python·算法·leetcode·矩阵
MARS_AI_1 小时前
云蝠智能VoiceAgent:AI赋能售后服务场景的创新实践
人工智能·语言模型·自然语言处理·人机交互·信息与通信
全星0071 小时前
从合规到卓越:全星QMS如何成为制造企业的质量战略引擎
人工智能
桃源学社(接毕设)1 小时前
基于人工智能和物联网融合跌倒监控系统(LW+源码+讲解+部署)
人工智能·python·单片机·yolov8
CCF_NOI.2 小时前
解锁聚变密码:从微观世界到能源新未来
大数据·人工智能·计算机·聚变