刘知远LLM——神经网络基础

文章目录

神经网络基础

基本构成

全称:人工神经网络。启发于生物神经细胞

单个神经元

单层神经网络

前向计算

激活函数的作用:没有激活函数的话,多层神经网络就会退化为单层

输出层

线性输出:回归问题

sigmoid:二分类

softmax:多分类

如何训练?

  • 训练目标:
    对回归问题:计算最小均方差

    对分类问题:计算交叉熵
  • 最小化损失函数:梯度下降法

    求导梯度从而进行梯度下降

    求微分的链式法则

    计算图

Word2Vec例子

  • word2Vec可以学到词与词之间的关系
    例如:king-Queen 与 man-woman 近似于平行,这两对词的差异也类似
  • 实现:两类模型

滑动窗口构造训练数据:目标词target ;其他词context

CBOW根据context预测target,skip-Gram相反

输出词表的概率分布,最大的概率应该对应target

skip-Gram:预测context

  • 问题:词表非常大,计算量大。
  • 解决方法:负采样、分层softmax

负采样:

只采样一小部分作为负例子,词频越高采样概率越大。3/4可以保证低频词也有一定的采样概率

只采样四个词,其他词不参与计算

循环神经网络 RNN

处理序列数据时会进行顺序记忆

  • 网络结构

    注意 h i h_i hi会有 h i − 1 h_{i-1} hi−1部分的输入


选取概率最大的词作为下一个词

应用场景:序列标注、序列预测、图片描述、文本分类

优点:处理变长数据、模型大小不会随输入增大而增大、参数共享、利用历史信息

缺点:顺序计算时间慢、后面的单元很难获得较早、时间的信息、太多链式的梯度计算--梯度爆炸/消失

变体:GRU/LTSM

核心:计算时保留周围的记忆单元进行数据处理,以捕捉到长距离的依赖性

门控计算单元 GRU

门控机制:对当前信息进行筛选 ,决定哪些信息会传到下一层。

更新门:当前信息 x i x_i xi和过去隐藏状态 h i − 1 h_{i-1} hi−1的比重问题

重置门:上一层的隐藏状态对当前状态的激活

重置门接近零时, h i h_i hi就和 h i − 1 h_{i-1} hi−1没什么关系了

更新门 z i z_i zi接近零时, h i h_i hi直接由当前输入得到

长短时记忆网络 LSTM

网络结构

关键改变:增加cell state 学习长期的依赖关系

通过门控添加cell的信息

遗忘门

来决定上一个状态有哪些信息可以从cell中移除

输入门

决定当前信息有哪些可以存到cell中

输出门

总结:做堆叠或者网络很深时,性能很好。缓解梯度的问题

双向RNN

不仅仅取决于过去,还会取决于未来的数据

总结RNN类算法:顺序记忆,但存在梯度问题

卷积神经网络 CNN

图像领域,考虑结构特殊性,也可以用于NLP,如情感分类和关系分类

网络结构:

输入层:

滑动卷积核

CNN擅长提取局部特征;RNN适用于变长文本

pytorch实战

相关推荐
学术小八42 分钟前
2025年人工智能、虚拟现实与交互设计国际学术会议
人工智能·交互·vr
仗剑_走天涯2 小时前
基于pytorch.nn模块实现线性模型
人工智能·pytorch·python·深度学习
cnbestec3 小时前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl3 小时前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji4 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头5 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域5 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊6 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻6 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务6 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观