PyTorch - 神经网络基础

神经网络的主要原理包括一组基本元素,即人工神经元或感知器。它包括几个基本输入,例如 x1、x2... xn ,如果总和大于激活电位,则会产生二进制输出。

样本神经元的示意图如下所述。

产生的输出可以被认为是具有激活电位或偏差的加权和。

典型的神经网络架构如下所述。

输入和输出之间的层称为隐藏层,层之间连接的密度和类型是配置。例如,一个完全连接的配置将 L 层的所有神经元都连接到 L+1 层的神经元。对于更明显的定位,只能将一个局部邻域(比如 9 个神经元)连接到下一层。图 1-9 展示了两个具有密集连接的隐藏层。

各种类型的神经网络如下。

1.1 前馈神经网络

前馈神经网络包括神经网络族的基本单元。在这种类型的神经网络中,数据的移动是通过现有的隐藏层从输入层到输出层。一层的输出作为输入层,对网络架构中的任何类型的循环都有限制

1.2 递归神经网络

递归神经网络是指数据模式在一段时间内发生变化。在 RNN 中,相同的层被应用于在指定的神经网络中接受输入参数并显示输出参数。

可以使用 torch.nn 包构建神经网络。

这是一个简单的前馈网络。它接受输入,一个接一个地通过几个层,最后给出输出。

在 PyTorch 的帮助下,可以将以下步骤用于神经网络的典型训练过程:

  • 定义具有一些可学习参数(或权重)的神经网络。
  • 迭代输入数据集。
  • 通过网络处理输入。
  • 计算损失(输出与正确的距离有多远)。
  • 将梯度传播回网络的参数。
  • 更新网络的权重,通常使用如下所示的简单更新。

rule: weight = weight -learning_rate * gradient

相关推荐
GoldenSpider.AI29 分钟前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我30 分钟前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风39 分钟前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT42 分钟前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人1 小时前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络2 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan2 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷2 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监2 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
f6m274dww2cmd3 小时前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能