深度学习:day03-04

前言:学习内容来自Day03-08.激活函数介绍_哔哩哔哩_bilibili

一,激活函数:

给网络注入非线性因素。

Sigmoid/Tanh/Relu/Softmax

二,参数初始化:

最常见三种:

1.全0:nn.init.zeros()

2.kaiming:

1)kaiming正态:nn.kaiming.normal()

2)kaiming随机:nn.kaiming.uniform()

3.xavier:

1)xavier正态:nn.xavier.normal()

2)xavier随机:nn.xavier.uniform()

神经网络的构建:

1.定义类继承(nn.module)

2.使用魔法函数__init__(self)实现初始化

2.1初始化父类super().init()

2.2初始化神经元

3.前向传播

三,激活函数

1.多分类交叉熵损失函数

2.二分类任务损失函数

3.L1loss

问题:0点不可导

4.MSE函数

使用欧氏距离公式,目的是解决L1函数在0点不可导的问题。问题:梯度爆炸

  1. SmoothL1Loss函数

效果最好,使用分段函数。

四,梯度下降参数

1.epoch:轮数

2.batch:每轮训练多少数据

3.iteration:迭代次数

相关推荐
Csvn5 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库6 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静6 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康7 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea7 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen8 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷8 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘8 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习