【Anomaly Detection论文阅读记录】Resnet网络与WideResNet网络

Resnet 网络

网络结构:(层数计算不包括max pool、average pool、softmax等操作)

层数计算(以Resnet-18为例子):

conv1+conv2_x+conv3_x+conv4_x+conv5_x+fc=1+(2×2)+(2×2)+(2×2)+(2×2)+1=18

WideResNet 网络

WideResNet提出了一种新的体系结构,减少了网络的深度,增加了网络的宽度,这种结构称为宽残差网络(WRN),宽度即网络输出通道数,并通过实验证明它们远远优于常用的薄而深的网络结构。与原始架构相比,residual block中的批量归一化、激活和卷积的顺序从conv-BN-ReLU更改为BN-ReLU-conv。 卷积核都用3*3;正则化使用dropout,而ResNet用的BN在这里不好用。

Wide-resnet只比Resnet多了一个加宽因子k,原来架构相当于K=1,N表示组中的块数。网络由一个初始卷积层conv1组成,然后是residual block的conv2、conv3和conv4的3组(每个大小为N),然后是平均池和最终分类层。在实验中,conv1的大小都是固定的,而引入的加宽因子k缩放了三组conv2-4中剩余块的宽度。

结构单元

  • a是最基本的ResNet结构,b 是用了bottleneck(瓶颈)的ResNet结构;
  • d是在最基本的ResNet结构上加入dropout层的WideResNet结构。
相关推荐
小饕15 小时前
AI编程的三阶段演化:哪些方向真正值得投入,哪些被高估了
人工智能·ai编程
蔡俊锋15 小时前
把1500个业务的大迁移,做成了可复用流水线用 Skill+Agent+Rule,省下 60 人年的实战复盘
人工智能·skill+agent
ZGi.ai15 小时前
AI中台和AI工具的区别:为什么说前者是基础设施而后者是应用
人工智能·chatgpt·ai工具·ai基础设施
飘落的数码折腾日记15 小时前
OpenClaw 是什么?让 AI 真正 “动手“ 帮你干活的秘密武器
人工智能
fthux15 小时前
用了 GitZip 这么多年,我动手做了一个「Pro」版
人工智能·开源·github
Zik----15 小时前
DAEFR (ICLR 2024)— 盲脸超分模型解读
人工智能·python·高光谱图像·光谱恢复
TheRouter15 小时前
Agent Harness系列(三):记忆层的3种持久化架构——从SQLite到向量库
人工智能·架构·sqlite·llm·ai-native
一切皆是因缘际会15 小时前
从概率生成到内生心智:2026大模型瓶颈与下一代AI演进方向
人工智能·安全·ai·架构
X54先生(人文科技)15 小时前
《元创力》纪实录·心田记釉下新声:当《纪·念》成为可聆听的星轨
人工智能·开源·ai写作·开源协议
CeshirenTester15 小时前
字节面试官追问:“你的Agent调了三个工具就死循环了,异常处理在哪写的?”我:啊?还要写这个?
人工智能