山东大学软件学院深度学习期末回忆版

(大数据,2021级,老师是gys和cm,贝多芬,但是略微会有10% 的考试内容不在背诵范围内,看个人理解)

一、名词解释(8 * 3 = 24)

1、超参数

2、梯度确认

3、分布式表示

4、共现矩阵

5、Attention机制

6、Truncated BPTT

7、epoch

8、困惑度

二、简答题(6 * 8 = 48)

1、简述神经网络学习的过程。

2、为什么不能使用线性函数作为激活函数?

3、简述BatchNormalization的三个优点。

4、为什么Dropout能够抑制过拟合?

5、简述卷积神经网络的三个特点。

6、简述word2vec存在的问题以及其优化策略。

三、计算题(28)

1、(1)计算下面的全连接层的参数:输入图像是256*256的RGB图像,只有一个隐藏层,没有偏置,隐藏层的大小是10,输出层的大小是1000。

(2)简述随机梯度下降法低效的本质,并给出其他的三种不同的参数更新方法。

2、(1)请给出LSTM的内部计算结构图。

(2)简述三种门控单元的作用。

(3)简述对RNNLM的至少三种改进措施。

相关推荐
Debroon5 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~12 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨13 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画17 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云19 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓28 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing28 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc30 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr
成都古河云31 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
UCloud_TShare33 分钟前
浅谈语言模型推理框架 vLLM 0.6.0性能优化
人工智能