山东大学软件学院深度学习期末回忆版

(大数据,2021级,老师是gys和cm,贝多芬,但是略微会有10% 的考试内容不在背诵范围内,看个人理解)

一、名词解释(8 * 3 = 24)

1、超参数

2、梯度确认

3、分布式表示

4、共现矩阵

5、Attention机制

6、Truncated BPTT

7、epoch

8、困惑度

二、简答题(6 * 8 = 48)

1、简述神经网络学习的过程。

2、为什么不能使用线性函数作为激活函数?

3、简述BatchNormalization的三个优点。

4、为什么Dropout能够抑制过拟合?

5、简述卷积神经网络的三个特点。

6、简述word2vec存在的问题以及其优化策略。

三、计算题(28)

1、(1)计算下面的全连接层的参数:输入图像是256*256的RGB图像,只有一个隐藏层,没有偏置,隐藏层的大小是10,输出层的大小是1000。

(2)简述随机梯度下降法低效的本质,并给出其他的三种不同的参数更新方法。

2、(1)请给出LSTM的内部计算结构图。

(2)简述三种门控单元的作用。

(3)简述对RNNLM的至少三种改进措施。

相关推荐
莫叫石榴姐13 分钟前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
967715 分钟前
对抗样本存在的原因
深度学习
如若12335 分钟前
利用 `OpenCV` 和 `Matplotlib` 库进行图像读取、颜色空间转换、掩膜创建、颜色替换
人工智能·opencv·matplotlib
YRr YRr1 小时前
深度学习:神经网络中的损失函数的使用
人工智能·深度学习·神经网络
ChaseDreamRunner1 小时前
迁移学习理论与应用
人工智能·机器学习·迁移学习
Guofu_Liao1 小时前
大语言模型---梯度的简单介绍;梯度的定义;梯度计算的方法
人工智能·语言模型·矩阵·llama
我爱学Python!1 小时前
大语言模型与图结构的融合: 推荐系统中的新兴范式
人工智能·语言模型·自然语言处理·langchain·llm·大语言模型·推荐系统
果冻人工智能1 小时前
OpenAI 是怎么“压力测试”大型语言模型的?
人工智能·语言模型·压力测试
日出等日落1 小时前
Windows电脑本地部署llamafile并接入Qwen大语言模型远程AI对话实战
人工智能·语言模型·自然语言处理
静静的喝酒1 小时前
深度学习笔记之BERT(二)BERT精简变体:ALBERT
深度学习·bert·albert