(大数据,2021级,老师是gys和cm,贝多芬,但是略微会有10% 的考试内容不在背诵范围内,看个人理解)
一、名词解释(8 * 3 = 24)
1、超参数
2、梯度确认
3、分布式表示
4、共现矩阵
5、Attention机制
6、Truncated BPTT
7、epoch
8、困惑度
二、简答题(6 * 8 = 48)
1、简述神经网络学习的过程。
2、为什么不能使用线性函数作为激活函数?
3、简述BatchNormalization的三个优点。
4、为什么Dropout能够抑制过拟合?
5、简述卷积神经网络的三个特点。
6、简述word2vec存在的问题以及其优化策略。
三、计算题(28)
1、(1)计算下面的全连接层的参数:输入图像是256*256的RGB图像,只有一个隐藏层,没有偏置,隐藏层的大小是10,输出层的大小是1000。
(2)简述随机梯度下降法低效的本质,并给出其他的三种不同的参数更新方法。
2、(1)请给出LSTM的内部计算结构图。
(2)简述三种门控单元的作用。
(3)简述对RNNLM的至少三种改进措施。