2024.6.17考
整体来说比往年难了些，没有考计算图。LSTM看上去必考了，LSTM的图一定要会画。
名词解释（24分，一个3分）
分布式表示
超参数
共现矩阵
截断BPTT
attention机制
梯度确认
语言模型
困惑度
简答题（48分，一个8分）
1.简述训练数据、测试数据、验证数据的作用，为什么要划分训练数据测试数据
2.为什么激活函数不能使用非线性激活函数
3.为什么dropout能抑制过拟合
4.简述神经网络的学习过程
5.简述batch normalization的三个优点
6.word2vec计算哪里有瓶颈，给出方法减小计算量
综合分析（28）
一、
1.计算全连接层，给一张256*256的输入图像，只有一个隐藏层，隐藏层有10个神经元，输出层有1000个神经元，在不考虑偏置的情况下，参数数量是多少，给出计算过程（6分）
2.卷积神经网络的特点（3分）
3.随机梯度下降低效的根本原因，给出除随机梯度下降以外的3种参数更新方法（4）
二、
1.画出LSTM的内部图（5）
2.LSTM三个门的作用（5）
3.改进RNNLM的三个措施（5）