用语言介绍一下 Transformer 的总体流程
深度学习的三种并行方式：数据并行，模型并行，流水线并行
Deepspeed分布式训练的理解，zero 0-3的理解
对于CLIP的理解
说几种对比学习的损失函数，以及它们的特点和优缺点
说说大模型生成采样的几种方式，它们的特点和优缺点比较
损失函数中温度的作用
BLIP 的细节。面试中提的问题是 BLIP 为什么将训练分成两个阶段
Visual Encoder 有哪些常见的类型？
深度学习中常用的优化器有哪些？
SimCSE 的理解
prenorm 和 postnorm
LLaMA 2 的创新、ChatGLM的创新点、Qwen的创新点、Baichuan的创新点
LLM 的评估方式有哪些？特点是什么？
文本生成模型中生成参数的作用（temperature，top p，top k，num beams）
LoR A的作用和原理
CoT 的作用
神经网络经典的激活函数以及它们的优缺点
softmax 函数求导的推导
BERT 的参数量如何计算？
AUC 和 ROC
batch norm 和 layer norm
大模型训练的超参数设置
经典的词向量模型有哪些？
InstructGPT 三个阶段的训练过程，用语言描述出来
大模型推理加速的方法
Transformer 中注意力的作用是什么
RNN、CNN 和 Transformer 的比较（复杂度，特点，适用范围等）
产生梯度消失问题的原因有哪些？
大模型的幻觉问题
大模型训练数据处理
RLHF 的计算细节
构建 CoT 样本的时候，怎么保证覆盖不同的场景？
回收的三个指标：Recall、NDCG、RMSE
RoPE 和 ALiBi
交叉熵、NCE 和 InfoNCE 的区别和联系
贝叶斯学派和概率学派的区别
一个文件的大小超过了主存容量，如何对这个文件进行排序？应该使用什么算法？
Python 中的线程、进程和协程
python 中的生成器和迭代器