算法面试题2024-05-11

用语言介绍一下 Transformer 的总体流程

深度学习的三种并行方式:数据并行,模型并行,流水线并行

Deepspeed分布式训练的理解,zero 0-3的理解

对于CLIP的理解

说几种对比学习的损失函数,以及它们的特点和优缺点

说说大模型生成采样的几种方式,它们的特点和优缺点比较

损失函数中温度的作用

BLIP 的细节。面试中提的问题是 BLIP 为什么将训练分成两个阶段

Visual Encoder 有哪些常见的类型?

深度学习中常用的优化器有哪些?

SimCSE 的理解

prenorm 和 postnorm

LLaMA 2 的创新、ChatGLM的创新点、Qwen的创新点、Baichuan的创新点

LLM 的评估方式有哪些?特点是什么?

文本生成模型中生成参数的作用(temperature,top p,top k,num beams)

LoR A的作用和原理

CoT 的作用

神经网络经典的激活函数以及它们的优缺点

softmax 函数求导的推导

BERT 的参数量如何计算?

AUC 和 ROC

batch norm 和 layer norm

大模型训练的超参数设置

经典的词向量模型有哪些?

InstructGPT 三个阶段的训练过程,用语言描述出来

大模型推理加速的方法

Transformer 中注意力的作用是什么

RNN、CNN 和 Transformer 的比较(复杂度,特点,适用范围等)

产生梯度消失问题的原因有哪些?

大模型的幻觉问题

大模型训练数据处理

RLHF 的计算细节

构建 CoT 样本的时候,怎么保证覆盖不同的场景?

回收的三个指标:Recall、NDCG、RMSE

RoPE 和 ALiBi

交叉熵、NCE 和 InfoNCE 的区别和联系

贝叶斯学派和概率学派的区别

一个文件的大小超过了主存容量,如何对这个文件进行排序?应该使用什么算法?

Python 中的线程、进程和协程

python 中的生成器和迭代器

相关推荐
aichitang20246 分钟前
矩阵详解:从基础概念到实际应用
线性代数·算法·矩阵
OpenCSG1 小时前
电子行业AI赋能软件开发经典案例——某金融软件公司
人工智能·算法·金融·开源
dfsj660112 小时前
LLMs 系列科普文(14)
人工智能·深度学习·算法
薛定谔的算法2 小时前
《盗梦空间》与JavaScript中的递归
算法
kaiaaaa3 小时前
算法训练第十一天
数据结构·算法
?!7143 小时前
算法打卡第18天
c++·算法
springfe01013 小时前
构建大顶堆
前端·算法
凌辰揽月3 小时前
Web后端基础(基础知识)
java·开发语言·前端·数据库·学习·算法
lifallen3 小时前
深入浅出 Arrays.sort(DualPivotQuicksort):如何结合快排、归并、堆排序和插入排序
java·开发语言·数据结构·算法·排序算法
jingfeng5144 小时前
数据结构排序
数据结构·算法·排序算法