算法面试题2024-05-11

用语言介绍一下 Transformer 的总体流程

深度学习的三种并行方式:数据并行,模型并行,流水线并行

Deepspeed分布式训练的理解,zero 0-3的理解

对于CLIP的理解

说几种对比学习的损失函数,以及它们的特点和优缺点

说说大模型生成采样的几种方式,它们的特点和优缺点比较

损失函数中温度的作用

BLIP 的细节。面试中提的问题是 BLIP 为什么将训练分成两个阶段

Visual Encoder 有哪些常见的类型?

深度学习中常用的优化器有哪些?

SimCSE 的理解

prenorm 和 postnorm

LLaMA 2 的创新、ChatGLM的创新点、Qwen的创新点、Baichuan的创新点

LLM 的评估方式有哪些?特点是什么?

文本生成模型中生成参数的作用(temperature,top p,top k,num beams)

LoR A的作用和原理

CoT 的作用

神经网络经典的激活函数以及它们的优缺点

softmax 函数求导的推导

BERT 的参数量如何计算?

AUC 和 ROC

batch norm 和 layer norm

大模型训练的超参数设置

经典的词向量模型有哪些?

InstructGPT 三个阶段的训练过程,用语言描述出来

大模型推理加速的方法

Transformer 中注意力的作用是什么

RNN、CNN 和 Transformer 的比较(复杂度,特点,适用范围等)

产生梯度消失问题的原因有哪些?

大模型的幻觉问题

大模型训练数据处理

RLHF 的计算细节

构建 CoT 样本的时候,怎么保证覆盖不同的场景?

回收的三个指标:Recall、NDCG、RMSE

RoPE 和 ALiBi

交叉熵、NCE 和 InfoNCE 的区别和联系

贝叶斯学派和概率学派的区别

一个文件的大小超过了主存容量,如何对这个文件进行排序?应该使用什么算法?

Python 中的线程、进程和协程

python 中的生成器和迭代器

相关推荐
C++ 老炮儿的技术栈4 小时前
UDP 与 TCP 的区别是什么?
开发语言·c++·windows·算法·visual studio
殇者知忧4 小时前
【论文笔记】若干矿井粉尘检测算法概述
深度学习·神经网络·算法·随机森林·机器学习·支持向量机·计算机视觉
mochensage6 小时前
C++信息学竞赛中常用函数的一般用法
java·c++·算法
chengooooooo6 小时前
leetcode Top100 238. 除自身以外数组的乘积|数组系列
算法·leetcode
GUIQU.6 小时前
【每日一题 | 2025年6.2 ~ 6.8】第16届蓝桥杯部分偏简单题
算法·蓝桥杯·每日一题
weixin_527550407 小时前
初级程序员入门指南
javascript·python·算法
嘉陵妹妹9 小时前
深度优先算法学习
学习·算法·深度优先
GalaxyPokemon9 小时前
LeetCode - 53. 最大子数组和
算法·leetcode·职场和发展
hn小菜鸡10 小时前
LeetCode 1356.根据数字二进制下1的数目排序
数据结构·算法·leetcode
zhuiQiuMX10 小时前
分享今天做的力扣SQL题
sql·算法·leetcode