算法面试题2024-05-11

用语言介绍一下 Transformer 的总体流程

深度学习的三种并行方式:数据并行,模型并行,流水线并行

Deepspeed分布式训练的理解,zero 0-3的理解

对于CLIP的理解

说几种对比学习的损失函数,以及它们的特点和优缺点

说说大模型生成采样的几种方式,它们的特点和优缺点比较

损失函数中温度的作用

BLIP 的细节。面试中提的问题是 BLIP 为什么将训练分成两个阶段

Visual Encoder 有哪些常见的类型?

深度学习中常用的优化器有哪些?

SimCSE 的理解

prenorm 和 postnorm

LLaMA 2 的创新、ChatGLM的创新点、Qwen的创新点、Baichuan的创新点

LLM 的评估方式有哪些?特点是什么?

文本生成模型中生成参数的作用(temperature,top p,top k,num beams)

LoR A的作用和原理

CoT 的作用

神经网络经典的激活函数以及它们的优缺点

softmax 函数求导的推导

BERT 的参数量如何计算?

AUC 和 ROC

batch norm 和 layer norm

大模型训练的超参数设置

经典的词向量模型有哪些?

InstructGPT 三个阶段的训练过程,用语言描述出来

大模型推理加速的方法

Transformer 中注意力的作用是什么

RNN、CNN 和 Transformer 的比较(复杂度,特点,适用范围等)

产生梯度消失问题的原因有哪些?

大模型的幻觉问题

大模型训练数据处理

RLHF 的计算细节

构建 CoT 样本的时候,怎么保证覆盖不同的场景?

回收的三个指标:Recall、NDCG、RMSE

RoPE 和 ALiBi

交叉熵、NCE 和 InfoNCE 的区别和联系

贝叶斯学派和概率学派的区别

一个文件的大小超过了主存容量,如何对这个文件进行排序?应该使用什么算法?

Python 中的线程、进程和协程

python 中的生成器和迭代器

相关推荐
一水鉴天17 分钟前
整体设计 逻辑系统程序 之34七层网络的中台架构设计及链路对应讨论(含 CFR 规则与理 / 事代理界定)
人工智能·算法·公共逻辑
DuHz20 分钟前
C程序中的数组与指针共生关系
linux·c语言·开发语言·嵌入式硬件·算法
而后笑面对21 分钟前
力扣2025.10.19每日一题
算法·leetcode·职场和发展
·白小白38 分钟前
力扣(LeetCode) ——11.盛水最多的容器(C++)
c++·算法·leetcode
沐浴露z2 小时前
【JVM】详解 垃圾回收
java·jvm·算法
代码欢乐豆3 小时前
编译原理机测客观题(7)优化和代码生成练习题
数据结构·算法·编译原理
Scc_hy3 小时前
强化学习_Paper_2000_Eligibility Traces for Off-Policy Policy Evaluation
人工智能·深度学习·算法·强化学习·rl
leke20034 小时前
2025年10月17日
算法
CoovallyAIHub4 小时前
Mamba-3震撼登场!Transformer最强挑战者再进化,已进入ICLR 2026盲审
深度学习·算法·计算机视觉
Aqua Cheng.4 小时前
代码随想录第七天|哈希表part02--454.四数相加II、383. 赎金信、15. 三数之和、18. 四数之和
java·数据结构·算法·散列表