目录
- [一面/技术面 2024/09/05](#一面/技术面 2024/09/05)
- [二面/技术面 2024/09/12](#二面/技术面 2024/09/12)
- [三面/技术面 2024/09/19](#三面/技术面 2024/09/19)
一面/技术面 2024/09/05
- 拷打实习（拷打了很长时间）
- 你做的这些实验里，模型规模是怎样的？有没有训练过更大的模型？
- 给定一个pytorch的checkpoint，怎么将它转换成tensorflow格式的？
- 多机多卡分布式训练是否了解？具体流程是怎样的？
- 了解过哪些并行训练技术？
- ZeRO-1、ZeRO-2和ZeRO-3的区别？
- 给定LLaMA的参数量，怎么估计它的具体配置？
- 讲一下LLaMA的具体结构
- 为什么要用RMSNorm？它是怎么算的？
- 预训练阶段有哪些加速的方法？
- 展开讲讲Flash Attention，v2相比v1有哪些改进？
- kv-cache的原理？
- 介绍下PEFT的主流方法和它们之间的一些区别
- 手撕代码：买卖股票的最佳时机 III
- 概率题：圆的半径为R，在圆内随便扔一点，它到圆心距离的期望是多少？
二面/技术面 2024/09/12
- 拷打论文（让我共享屏幕对着自己的论文讲，大概30min）
- 在构建词表的时候需要把整个语料先过一遍吗？有没有特殊的处理？
- 假设词表大小为十万，我们在预测下一个词的时候，需要把这个十万的词全都算一遍吗？
- hierarchical softmax会带来哪些问题？
- 负采样和二分类任务的区别？
- 讲一下NCE loss和BCE loss的相同点和不同点
- 训练过程中有哪些你了解的可以分享的点？
- 在预训练阶段针对性能方面有没有什么优化？
- KV-Cache的具体实现是怎样的？
- 概率题：和一面一样
- 你觉得你做的这些东西在美团的业务场景中会有什么应用？
- 你可以总结一下你做的项目，如果你来我们这边，你觉得会怎样和推荐广告做一个结合？
- Milvus、Faiss这些有了解过吗？
- Faiss中常用的距离度量有哪些？
- 如果我们用内积作为距离，因为它不满足三角不等式，会不会出现什么问题？
- 在推荐系统里，怎么样能把距离考虑进来？
- 场景题：已知用户的经纬度和广告的经纬度，怎样将其转换成向量，使得两个向量的内积等于距离？（描述的不太准确，当时这题答得不太好）
- 手撕代码：二分查找
三面/技术面 2024/09/19
这一面偏聊天，没有问太多的技术问题。
- 能不能简单介绍一下你个人的情况？
- 拷打实习+论文（持续30min）
- 你在论文中担任的角色是什么？和其他人的分工是怎样的？
- 解释一下大模型训练框架中的数据并行、模型并行和张量并行
- 你对广告算法领域都有哪些了解？
- 你最近在大模型领域关注的亮点工作有哪些？
- 纯聊天