【平安Agent算法岗面试-二面】

请你做个自我介绍。
我看你做的这三个项目都跟Agent和大模型微调有关，我们就每个项目大概聊一下。
你们做的Agent助手是多轮对话还是单轮对话？
训练细节暂不讨论，主要说明用户query进来后，你如何处理query、返回response，涉及哪些模块和流程。
若前两轮有提问，第三轮出现新问题，你们如何处理这个新问题？还是直接将query拿去做意图识别？
请说明新问题进来后，你与原本两轮对话的整合具体做法。
你们对多轮对话的信息是否做过压缩？上下文可能较长。
诊断类问题你做了RAG，先做RAG再做精排对吗？这个RAG用什么模型实现？
精排的re-rank部分用的什么模型？
召回类常用什么技术路线或方法？精排用什么类型的模型？两者技术路线有什么差异？
这类精排模型如何训练？或者它拿到query和多篇文档后如何推理？可讲解其架构。
这个项目最后上线了吗？
我们看第二个项目，NL2SQL 的 BI 报表生成系统，它主要解决哪个业务场景的问题？
这个系统是为某一个企业的ERP系统开发，使用该企业数据训练，还是整合多家企业数据一起训练？
请讲解这个项目的样本构建方式，先说明数据集的构建。
请说明某一条样本的标注形态，需要标注哪些方面。
你的输出是完整SQL，输入是用户查询条件对吗？但实际落地时，用户输入可能是自然语言描述而非结构化查询条件，如何实现上线应用？
你刚才说的推理逻辑，是用户问题进来后先做意图识别、提取核心要素对吗？这个意图识别是用生成式意图识别，还是监督训练后的意图识别模型？
监督训练后，输出的意图有哪几类？
意图识别完成后，下一步是否用你训练的模型直接产出SQL？
若企业新增一张报表，且未继续做SFT，模型不知道该报表存在，如何保证生成的SQL准确？
这个产品最后上线了吗？有卖给相关企业吗？
该产品的上线形态是什么？是chatbot吗？
这个API的输入是什么？仅输入用户问题，还是需要输入其他内容才能生成SQL？
接下来我们聊一下技术相关问题，SFT训练时你使用的是什么框架？
SFT的loss和预训练的loss有什么差别？
SFT的loss也是交叉熵损失，如何实现只取answer的loss，而非input加answer两部分来计算与predict的交叉熵损失？在哪个步骤实现？
这种实现是在tokenizer部分做，还是在模型训练predict之后、计算loss时做？
具体如何实现？你之前做过吗？还是直接用框架解决，未深入研究？
answer里面的EOS token需要参与loss计算吗？
模型训练完成后，若出现一直输出、不停下来的情况，可能的原因是什么？
若出现重复输出的情况，原因是什么？如何通过训练方式解决？如何通过推理方式解决？
你做过LoRA微调，请讲解一下LoRA的原理。
LoRA微调时会用到哪些超参数？
这些超参数一般有什么经验值？比如秩（r）和LoRA-Alpha。
模型训练时为什么要做学习率的预热？
模型训练时若出现loss等于NaN的情况，可能的原因是什么？
你从事大模型相关工作以来，一直做相关项目吗？
传统NLP中，如何做意图识别和实体抽取？
实体抽取除了用规则实现，还有其他模型可以解决NER问题吗？比如深度学习相关方式。
最后我们做一道题目，用代码求根号十一的小数点后十位，可说明思路和具体实现方式。能否用二分法实现，建议能写就写出来，面试官挺看重的。
你这边还有什么问题吗？