大模型面试(三)

这次是某家公司的一个电话面试,问的过程还比较简单直接。

问:我们在大模型开源项目的应用上遇到了什么困难?

这个。。有两个困难,一个是RAG的优化,一开始RAG是比较慢的,而且召回率不高;

后来使用了HyQE的方法,针对一段文本,提出一个问题和它对应,以补充的问题来建立文档索引。当用户提问的时候,直接在数据库里寻找相似问题,这样检索效率高而且召回率高。

第二个是语音识别识别错误的问题;把识别语音和转写文字的特征一起输入到神经网络里,这样可以提高识别准确度。(或者多几个候选词)

然后问到了我以前在一家人工智能公司的工作经验,问到了其中的内容审核项目。

这个项目的创新点在哪里?过拟合的情况?

主要是从网上爬取文本数据,然后给公开的审核接口先过一遍,然后训练过程中遇到的难样本,重新标注再训练。

正负样本不均匀的问题:实际场景,正样本远少于负样本,用了针对样本不平衡的loss比如dice loss,weighted ce等,然后多种loss采用加权和的方式进行融合(问题:有没有其他融合的方式呢?辅助loss?)。

过拟合?主要是看在测试集上的loss表现吧。

还提到了分词的问题;但是这个是不可避免的,这种词要衡量一个边界条件,要不要使用关键词检索规则还是经过bert模型判断。

对将来发展的规划?大模型应该怎么应用?

反问环节:

大模型的应用主要是面向to C还是to b的?都有,客服这种是to C的

训练的数据和算力准备的怎么样?数据以文本数据为主,算力似乎不太够,只有t级别的显卡?比较寒酸了,有a10显卡吗

什么指标比较看重?避免大模型幻觉。

相关推荐
程序员飞哥26 分钟前
如何设计多级缓存架构并解决一致性问题?
java·后端·面试
PKNLP2 小时前
深度学习之神经网络1(Neural Network)
人工智能·深度学习·神经网络
AI新兵3 小时前
深度学习基础:从原理到实践——第一章感知机(中)
人工智能·深度学习
CH3_CH2_CHO3 小时前
DAY03:【DL 第一弹】神经网络
人工智能·pytorch·深度学习·神经网络
道可到4 小时前
百度面试真题 Java 面试通关笔记 04 |JMM 与 Happens-Before并发正确性的基石(面试可复述版)
java·后端·面试
apocalypsx4 小时前
深度学习-Kaggle实战1(房价预测)
人工智能·深度学习
春末的南方城市4 小时前
开放指令编辑创新突破!小米开源 Lego-Edit 登顶 SOTA:用强化学习为 MLLM 编辑开辟全新赛道!
人工智能·深度学习·机器学习·计算机视觉·aigc
bot5556664 小时前
“企业微信iPad协议”静默 72 小时:一台被遗忘的测试机如何成为私域的逃生梯
javascript·面试
火星MARK5 小时前
k8s面试题
容器·面试·kubernetes
crystal_pin5 小时前
axios统一封装的思路
面试