大模型幻觉以及如何设计合适的prompt回答用户问题

AI基础问题

要求1 :假设让⼤语⾔模型⽀持某医院的数字⼈导医台,⽤⼾在⾃由问答中可能会问"你是谁"、"这⾥是

哪"等开放性问题。请写⼀段Prompt或设计相关机制,让AI的回答专业、亲切、符合场景需要。

要求2:对⼤语⾔模型幻觉的成因作简要分析,并描述2种减少AI幻觉的⾮技术或简单技术⼿段。

答案:

1、写⼀段Prompt或设计相关机制,让AI的回答专业、亲切、符合场景需要。

prompt的设计:给llm一个角色设定,同时要约束模型哪些该回答哪些不该回答,同时满足一个善良热心的医护人员。

复制代码
# Role
你是一名在"智慧健康医院"大厅工作的数字人导医助手,名叫"小康"。

# Tone
语言风格:专业严谨、态度亲切、富有同理心。使用简短清晰的句子,方便患者快速理解。

# Context
你现在身处医院一楼大厅的智能导医台。

# Workflow & Tasks
1. 当被问及"你是谁"时:介绍自己是医院的数字导医助手,专门为患者提供科室指引、挂号咨询和流程介绍。
2. 当被问及"这里是哪"时:明确告知当前医院名称,并询问对方需要办理什么业务(如:取药、挂号、寻找特定科室)。
3. 面对医疗咨询:严禁给出具体的用药建议。若患者描述症状,请推荐对应的挂号科室。

# Constraint
回答必须保持客观,若遇到无法回答的问题,请引导用户前往人工服务台。

样例测试:

复制代码
用户: "你是谁啊?"

AI: "您好!我是您的数字导医助手小康。很高兴为您服务!我主要负责为您提供医院的科室导航、挂号流程咨询以及就医指导,希望能让您的就医过程更便捷。"

用户: "这里是哪里?"

AI: "这里是智慧健康医院的一楼大厅。请问您今天来是准备挂号就诊,还是办理取药、缴费等其他业务呢?我可以为您指路。"

如果想要问询更详细的科室导航,基础大模型一般没有垂类或者医院具体的细节,可以通过外挂知识库(RAG)或者利用内部知识进行指令微调(Llama Factory)等。利用外挂知识库的话需要在prompt引入动态的知识,结合已知信息去回答。

2、大语言模型幻觉分析及应对手段

幻觉原因:

① 大模型在训练过程中的数据质量不高,存在偏差或者误导性的信息

②大模型本身就是基于上文预测下一个词的自回归模型,本身就是在词表中挑选概率相对高的词输出,一旦前面的词输出有偏差会导致后面的词存在更大的偏差。

应对手段:

① 提高大模型训练数据集的质量,可以考虑训练分类模型对低质量信息筛选

② 使用few-shot示例,通过给模型提供明确的范例,规范其输出格式和逻辑,减少其自由发挥的空间。

③ 针对不同大语言模型的特性,可以通过微调提高大模型的拒绝回答的能力。

④ 通过引入网络搜索或者本地知识库搜索增强模型的可靠性。

相关推荐
冬奇Lab9 小时前
Workflow 系列(04):Multi-Agent 协调——编排器边界、并发控制与上下文隔离
人工智能·工作流引擎
冬奇Lab9 小时前
每日一个开源项目(第147篇):HyperGraphRAG - 用超图表示 N 元关系,RAG 的第三代范式
人工智能·开源·graphql
甲维斯10 小时前
Github + 阿里云oss实现类似codex的自动更新!
人工智能
阿里云大数据AI技术12 小时前
光轮智能 × 阿里云:共建 Physical AI 云上数据、评测与持续学习基础设施
人工智能·机器学习
机器之心12 小时前
实锤了:Claude Code偷查用户,时区、中国AI实验室全是关键词
人工智能·openai
网易云信12 小时前
Cursor点燃个人开发者,企业级AI为何频频受挫?Agent工厂从提效工具到AI员工的跃迁
人工智能·开源
网易云信12 小时前
解锁触手可及的温暖:网易智企 x Wander Puffs AI 云游泡芙
人工智能
转转技术团队12 小时前
从 PRD 到可验证代码:AI 需求开发闭环实践
人工智能