技术栈

拒答

for_ever_love__
19 天前
人工智能·rag·处理·拒答·不知道·怎么回答·检索不到
RAG 里的拒答:什么时候应该说‘我不知道一个 RAG 系统上线后,最容易被用户投诉的不是答错,而是把没有的东西说得像真的一样。用户问了个知识库里没有的问题,系统洋洋洒洒给了一段看上去很专业但完全是编造的答案——这种"自信的幻觉"比直接说不知道危害大得多。
thesky123456
3 个月前
大模型·红队·对齐·大模型安全·机器遗忘·越狱·拒答
27届大模型面试准备(二十八):大模型安全与对齐——越狱、红队、拒答与机器遗忘前面讲完后训练(A16 SFT/RLHF/DPO)和幻觉(A26),解决的分别是"让模型听话"和"让模型说真话"。但还有一个更尖锐的问题没正面回答:如果有人故意诱导模型干坏事,模型扛不扛得住?2023 年以来,越狱(jailbreak)、提示注入、数据投毒、模型提取层出不穷,安全与对齐(safety & alignment)已经从"可选加分项"变成大厂面试的必考题,甚至独立成岗。这是本系列第二十八篇。本文按"为什么要安全 → 攻击面全景(越狱/注入/投毒/提取)→ 越狱手法分类 → 防御手段(拒答/系统提
我是有底线的