技术栈

拒答

thesky123456
1 天前
大模型·红队·对齐·大模型安全·机器遗忘·越狱·拒答
27届大模型面试准备(二十八):大模型安全与对齐——越狱、红队、拒答与机器遗忘前面讲完后训练(A16 SFT/RLHF/DPO)和幻觉(A26),解决的分别是"让模型听话"和"让模型说真话"。但还有一个更尖锐的问题没正面回答:如果有人故意诱导模型干坏事,模型扛不扛得住?2023 年以来,越狱(jailbreak)、提示注入、数据投毒、模型提取层出不穷,安全与对齐(safety & alignment)已经从"可选加分项"变成大厂面试的必考题,甚至独立成岗。这是本系列第二十八篇。本文按"为什么要安全 → 攻击面全景(越狱/注入/投毒/提取)→ 越狱手法分类 → 防御手段(拒答/系统提
我是有底线的