
现在关于 AI 的内容,大多在讲两件事:
怎么把它做出来,或者怎么把它用起来。
但如果一个 AI 系统真的出了问题呢?
招聘系统长期筛掉某类候选人,贷款模型对部分人群明显不公平,医疗模型给出危险建议,企业又说不清到底是数据、模型、部署还是人员操作出了问题------这时候,已经不是"再调一下提示词"能解决的了。
《AI Forensics: Investigation and Analysis of Artificial Intelligence Systems》讨论的,就是这个很少被单独讲清楚的问题:
当 AI 失败、造成损害,或者进入诉讼和监管程序后,应该怎样调查它?
这本书由 CRC Press 于 2026 年出版,共 400 多页。它不是一本教你训练模型的教材,也不是教你识别 AI 生成内容的小册子,而是一套面向真实调查的 AI 取证框架。
AI 取证,不只是"把日志导出来"
传统软件出错时,调查思路通常比较直接:
找到日志,复现操作,检查代码,再定位是哪一步出了问题。
AI 系统麻烦得多。
它的行为可能来自训练数据中的偏差,也可能来自模型权重、微调数据、系统提示词、RAG 知识库、安全过滤器、部署配置,甚至上线后的版本更新。
同一句输入,在不同模型版本、不同上下文和不同采样参数下,还可能得到不同结果。
所以调查 AI,不能只盯着最后那句错误回答。
书里把证据范围拉得很大:
- 训练数据从哪里来,有没有污染、偏见或未经授权的内容;
- 模型架构和参数是否被修改;
- 微调、RLHF 和安全规则怎样改变了系统行为;
- API、RAG、缓存和部署环境是否引入了新问题;
- 输出是否持续对某些群体不利;
- 开发文档、聊天记录和版本记录能否还原当时的决策过程。
这也是这本书最值得看的地方。
它没有把"AI"当成一个神秘黑盒,而是把它拆回一个由数据、模型、系统和人共同组成的工程现场。
出了问题,先别急着怪模型
书中反复强调一个很朴素的判断:
先确定你调查的到底是什么系统。
决策树、深度神经网络、大语言模型、RAG、专家系统和混合系统,留下的证据完全不同。
传统机器学习模型还可以检查特征权重和决策路径;到了深度学习,只看参数往往很难解释问题,需要做行为测试和统计分析;如果是通过 API 使用的大语言模型,调查者甚至拿不到模型本体,只能依靠提示词、响应记录、版本信息和大量对照实验。
RAG 又多了一层麻烦。
回答不对,可能不是模型不会,而是知识库里没有;也可能资料存在,但检索阶段没找出来;还可能文档找对了,生成阶段又把意思改坏了。
所以,"AI 给错答案"只是表面现象。
真正要查的是整条链路:
text
输入
→ 数据处理与检索
→ 模型推理
→ 安全与业务规则
→ 最终输出
这套思路对普通开发者也有价值。很多所谓"模型效果差",最后查出来其实是数据版本、检索排序、提示模板或部署配置出了问题。
这本书给出了一套六阶段调查流程
作者把 AI 调查整理成六个阶段:
- 确定范围与计划
- 收集和保存证据
- 分析数据、模型与系统行为
- 解释结果并建立因果关系
- 独立验证和复核
- 面向技术、管理和法律人员出具报告
看起来并不新奇,但它解决了 AI 调查中最容易被忽略的问题:不能一上来就跑模型、测偏见、找异常。
先要回答:
- 事故发生时运行的是哪个版本;
- 哪些组件属于调查范围;
- 数据和模型有没有在事后继续变化;
- 当前拿到的文件是不是原始证据;
- 结论能不能被另一组人重复验证。
书中把传统数字取证里的证据完整性、哈希校验、保管链和调查记录,延伸到了模型文件、训练数据、推理日志和云端环境。
AI 可以概率化,但取证过程不能"差不多"。
最实用的部分,不在概念,而在后半本
前两章主要建立 AI 取证的定义、系统分类和风险地图。
真正进入工作状态的是后面几章:
- 第 4 章讲云平台、容器和分布式环境中的证据收集;
- 第 5 章查训练数据里的偏见、投毒、质量问题和知识产权风险;
- 第 6 章检查模型架构、参数完整性、后门和黑盒行为;
- 第 7 章通过大量输出判断偏差、漂移和安全问题;
- 第 8 章从邮件、会议记录、代码提交和版本历史中还原组织决策;
- 第 9 章把这些技术发现整理成管理层、律师和监管人员能读懂的报告。
附录还提供了一个 LLM 简历筛选系统的完整调查样例,以及范围界定、访谈、证据清单、分析和报告模板。
这让它不只是一本概念书,更像一本刚刚开始成形的行业工作手册。
它也没有假装 AI 取证已经很成熟
这本书的优点是覆盖广,问题也恰好来自这里。
AI 系统差异太大,不可能靠一套固定命令解决所有案件。作者自己也明确说,这不是逐步照抄的操作教程,也不是法律指南。它提供的是方法、检查位置和证据思路,具体案件仍然需要机器学习、统计、信息安全、法律以及业务领域人员共同完成。
所以它最适合三类人:
做安全与数字取证的人,可以补上 AI 系统的证据类型;
做 AI 工程的人,可以反过来检查自己的系统是否留下了足够的日志、版本和数据来源记录;
做风控、合规和管理的人,可以提前知道,一旦 AI 出事,公司究竟能不能解释清楚。
不太适合完全不了解 AI、只想快速学会某个工具的读者。它更像一本放在桌边、遇到具体问题再翻的参考书。
真正的问题不是 AI 会不会犯错
AI 当然会犯错。
更麻烦的是,很多组织在系统上线时,只准备了效果指标,没有准备调查条件。
没有完整的数据来源,没有模型版本记录,没有保存提示词和响应,没有标记知识库更新,也没人能说明某个安全规则是什么时候加进去的。
平时看不出问题。
直到系统造成损失,大家才发现:
我们知道它出错了,却无法证明它为什么出错。
《AI Forensics》真正提醒的不是"以后会出现一个叫 AI 取证的新职业",而是更现实的一件事:
一个无法留下证据、无法还原变化、无法解释责任边界的 AI 系统,从上线那天起就埋下了调查失败的风险。
现在大家都在讨论怎样让 AI 更强。
这本书问的是另一面:
当它做错以后,我们有没有能力把事情重新讲清楚?