Garak：NVIDIA开源的LLM安全“体检”工具

Garak：NVIDIA开源的LLM安全"体检"工具

如果说Purple Llama是一套全方位的安全防护工具箱，那么Garak就是一把专门用于"攻击"的瑞士军刀 。你可以把它想象成LLM领域的 nmap 或 Metasploit------一个专为生成式AI设计的红队与评估工具包。

它的目标只有一个：系统地"拷问"你的大模型，看它会不会在压力下"露馅" 。

一、Garak是什么？

Garak的全称是 "Generative AI Red-teaming & Assessment Kit" （生成式AI红队与评估工具包）。它是一个开源的命令行工具，由NVIDIA支持并主导开发。

它的核心任务是系统性地探测大语言模型（LLM）和对话系统，以发现安全漏洞和失败模式。它就像一个不知疲倦的安全专家，会模拟各种攻击手段，来测试你的模型是否足够健壮。

Garak由Leon Derczynski教授于2023年春季开发，最初在GitHub上以GPL协议开源，后来转为Apache 2.0协议，并最终落户NVIDIA。在Fujitsu Research 2024年的一项独立评估中，Garak被誉为领先的LLM漏洞扫描器，并被微软、趋势科技、Cisco等公司的技术文章所引用和推荐。

二、为什么需要Garak？

LLM的安全与传统软件安全截然不同。攻击者不需要精通代码，他们只需要掌握语言的艺术------通过巧妙的提示词（Prompt），就可能诱导模型泄露数据、生成有害内容，甚至执行恶意指令。

传统的安全工具对此无能为力。Garak正是为此而生：它将学术界和工业界研究出的各种攻击手法（如提示注入、越狱等）工具化和自动化，让开发者能够大规模、可重复地对模型进行"压力测试"。

三、核心架构：探针、生成器与检测器

Garak的架构清晰而强大，主要由三个核心组件构成：

1. 探针 (Probes)

探针是Garak的"攻击引擎"。每一个探针都实现了一种特定的攻击技术。Garak内置了海量的探针库，覆盖了OWASP LLM Top 10等主流威胁框架，可以探测包括但不限于以下漏洞：

• 提示注入 (Prompt Injection)
• 越狱 (Jailbreaks)
• 幻觉 (Hallucination)
• 数据泄露 (Data Leakage)
• 有害内容生成 (Toxicity Generation)
• 错误信息 (Misinformation)
• 编码攻击 (Encoding-based Attacks)
• 软件包幻觉 (Package Hallucination)
• 越权工具调用 (Agent Tool Exploitation)
  

2. 生成器 (Generators)

生成器是Garak的"目标接口"。它抽象了所有被测试的目标模型。Garak支持绝大多数主流的LLM接入方式，包括：

• Hugging Face 上的所有生成式模型
• OpenAI 的GPT系列模型
• AWS Bedrock
• Replicate
• NVIDIA NIM
• 通过 LiteLLM 接入的任意模型
• 支持 llama.cpp 的GGUF模型
• 任何可通过 REST API 访问的文本生成服务

3. 检测器 (Detectors)

检测器是Garak的"裁判"。当一个探针（攻击）向生成器（目标模型）发起"进攻"后，检测器会负责分析模型的输出，判断这次"攻击"是否成功。

例如，一个旨在引发"幻觉"的探针，其对应的检测器会检查模型的回答是否与已知事实相悖。

这三者协同工作，构成了一个完整的"攻击-响应-评估"闭环。最终，Garak会生成一份详细的报告（包括JSONL和HTML格式），清晰展示模型在哪些攻击下"失守"了。

四、快速上手：安装与使用

Garak是一个Python命令行工具，安装和使用都非常简单。

1. 安装

最直接的方式是通过PyPI安装：

python -m pip install -U garak

你也可以直接从GitHub克隆最新版进行安装。

2. 基本使用

Garak的基本命令格式是 garak 后跟相关参数。最简单的用法是：

garak --model_type <目标类型> --model_name <目标名称>

例如，扫描OpenAI的GPT-5-nano模型，检测其对编码攻击的脆弱性：

export OPENAI_API_KEY="你的API密钥"
garak --target_type openai --target_name gpt-5-nano --probes encoding

--probes 参数可以指定要使用的探针，如果不指定，Garak会默认运行所有已知的探针。

五、实际应用场景

Garak的应用场景非常广泛，是构建安全、可信赖AI应用的关键一环：

• 模型选型与评估：在决定使用哪个基础模型前，用Garak对候选模型进行"体检"，选择安全性更高的那个。
• 上线前安全测试：在将LLM应用部署到生产环境前，将Garak集成到CI/CD流程中，作为一道自动化的安全门禁。
• 红队演练：安全团队可以使用Garak自动执行大部分常规的LLM红队测试工作，从而将精力集中在更复杂、更隐蔽的漏洞挖掘上。
• 合规与审计：Garak生成的详细报告可以作为模型安全性的客观证据，满足日益严格的AI监管要求。
• 学术研究：Garak为安全研究人员提供了一个标准化的评估框架，用于验证新的攻击方法或评估防御措施的有效性。

六、总结

Garak代表了LLM安全领域一个重要的理念转变：从被动防御到主动出击。它不再寄希望于模型"天生安全"，而是通过主动、系统、自动化的"攻击"，来发现和修复潜在漏洞。

对于任何希望将LLM安全、合规地投入生产的企业或开发者来说，Garak都是一个不可或缺的工具。它让你能清晰、量化地回答那个关键问题："我的模型，究竟有多安全？"