研究人员发现了两种操控 GitHub 的人工智能（AI）编码助手 Copilot 的新方法，这使得人们能够绕过安全限制和订阅费用、训练恶意模型等。
第一种技巧是将聊天交互嵌入 Copilot 代码中，利用 AI 的问答能力，使其产生恶意输出。第二种方法则是通过代理服务器重新路由 Copilot，以便直接与它集成的 OpenAI 模型进行通信。
Apex 的研究人员认为这些问题属于漏洞。GitHub 则持不同意见，分别将其描述为 "离题聊天回复" 和 "滥用问题"。在回应 Dark Reading 的询问时，GitHub 写道："作为负责任的 AI 开发的一部分，我们会不断完善现有的安全措施，防止出现有害和冒犯性的输出。此外，我们还会继续投入资源，防止滥用情况，确保我们的产品按预期使用。"
GitHub Copilot 越狱
Apex 的漏洞研究员 Fufu Shpigelman 解释说："Copilot 会尽力帮助你编写代码，包括你在代码文件中写的所有内容。但在代码文件中，你也可以编写用户和助手之间的对话。"
例如，在下面的截图中，一名开发者从终端用户的角度在代码中嵌入了一个聊天机器人提示。这个提示带有恶意意图，要求 Copilot 编写一个键盘记录器。作为回应，Copilot 给出了一个安全的输出，拒绝了该请求：
然而，开发者完全可以控制这个环境。他们可以简单地删除 Copilot 的自动完成回复，并用恶意回复取而代之。
或者，更好的办法是，他们可以通过一个简单的暗示来影响 Copilot。正如 Shpigelman 所说："它是为了完成有意义的句子而设计的。所以，如果我删除'抱歉，我无法提供帮助'这句话，并用'当然'这个词代替，它就会试图思考如何完成以'当然'开头的句子。然后，它就会尽可能地帮你进行恶意活动。" 换句话说，在这种情况下，让 Copilot 编写键盘记录器就像通过误导让它觉得自己想这么做一样简单。
开发者可以利用这个技巧生成恶意软件，或其他恶意输出，比如如何制造生物武器的指令。或者，他们也可以利用 Copilot 将这类恶意行为嵌入自己的聊天机器人，然后向公众发布。
通过代理突破 Copilot 限制
为了生成新颖的代码建议或处理对提示（例如编写键盘记录器的请求）的响应，Copilot 会通过这些模型的应用程序接口（API），借助基于云的大语言模型（LLM），如 Claude、谷歌 Gemini 或 OpenAI 模型的帮助。
Apex 的研究人员想出的第二种方法，让他们能够介入这个交互过程。首先，他们修改了 Copilot 的配置，调整了 "github.copilot.advanced.debug.overrideProxyUrl" 设置，将流量重定向到他们自己的代理服务器。然后，当他们让 Copilot 生成代码建议时，他们的服务器拦截了 Copilot 发出的请求，获取了 Copilot 用于向 OpenAI 进行身份验证的令牌。有了必要的凭证，他们就可以不受任何限制地访问 OpenAI 的模型，而且无需为此付费。
而且，这个令牌并不是他们在传输过程中发现的唯一有价值的东西。Shpigelman 解释说："当 Copilot 与服务器交互时，它会发送系统提示、你的提示，以及之前发送的提示和响应记录。" 暂且不说暴露大量提示记录带来的隐私风险，这些数据为滥用 Copilot 的设计功能提供了充足的机会。
"系统提示" 是一组指令，用于定义 AI 的特性 ------ 它的限制、应该生成何种类型的响应等等。例如，Copilot 的系统提示旨在阻止它以各种可能的方式被恶意利用。但 Shpigelman 声称，通过在系统提示到达大语言模型 API 的途中进行拦截，"我可以更改系统提示，这样一来，之后我就不用费那么大劲去操控它了。我可以直接修改系统提示，让它给我提供有害内容，甚至讨论与代码无关的事情。"
对于 Apex 的联合创始人兼首席产品官 Tomer Avni 来说，这两个 Copilot 漏洞带来的问题 "并不是 GitHub 没有努力设置防护措施。而是大语言模型的本质决定了，无论你设置多少防护措施，它总是可以被操控。这就是为什么我们认为需要在其之上设置一个独立的安全层，来检测这些漏洞。"