Java Agent 工具调用的 allowlist、参数校验与调用预算

Agent 最危险的误解是"模型说要执行,所以系统就执行"。函数调用(Function Calling)只是一种让模型提出工具与参数建议的协议;真正调用数据库、发货接口或邮件服务的权限仍在你的 Java 程序手里。本文不绑定某一家 SDK,而是先实现所有 Agent 都该有的执行门:工具白名单、参数格式、次数预算和默认拒绝。它能在你接上 Gemini、其他模型或 MCP(Model Context Protocol,模型上下文协议)工具前先守住边界。

官方 Gemini API 文档将 Function Calling 描述为把 Agent 工作流连接到外部 API 的能力。关键架构是双回合:模型返回 function call 候选;宿主验证后执行;再把工具结果送回模型。模型永远不能越过宿主直接产生副作用。

flowchart LR M[模型建议 tool + args] --> P[Java 解析候选] P --> A{白名单/参数/预算} A -->|拒绝| L[记录拒绝原因并要求澄清] A -->|允许| T[受限工具实现] T --> O[工具结果] O --> M

运行前提

Java 17+ 即可,本例没有网络和密钥,因为安全门应能脱离模型独立测试。模型侧必须按官方 Function Calling 文档声明同名工具 schema;这里的 ToolCall 代表解析后的候选,而不是替代官方 API 请求。

bash 复制代码
javac AgentGate.java && java AgentGate

完整代码

代码只允许查询订单和创建草稿;拒绝取消订单等副作用工具。每轮最多两次工具调用,并把订单号限制为十位大写字母数字。execute 是可替换的受限适配器,真实实现中再接数据库或 HTTP 客户端,并分别设置连接与请求超时。

java 复制代码
import java.util.*;
import java.util.regex.Pattern;

public class AgentGate {
  record ToolCall(String name, Map<String, String> args) {}
  static final Set<String> ALLOWED = Set.of("get_order", "create_reply_draft");
  static final Pattern ORDER = Pattern.compile("[A-Z0-9]{10}");
  static final int MAX_CALLS = 2;

  static String authorize(ToolCall call, int used) {
    if (used >= MAX_CALLS) return "DENY: 调用预算已用尽";
    if (!ALLOWED.contains(call.name())) return "DENY: 工具不在白名单";
    if (call.name().equals("get_order")) {
      String id = call.args().get("order_id");
      if (id == null || !ORDER.matcher(id).matches()) return "DENY: 非法订单号";
    }
    if (call.name().equals("create_reply_draft")) {
      String text = call.args().get("text");
      if (text == null || text.isBlank() || text.length() > 500) return "DENY: 草稿长度不合法";
    }
    return "ALLOW";
  }
  static String execute(ToolCall call) {
    return switch (call.name()) {
      case "get_order" -> "ORDER_FOUND: delivery=processing";
      case "create_reply_draft" -> "DRAFT_CREATED: no external message sent";
      default -> throw new IllegalArgumentException("unreachable");
    };
  }
  public static void main(String[] args) {
    List<ToolCall> suggestions = List.of(
        new ToolCall("get_order", Map.of("order_id", "AB12CD34EF")),
        new ToolCall("cancel_order", Map.of("order_id", "AB12CD34EF")),
        new ToolCall("create_reply_draft", Map.of("text", "您的订单正在处理中。")));
    int used = 0;
    for (ToolCall call : suggestions) {
      String verdict = authorize(call, used);
      if (verdict.equals("ALLOW")) { System.out.println(execute(call)); used++; }
      else System.out.println(verdict + " -> " + call.name());
    }
  }
}

预期输出先返回订单状态,再拒绝 cancel_order,最后仅创建一份草稿。这个次序说明:模型可以提出危险工具,但宿主拒绝不在白名单的名称。此次已用 javac AgentGate.java 编译并实际运行,输出符合预期;没有调用任何模型、数据库或线上工具。

不要跳过的三层判断

第一层是工具种类 :默认拒绝、按业务最小授权;第二层是参数 :枚举、长度、正则、金额范围和权限主体逐项校验;第三层是资源预算 :限制轮数、调用次数、并发和总耗时。只做其中一层不够。例如允许 get_order 但不验证订单归属,仍可能泄露数据;限制两次调用但允许 delete_all 同样危险。

常见错误有三类:一,把模型输出当可信 JSON 而不进行 schema 验证;二,把"创建草稿"和"发送消息"共用同一工具;三,只记录成功调用而不记录拒绝原因。工程化应为每次决定保存工具、参数摘要、授权主体、规则版本、耗时和结果哈希;日志不可写入完整敏感参数。涉及支付、删除、外发的工具还应要求人类二次确认和幂等键。

适用范围与练习

适合客服助手、内部知识查询、代码审阅的只读工具与有人工确认的工作流;不适合让 Agent 自主执行转账、删库、发布生产配置。五分钟练习:加入 refund_preview,只允许金额 0--100 且不产生退款;再写一个测试证明 refund_execute 一定被拒绝。

你的 Agent 最先该限制的是工具种类、参数范围还是调用次数?

关注「蜗牛聊AI」,一起看懂技术变化背后的真正机会。


本文首发于 java4u.cn,转载请注明出处。

相关推荐
七牛开发者1 天前
从 GLM 到 GPT,HarnessPro 如何用 RSI 降低 Agent 成本
人工智能·gpt·agent·harness·rsi
跨境卫士-小汪1 天前
TikTokShop欧洲商品接口架构调整跨境技术团队需要做好哪些准备
大数据·人工智能·新媒体运营·跨境电商·跨境·营销策略
康小汪1 天前
AI 写 Vue 总写成同一个味道:给它装 Skills,装的不是知识是边界
前端·vue.js·人工智能·ai编程·最佳实践
收放扳机1 天前
多机连线(In-Line)场景下,收放板机“缓存工位”的容量与架构选型参考
人工智能·科技·自动化·制造·pcb工艺
武天旭1 天前
AI安全--AI大模型的后门攻击检测与防御
人工智能·深度学习·安全·机器学习
智能运维指南1 天前
研制过程“两张皮“怎么破:研制一体化支撑平台的定位、能力边界与落地前提
java·前端·人工智能·嘉为蓝鲸
人工智能AI技术1 天前
DeepInfer开源炸场!别再妄想个人电脑跑满血DeepSeek
人工智能
深蓝电商API1 天前
用AI生成拟人行为:让鼠标轨迹更“有人味”
人工智能·爬虫
znnnk1 天前
数据库被AI“重写”:2026,从CPU中心走向GPU中心
数据库·人工智能·oracle
深蓝AI1 天前
网站正在对 AI Agent 集体关门:亚马逊封锁 Muse、银行拒绝登录,开发者怎么活下去
人工智能