Java Agent 工具调用的 allowlist、参数校验与调用预算

Agent 最危险的误解是"模型说要执行,所以系统就执行"。函数调用(Function Calling)只是一种让模型提出工具与参数建议的协议;真正调用数据库、发货接口或邮件服务的权限仍在你的 Java 程序手里。本文不绑定某一家 SDK,而是先实现所有 Agent 都该有的执行门:工具白名单、参数格式、次数预算和默认拒绝。它能在你接上 Gemini、其他模型或 MCP(Model Context Protocol,模型上下文协议)工具前先守住边界。

官方 Gemini API 文档将 Function Calling 描述为把 Agent 工作流连接到外部 API 的能力。关键架构是双回合:模型返回 function call 候选;宿主验证后执行;再把工具结果送回模型。模型永远不能越过宿主直接产生副作用。

flowchart LR M[模型建议 tool + args] --> P[Java 解析候选] P --> A{白名单/参数/预算} A -->|拒绝| L[记录拒绝原因并要求澄清] A -->|允许| T[受限工具实现] T --> O[工具结果] O --> M

运行前提

Java 17+ 即可,本例没有网络和密钥,因为安全门应能脱离模型独立测试。模型侧必须按官方 Function Calling 文档声明同名工具 schema;这里的 ToolCall 代表解析后的候选,而不是替代官方 API 请求。

bash 复制代码
javac AgentGate.java && java AgentGate

完整代码

代码只允许查询订单和创建草稿;拒绝取消订单等副作用工具。每轮最多两次工具调用,并把订单号限制为十位大写字母数字。execute 是可替换的受限适配器,真实实现中再接数据库或 HTTP 客户端,并分别设置连接与请求超时。

java 复制代码
import java.util.*;
import java.util.regex.Pattern;

public class AgentGate {
  record ToolCall(String name, Map<String, String> args) {}
  static final Set<String> ALLOWED = Set.of("get_order", "create_reply_draft");
  static final Pattern ORDER = Pattern.compile("[A-Z0-9]{10}");
  static final int MAX_CALLS = 2;

  static String authorize(ToolCall call, int used) {
    if (used >= MAX_CALLS) return "DENY: 调用预算已用尽";
    if (!ALLOWED.contains(call.name())) return "DENY: 工具不在白名单";
    if (call.name().equals("get_order")) {
      String id = call.args().get("order_id");
      if (id == null || !ORDER.matcher(id).matches()) return "DENY: 非法订单号";
    }
    if (call.name().equals("create_reply_draft")) {
      String text = call.args().get("text");
      if (text == null || text.isBlank() || text.length() > 500) return "DENY: 草稿长度不合法";
    }
    return "ALLOW";
  }
  static String execute(ToolCall call) {
    return switch (call.name()) {
      case "get_order" -> "ORDER_FOUND: delivery=processing";
      case "create_reply_draft" -> "DRAFT_CREATED: no external message sent";
      default -> throw new IllegalArgumentException("unreachable");
    };
  }
  public static void main(String[] args) {
    List<ToolCall> suggestions = List.of(
        new ToolCall("get_order", Map.of("order_id", "AB12CD34EF")),
        new ToolCall("cancel_order", Map.of("order_id", "AB12CD34EF")),
        new ToolCall("create_reply_draft", Map.of("text", "您的订单正在处理中。")));
    int used = 0;
    for (ToolCall call : suggestions) {
      String verdict = authorize(call, used);
      if (verdict.equals("ALLOW")) { System.out.println(execute(call)); used++; }
      else System.out.println(verdict + " -> " + call.name());
    }
  }
}

预期输出先返回订单状态,再拒绝 cancel_order,最后仅创建一份草稿。这个次序说明:模型可以提出危险工具,但宿主拒绝不在白名单的名称。此次已用 javac AgentGate.java 编译并实际运行,输出符合预期;没有调用任何模型、数据库或线上工具。

不要跳过的三层判断

第一层是工具种类 :默认拒绝、按业务最小授权;第二层是参数 :枚举、长度、正则、金额范围和权限主体逐项校验;第三层是资源预算 :限制轮数、调用次数、并发和总耗时。只做其中一层不够。例如允许 get_order 但不验证订单归属,仍可能泄露数据;限制两次调用但允许 delete_all 同样危险。

常见错误有三类:一,把模型输出当可信 JSON 而不进行 schema 验证;二,把"创建草稿"和"发送消息"共用同一工具;三,只记录成功调用而不记录拒绝原因。工程化应为每次决定保存工具、参数摘要、授权主体、规则版本、耗时和结果哈希;日志不可写入完整敏感参数。涉及支付、删除、外发的工具还应要求人类二次确认和幂等键。

适用范围与练习

适合客服助手、内部知识查询、代码审阅的只读工具与有人工确认的工作流;不适合让 Agent 自主执行转账、删库、发布生产配置。五分钟练习:加入 refund_preview,只允许金额 0--100 且不产生退款;再写一个测试证明 refund_execute 一定被拒绝。

你的 Agent 最先该限制的是工具种类、参数范围还是调用次数?

关注「蜗牛聊AI」,一起看懂技术变化背后的真正机会。


本文首发于 java4u.cn,转载请注明出处。

相关推荐
GlobalInfo35 分钟前
2026年AIoT芯片及平台市场报告正式发布:市场规模、十五五趋势与产业链全景一键获取
大数据·人工智能·ai·半导体
番茄不是西红柿kk36 分钟前
免费的Hark,对上了最近热门的Muse
人工智能·aigc
是Dream呀41 分钟前
Dropout 是暂退法还是丢弃法?我用 TextIn xParse 做了一个术语对账台
人工智能·agent·textin·ai数据层基础设施
中年阿甘42 分钟前
对统计学在机器学习领城基础地位的理性认识
人工智能
熊猫钓鱼>_>42 分钟前
开源鸿蒙平台 KMP 三方库 KStore 适配全流程:从 ohosArm64 target 到真机文件持久化验证
人工智能·华为·开源·ai编程·harmonyos·openharmony·kmp
阿明副业观察42 分钟前
AI视频生成工具:功能、特点与高效制作攻略
人工智能·音视频
humors22144 分钟前
AI模型的可为和不可为
人工智能·gpt·ai·大模型·豆包·deepseek
知几蜗牛1 小时前
Python + Gemini JSON Schema 实现可校验的工单路由
人工智能
知几蜗牛1 小时前
Python 标准库调用 Audio Transcriptions API 的超时与异常处理
人工智能