如何在Oracle Agent Factory中配置国内厂商的LLM？

AlfredZhao2026-05-22 17:29

目前Oracle PAF（Private Agent Factory）官方提供配置，LLM providers只有OCI GenAI、OpenAI、Gemini以及vLLM和Ollama的方式。

如果想用国内LLM或者其他中转的LLM，通常是兼容OpenAI的模式，但是OpenAI这里配置是写死的，无法自定义baseurl：

如果想直接通过vLLM配置，默认无法指定api key：

看来默认就无法使用其他LLM了？已跟PM反馈过此问题，回复后续版本会考虑支持这个OpenAI兼容的LLM配置。

但是目前有没有workaround呢？实际测试，通过Nginx配置结合vLLM的入口，可以实现连通国内LLM模型。

下面以配置官方DeepSeek的api为例，参考步骤如下：

1.配置Nginx转发策略

安装Nginx软件，然后进入到Nginx配置目录：

BASH 复制代码

cd /etc/nginx/conf.d/

新增一个配置文件llm_deepseek.conf，内容如下：

cat llm_deepseek.conf 文本内容如下，方便粘贴:

注意：

sk-your_api_key 要替换成自己的真实apikey
自定义配置监听的端口，这里设置的 4001

bash 复制代码

server {
    listen 4001;

    # 1. 定义 DNS 解析器（这里用谷歌和腾讯的公共DNS，让Nginx能解析api.deepseek.com）
    resolver 8.8.8.8 119.29.29.29 valid=300s;
    resolver_timeout 5s;

    location /v1/ {
        # 2. 转发目标
        proxy_pass https://api.deepseek.com/v1/;

        # 3. 核心修复：开启 SSL SNI 支持，并透传正确的 Host
        proxy_ssl_server_name on;
        proxy_ssl_name api.deepseek.com;
        proxy_set_header Host api.deepseek.com;

        # 4. 你的业务请求头
        proxy_set_header Authorization "Bearer sk-your_api_key";
        proxy_set_header Content-Type "application/json";

        # 5. 建议加上这些，防止大模型流式传输（Stream）时被 Nginx 缓存导致卡顿
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_buffering off;
    }
}

重启Nginx生效配置：

BASH 复制代码

sudo systemctl restart nginx

2.在PAF中配置通过本地转发的LLM

测试连接成功，然后在一个自定义的flow中，设置成这个通过自定义转发到官方DeepSeek的LLM进行连通性测试：

测试成功：

注：这不是官方认可的方式，也不算最佳实践，只是作为现阶段当PAF必须要用国内LLM场景的workaround。