【拥抱AI】GPT Researcher如何自定义配置LLM

GPT Researcher默认的 LLM（大型语言模型）和嵌入式模型是 OpenAI，因为其卓越的性能和速度。不过，GPT Researcher 支持各种开源和闭源的 LLM 和嵌入式模型，你可以通过更新 SMART_LLM、FAST_LLM 和 EMBEDDING 环境变量轻松切换它们。你可能还需要包含提供商的 API 密钥以及相应的配置参数。

目前支持的 LLM 包括：

openai、anthropic、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、groq、bedrock 和 litellm。

目前支持的嵌入式模型包括 openai、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、nomic、voyageai 和 bedrock。

如需了解支持的自定义选项，请参阅相关文档。

请注意：GPT Researcher 经过优化，并在 GPT 模型上进行了大量测试。其他一些模型可能会遇到上下文限制错误和意外响应。请在我们的 Discord 社区频道中提供任何反馈，以便我们更好地改进体验和性能。

以下是配置各种支持的 LLM 的示例。

OpenAI

bash 复制代码

# 设置自定义 OpenAI API 密钥
OPENAI_API_KEY=[你的密钥]


# 指定 LLM
FAST_LLM="openai:gpt-4o-mini"
SMART_LLM="openai:gpt-4o"
STRATEGIC_LLM="openai:o1-preview"

# 指定嵌入式模型
EMBEDDING="openai:text-embedding-3-small"

自定义 LLM

创建一个本地 OpenAI API，使用 llama.cpp 服务器。

对于自定义 LLM，指定 "openai:{你的 LLM}"。

bash 复制代码

# 设置自定义 OpenAI API URL
OPENAI_BASE_URL="http://localhost:1234/v1"
# 设置自定义 OpenAI API 密钥
OPENAI_API_KEY="dummy_key"

# 指定自定义 LLM
FAST_LLM="openai:your_fast_llm"
SMART_LLM="openai:your_smart_llm"
STRATEGIC_LLM="openai:your_strategic_llm"

对于自定义嵌入式模型，设置 "custom:{你的嵌入式模型}"。

bash 复制代码

# 设置自定义 OpenAI API URL
OPENAI_BASE_URL="http://localhost:1234/v1"
# 设置自定义 OpenAI API 密钥
OPENAI_API_KEY="dummy_key"

# 指定自定义嵌入式模型
EMBEDDING="custom:your_embedding"

Azure OpenAI

在 Azure OpenAI 中，你需要选择要使用的模型，并为每个模型进行部署。你可以在 Azure OpenAI 门户中完成这些操作。

2025 年 1 月推荐使用的模型包括：

deepseek-chat

gpt-4o-mini

gpt-4o

o1-preview 或 o1-mini（你可能需要先申请访问权限，然后才能部署这些模型）。

请在你的 .env 文件中指定模型名称/部署名称。

必备条件：

你的端点可以使用任何有效的名称。

模型的部署名称必须与模型名称相同。

你需要部署一个嵌入式模型：为了确保最佳性能，GPT Researcher 需要 "text-embedding-3-large" 模型。请将此特定模型部署到你的 Azure 端点。

建议：

配额增加：你还应该申请增加嵌入式模型的配额，因为默认配额是不够的。

bash 复制代码

# 设置你在 Azure 门户中配置的 Azure API 密钥和部署。除非你自己配置，否则没有默认访问点！
AZURE_OPENAI_API_KEY="[你的密钥]"
AZURE_OPENAI_ENDPOINT="https://{你的端点}.openai.azure.com/"
OPENAI_API_VERSION="2024-05-01-preview"

# 每个字符串是 "azure_openai:部署名称"。确保你的部署名称与你使用的模型名称相同！
FAST_LLM="azure_openai:gpt-4o-mini"
SMART_LLM="azure_openai:gpt-4o"
STRATEGIC_LLM="azure_openai:o1-preview"

# 指定嵌入式模型
EMBEDDING="azure_openai:text-embedding-3-large"

Ollama

GPT Researcher 支持 Ollama LLM 和嵌入式模型。你可以选择其中一个或两者都使用。要使用 Ollama，你可以设置以下环境变量。

bash 复制代码

OLLAMA_BASE_URL=http://localhost:11434
FAST_LLM="ollama:llama3"
SMART_LLM="ollama:llama3"
STRATEGIC_LLM="ollama:llama3"

EMBEDDING="ollama:nomic-embed-text"

Groq

GroqCloud 提供先进的 AI 硬件和软件解决方案，旨在提供令人惊叹的快速 AI 推理性能。要在 GPT Researcher 中使用 Groq，你需要一个 GroqCloud 账户和一个 API 密钥。（注意：Groq 有一个非常慷慨的免费层级。）

你可以在这里注册并登录：https://console.groq.com/login

然后，你可以在这里获取 API 密钥：https://console.groq.com/keys

获取 API 密钥后，你需要将其添加到你的系统环境中，使用变量名：

bash 复制代码

GROQ_API_KEY="*********************"

最后，你需要配置 GPT Researcher 提供商和模型变量：

bash 复制代码

GROQ_API_KEY=[你的密钥]

# 设置 Groq 支持的 LLM 模型之一
FAST_LLM="groq:Mixtral-8x7b-32768"
SMART_LLM="groq:Mixtral-8x7b-32768"
STRATEGIC_LLM="groq:Mixtral-8x7b-32768"

Anthropic

请参考 Anthropic 的入门页面以获取 Anthropic API 密钥。然后更新相应的环境变量，例如：

bash 复制代码

ANTHROPIC_API_KEY=[你的密钥]
FAST_LLM="anthropic:claude-2.1"
SMART_LLM="anthropic:claude-3-opus-20240229"
STRATEGIC_LLM="anthropic:claude-3-opus-20240229"

Anthropic 不提供自己的嵌入式模型。

Mistral AI要注册 Mistral API 密钥。然后更新相应的环境变量，例如：

bash 复制代码

MISTRAL_API_KEY=[你的密钥]
FAST_LLM="mistralai:open-mistral-7b"
SMART_LLM="mistralai:mistral-large-latest"
STRATEGIC_LLM="mistralai:mistral-large-latest"

EMBEDDING="mistralai:mistral-embed"

Together AI

Together AI 提供了一个 API，可以通过几行代码查询 50 多个领先的开源模型。然后更新相应的环境变量，例如：

bash 复制代码

TOGETHER_API_KEY=[你的密钥]
FAST_LLM="together:meta-llama/Llama-3-8b-chat-hf"
SMART_LLM="together:meta-llama/Llama-3-70b-chat-hf"
STRATEGIC_LLM="together:meta-llama/Llama-3-70b-chat-hf"

EMBEDDING="mistralai:nomic-ai/nomic-embed-text-v1.5"

HuggingFace

此集成需要额外的工作。请遵循相关指南了解更多信息。按照上述教程操作后，更新环境变量：

bash 复制代码

HUGGINGFACE_API_KEY=[你的密钥]
FAST_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta"
SMART_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta"
STRATEGIC_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta"

EMBEDDING="sentence-transformers/all-MiniLM-L6-v2"

Google Gemini

请在这里注册以获取 Google Gemini API 密钥，并更新以下环境变量：

bash 复制代码

GOOGLE_API_KEY=[你的密钥]
FAST_LLM="google_genai:gemini-1.5-flash"
SMART_LLM="google_genai:gemini-1.5-pro"
STRATEGIC_LLM="google_genai:gemini-1.5-pro"

EMBEDDING="google_genai:models/text-embedding-004"

Google VertexAI

bash 复制代码

FAST_LLM="google_vertexai:gemini-1.5-flash-001"
SMART_LLM="google_vertexai:gemini-1.5-pro-001"
STRATEGIC_LLM="google_vertexai:gemini-1.5-pro-001"

EMBEDDING="google_vertexai:text-embedding-004"

Cohere

bash 复制代码

COHERE_API_KEY=[你的密钥]
FAST_LLM="cohere:command"
SMART_LLM="cohere:command-nightly"
STRATEGIC_LLM="cohere:command-nightly"

EMBEDDING="cohere:embed-english-v3.0"

Fireworks

bash 复制代码

FIREWORKS_API_KEY=[你的密钥]
base_url="https://api.fireworks.ai/inference/v1/completions"
FAST_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct"
SMART_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct"
STRATEGIC_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct"

EMBEDDING="fireworks:nomic-ai/nomic-embed-text-v1.5"

Bedrock

bash 复制代码

FAST_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0"
SMART_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0"
STRATEGIC_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0"

EMBEDDING="bedrock:amazon.titan-embed-text-v2:0"

LiteLLM

bash 复制代码

FAST_LLM="litellm:perplexity/pplx-7b-chat"
SMART_LLM="litellm:perplexity/pplx-70b-chat"
STRATEGIC_LLM="litellm:perplexity/pplx-70b-chat"

xAI

bash 复制代码

FAST_LLM="xai:grok-beta"
SMART_LLM="xai:grok-beta"
STRATEGIC_LLM="xai:grok-beta"

DeepSeek

bash 复制代码

DEEPSEEK_API_KEY=[你的密钥]
FAST_LLM="deepseek:deepseek-chat"
SMART_LLM="deepseek:deepseek-chat"
STRATEGIC_LLM="deepseek:deepseek-chat"

Nomic

bash 复制代码

EMBEDDING="nomic:nomic-embed-text-v1.5"

VoyageAI

bash 复制代码

VOYAGE_API_KEY=[你的密钥]
EMBEDDING="voyageai:voyage-law-2"

结束语

以上是就是GPT Researcher配置LLM的详细攻略了，如果对您有帮助，请动动你发财手指点赞，谢谢。