【拥抱AI】GPTResearcher如何自定义配置LLM

GPT Researcher默认的 LLM（大型语言模型）和嵌入式模型是 OpenAI，因为其卓越的性能和速度。不过，GPT Researcher 支持各种开源和闭源的 LLM 和嵌入式模型，你可以通过更新 SMART_LLM、FAST_LLM 和 EMBEDDING 环境变量轻松切换它们。你可能还需要包含提供商的 API 密钥以及相应的配置参数。

目前支持的 LLM 包括： openai、anthropic、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、groq、bedrock 和 litellm。 目前支持的嵌入式模型包括 openai、azure_openai、cohere、google_vertexai、google_genai、fireworks、ollama、together、mistralai、huggingface、nomic、voyageai 和 bedrock。

如需了解支持的自定义选项，请参阅 相关文档。

请注意：GPT Researcher 经过优化，并在 GPT 模型上进行了大量测试。其他一些模型可能会遇到上下文限制错误和意外响应。请在我们的 Discord 社区频道中提供任何反馈，以便我们更好地改进体验和性能。 以下是配置各种支持的 LLM 的示例。

OpenAI

# 设置自定义 OpenAI API 密钥 OPENAI_API_KEY=[你的密钥] # 指定 LLM FAST_LLM="openai:gpt-4o-mini" SMART_LLM="openai:gpt-4o" STRATEGIC_LLM="openai:o1-preview" # 指定嵌入式模型 EMBEDDING="openai:text-embedding-3-small"

自定义 LLM

创建一个本地 OpenAI API，使用 llama.cpp 服务器。 对于自定义 LLM，指定 “openai:{你的 LLM}”。

# 设置自定义 OpenAI API URL OPENAI_BASE_URL="http://localhost:1234/v1" # 设置自定义 OpenAI API 密钥 OPENAI_API_KEY="dummy_key" # 指定自定义 LLM FAST_LLM="openai:your_fast_llm" SMART_LLM="openai:your_smart_llm" STRATEGIC_LLM="openai:your_strategic_llm"

对于自定义嵌入式模型，设置 “custom:{你的嵌入式模型}”。

# 设置自定义 OpenAI API URL OPENAI_BASE_URL="http://localhost:1234/v1" # 设置自定义 OpenAI API 密钥 OPENAI_API_KEY="dummy_key" # 指定自定义嵌入式模型 EMBEDDING="custom:your_embedding"

Azure OpenAI

在 Azure OpenAI 中，你需要选择要使用的模型，并为每个模型进行部署。你可以在 Azure OpenAI 门户中完成这些操作。 2025 年 1 月推荐使用的模型包括： deepseek-chat gpt-4o-mini gpt-4o o1-preview 或 o1-mini（你可能需要先申请访问权限，然后才能部署这些模型）。

请在你的 .env 文件中指定模型名称/部署名称。

必备条件： 你的端点可以使用任何有效的名称。 模型的部署名称 必须与模型名称相同。 你需要部署一个 嵌入式模型：为了确保最佳性能，GPT Researcher 需要 “text-embedding-3-large” 模型。请将此特定模型部署到你的 Azure 端点。

建议： 配额增加：你还应该申请增加嵌入式模型的配额，因为默认配额是不够的。

# 设置你在 Azure 门户中配置的 Azure API 密钥和部署。除非你自己配置，否则没有默认访问点！ AZURE_OPENAI_API_KEY="[你的密钥]" AZURE_OPENAI_ENDPOINT=" {你的端点}.openai.azure /" OPENAI_API_VERSION="2024-05-01-preview" # 每个字符串是 “azure_openai:部署名称”。确保你的部署名称与你使用的模型名称相同！ FAST_LLM="azure_openai:gpt-4o-mini" SMART_LLM="azure_openai:gpt-4o" STRATEGIC_LLM="azure_openai:o1-preview" # 指定嵌入式模型 EMBEDDING="azure_openai:text-embedding-3-large"

Ollama

GPT Researcher 支持 Ollama LLM 和嵌入式模型。你可以选择其中一个或两者都使用。要使用 Ollama，你可以设置以下环境变量。

OLLAMA_BASE_URL=http://localhost:11434 FAST_LLM="ollama:llama3" SMART_LLM="ollama:llama3" STRATEGIC_LLM="ollama:llama3" EMBEDDING="ollama:nomic-embed-text"

Groq

GroqCloud 提供先进的 AI 硬件和软件解决方案，旨在提供令人惊叹的快速 AI 推理性能。要在 GPT Researcher 中使用 Groq，你需要一个 GroqCloud 账户和一个 API 密钥。（注意：Groq 有一个非常 慷慨的免费层级。）

你可以在这里注册并登录： console.groq /login

然后，你可以在这里获取 API 密钥： console.groq /keys

获取 API 密钥后，你需要将其添加到你的 系统环境 中，使用变量名：

GROQ_API_KEY="*********************"

最后，你需要配置 GPT Researcher 提供商和模型变量：

GROQ_API_KEY=[你的密钥] # 设置 Groq 支持的 LLM 模型之一 FAST_LLM="groq:Mixtral-8x7b-32768" SMART_LLM="groq:Mixtral-8x7b-32768" STRATEGIC_LLM="groq:Mixtral-8x7b-32768"

Anthropic

请参考 Anthropic 的入门页面以获取 Anthropic API 密钥。然后更新相应的环境变量，例如：

ANTHROPIC_API_KEY=[你的密钥] FAST_LLM="anthropic:claude-2.1" SMART_LLM="anthropic:claude-3-opus-20240229" STRATEGIC_LLM="anthropic:claude-3-opus-20240229"

Anthropic 不提供自己的嵌入式模型。 Mistral AI要注册 Mistral API 密钥。然后更新相应的环境变量，例如：

MISTRAL_API_KEY=[你的密钥] FAST_LLM="mistralai:open-mistral-7b" SMART_LLM="mistralai:mistral-large-latest" STRATEGIC_LLM="mistralai:mistral-large-latest" EMBEDDING="mistralai:mistral-embed"

Together AI Together AI 提供了一个 API，可以通过几行代码查询 50 多个领先的开源模型。然后更新相应的环境变量，例如：

TOGETHER_API_KEY=[你的密钥] FAST_LLM="together:meta-llama/Llama-3-8b-chat-hf" SMART_LLM="together:meta-llama/Llama-3-70b-chat-hf" STRATEGIC_LLM="together:meta-llama/Llama-3-70b-chat-hf" EMBEDDING="mistralai:nomic-ai/nomic-embed-text-v1.5"

HuggingFace 此集成需要额外的工作。请遵循 相关指南 了解更多信息。按照上述教程操作后，更新环境变量：

HUGGINGFACE_API_KEY=[你的密钥] FAST_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta" SMART_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta" STRATEGIC_LLM="huggingface:HuggingFaceH4/zephyr-7b-beta" EMBEDDING="sentence-transformers/all-MiniLM-L6-v2"

Google Gemini 请在这里注册以获取 Google Gemini API 密钥，并更新以下环境变量：

GOOGLE_API_KEY=[你的密钥] FAST_LLM="google_genai:gemini-1.5-flash" SMART_LLM="google_genai:gemini-1.5-pro" STRATEGIC_LLM="google_genai:gemini-1.5-pro" EMBEDDING="google_genai:models/text-embedding-004"

Google VertexAI

FAST_LLM="google_vertexai:gemini-1.5-flash-001" SMART_LLM="google_vertexai:gemini-1.5-pro-001" STRATEGIC_LLM="google_vertexai:gemini-1.5-pro-001" EMBEDDING="google_vertexai:text-embedding-004"

Cohere

COHERE_API_KEY=[你的密钥] FAST_LLM="cohere:command" SMART_LLM="cohere:command-nightly" STRATEGIC_LLM="cohere:command-nightly" EMBEDDING="cohere:embed-english-v3.0"

Fireworks

FIREWORKS_API_KEY=[你的密钥] base_url=" api.fireworks.ai/inference/v1/completions" FAST_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct" SMART_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct" STRATEGIC_LLM="fireworks:accounts/fireworks/models/mixtral-8x7b-instruct" EMBEDDING="fireworks:nomic-ai/nomic-embed-text-v1.5"

Bedrock

FAST_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0" SMART_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0" STRATEGIC_LLM="bedrock:anthropic.claude-3-sonnet-20240229-v1:0" EMBEDDING="bedrock:amazon.titan-embed-text-v2:0"

LiteLLM

FAST_LLM="litellm:perplexity/pplx-7b-chat" SMART_LLM="litellm:perplexity/pplx-70b-chat" STRATEGIC_LLM="litellm:perplexity/pplx-70b-chat"

xAI

FAST_LLM="xai:grok-beta" SMART_LLM="xai:grok-beta" STRATEGIC_LLM="xai:grok-beta"

DeepSeek

DEEPSEEK_API_KEY=[你的密钥] FAST_LLM="deepseek:deepseek-chat" SMART_LLM="deepseek:deepseek-chat" STRATEGIC_LLM="deepseek:deepseek-chat"

Nomic

EMBEDDING="nomic:nomic-embed-text-v1.5"

VoyageAI

VOYAGE_API_KEY=[你的密钥] EMBEDDING="voyageai:voyage-law-2" 结束语

以上是就是GPT Researcher配置LLM的详细攻略了，如果对您有帮助，请动动你发财手指点赞，谢谢。