Langflow 中的模型组件
模型组件使用大型语言模型生成文本。
有关参数的更多信息，请参阅特定组件的文档。
在流程中使用模型组件
模型组件接收输入和提示以生成文本，生成的文本被发送到输出组件。
模型输出也可以发送到 语言模型 端口，然后发送到 解析数据 组件，在此可以将输出解析为结构化的 数据 对象。
此示例在聊天机器人流程中使用了 OpenAI 模型。有关更多信息，请参阅基本提示流程。
AI/ML API
此组件使用 AIML API 创建 ChatOpenAI 模型实例。
有关更多信息，请参阅 AIML 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token。范围：0-128000。 |
| model_kwargs | 字典 | 模型的附加关键字参数。 |
| model_name | 字符串 | 要使用的 AIML 模型名称。选项在 AIML_CHAT_MODELS 中预定义。 |
| aiml_api_base | 字符串 | AIML API 的基本 URL。默认为 https://api.aimlapi.com。 |
| api_key | 秘密字符串 | 要用于模型的 AIML API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.1。 |
| seed | 整型 | 控制作业的可复现性。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatOpenAI 实例。 |
Amazon Bedrock
此组件使用 Amazon Bedrock LLM 生成文本。
有关更多信息，请参阅 Amazon Bedrock 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| model_id | 字符串 | 要使用的 Amazon Bedrock 模型 ID。选项包括各种模型。 |
| aws_access_key | 秘密字符串 | 用于身份验证的 AWS 访问密钥。 |
| aws_secret_key | 秘密字符串 | 用于身份验证的 AWS 秘密密钥。 |
| credentials_profile_name | 字符串 | 要使用的 AWS 凭据配置文件名称（高级）。 |
| region_name | 字符串 | AWS 区域名称。默认值：us-east-1。 |
| model_kwargs | 字典 | 模型的附加关键字参数（高级）。 |
| endpoint_url | 字符串 | Bedrock 服务的自定义端点 URL（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatBedrock 实例。 |
Anthropic
此组件允许使用 Anthropic Chat 和语言模型生成文本。
有关更多信息，请参阅 Anthropic 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token。默认值：4096。 |
| model | 字符串 | 要使用的 Anthropic 模型名称。选项包括各种 Claude 3 模型。 |
| anthropic_api_key | 秘密字符串 | 用于身份验证的您的 Anthropic API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.1。 |
| anthropic_api_url | 字符串 | Anthropic API 的端点。如果未指定，则默认为 https://api.anthropic.com（高级）。 |
| prefill | 字符串 | 预填充文本以引导模型的响应（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatAnthropic 实例。 |
Azure OpenAI
此组件使用 Azure OpenAI LLM 生成文本。
有关更多信息，请参阅 Azure OpenAI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| 模型名称 | 字符串 | 指定用于文本生成的 Azure OpenAI 模型名称。 |
| Azure 端点 | 字符串 | 您的 Azure 端点，包括资源。 |
| 部署名称 | 字符串 | 指定部署的名称。 |
| API 版本 | 字符串 | 指定要使用的 Azure OpenAI API 版本。 |
| API 密钥 | 秘密字符串 | 您的 Azure OpenAI API 密钥。 |
| Temperature | 浮点型 | 指定采样温度。默认为 0.7。 |
| 最大 tokens | 整型 | 指定要生成的最大 tokens 数量。默认为 1000。 |
| 输入值 | 字符串 | 指定用于文本生成的输入文本。 |
| 流式传输 | 布尔型 | 指定是否从模型流式传输响应。默认为 False。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 AzureOpenAI 实例。 |
Cohere
此组件使用 Cohere 的语言模型生成文本。
有关更多信息，请参阅 Cohere 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| Cohere API 密钥 | 秘密字符串 | 您的 Cohere API 密钥。 |
| 最大 tokens | 整型 | 指定要生成的最大 tokens 数量。默认为 256。 |
| Temperature | 浮点型 | 指定采样温度。默认为 0.75。 |
| 输入值 | 字符串 | 指定用于文本生成的输入文本。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 Cohere 模型实例。 |
DeepSeek
此组件使用 DeepSeek 的语言模型生成文本。
有关更多信息，请参阅 DeepSeek 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制。范围：0-128000。 |
| model_kwargs | 字典 | 模型的附加关键字参数。 |
| json_mode | 布尔型 | 如果为 True，则无论是否传递模式，都输出 JSON。 |
| model_name | 字符串 | 要使用的 DeepSeek 模型。默认值：deepseek-chat。 |
| api_base | 字符串 | API 请求的基本 URL。默认值：https://api.deepseek.com。 |
| api_key | 秘密字符串 | 用于身份验证的您的 DeepSeek API 密钥。 |
| temperature | 浮点型 | 控制响应中的随机性。范围：[0.0, 2.0]。默认值：1.0。 |
| seed | 整型 | 用于随机数生成的初始化数字。使用相同的 seed 整型可获得更可复现的结果，使用不同的 seed 数字可获得更随机的结果。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatOpenAI 实例。 |
Google 生成式 AI
此组件使用 Google 的生成式 AI 模型生成文本。
有关更多信息，请参阅 Google 生成式 AI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| Google API 密钥 | 秘密字符串 | 用于 Google 生成式 AI 的您的 Google API 密钥。 |
| 模型 | 字符串 | 要使用的模型名称，例如 "gemini-pro"。 |
| 最大输出 tokens | 整型 | 要生成的最大 tokens 数量。 |
| Temperature | 浮点型 | 使用此温度运行推理。 |
| Top K | 整型 | 考虑 Top K 最可能的 token 集合。 |
| Top P | 浮点型 | 采样时要考虑的 token 的最大累积概率。 |
| N | 整型 | 为每个提示生成的聊天完成数量。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatGoogleGenerativeAI 实例。 |
Groq
此组件使用 Groq 的语言模型生成文本。
- 要在流程中使用此组件，请在流程中将其作为模型连接，例如基本提示流程，或者如果您使用代理组件，则选择它作为模型提供商。
- 在Groq API 密钥字段中，粘贴您的 Groq API 密钥。Groq 模型组件会自动检索最新模型列表。要刷新模型列表，请单击.
- 在模型字段中，选择要用于 LLM 的模型。此示例使用llama-3.1-8b-instant，这是 Groq 推荐用于实时会话界面的模型。
- 在提示组件中，输入
_10您是一位乐于助人的助手，用来源支持您的说法。
- 单击游乐场并向您的 Groq LLM 提问。响应将包含来源列表。
有关更多信息，请参阅 Groq 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| groq_api_key | 秘密字符串 | Groq API 的 API 密钥。 |
| groq_api_base | 字符串 | API 请求的基本 URL 路径。默认值：https://api.groq.com。 |
| max_tokens | 整型 | 要生成的最大 tokens 数量。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.1。 |
| n | 整型 | 为每个提示生成的聊天完成数量。 |
| model_name | 字符串 | 要使用的 Groq 模型名称。选项从 Groq API 动态获取。 |
| tool_mode_enabled | 布尔型 | 如果启用，组件仅显示与工具配合使用的模型。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatGroq 实例。 |
Hugging Face API
此组件向 Hugging Face API 发送请求，使用模型 ID 字段中指定的模型生成文本。
Hugging Face API 是 Hugging Face 上托管的模型的托管推理 API，需要Hugging Face API token进行身份验证。
在基于基本提示流程的此示例中，Hugging Face API 模型组件替换了 OpenAI 模型。通过选择不同的托管模型，您可以看到不同模型返回的不同结果。
-
创建一个基本提示流程。
-
将 OpenAI 模型组件替换为 Hugging Face API 模型组件。
-
在Hugging Face API组件中，将您的 Hugging Face API token 添加到API Token字段。
-
打开游乐场，向模型提问，并查看其响应。
-
尝试不同的模型，看看它们的表现有何不同。
有关更多信息，请参阅 Hugging Face 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| model_id | 字符串 | 来自 Hugging Face Hub 的模型 ID。例如，“gpt2”、“facebook/bart-large”。 |
| huggingfacehub_api_token | 秘密字符串 | 用于身份验证的您的 Hugging Face API token。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.7。 |
| max_new_tokens | 整型 | 要生成的最大 token 数量。默认值：512。 |
| top_p | 浮点型 | 核采样参数。范围：[0.0, 1.0]。默认值：0.95。 |
| top_k | 整型 | Top-k 采样参数。默认值：50。 |
| model_kwargs | 字典 | 要传递给模型的附加关键字参数。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 HuggingFaceHub 实例。 |
IBM watsonx.ai
此组件使用 IBM watsonx.ai 基础模型生成文本。
要使用 IBM watsonx.ai 模型组件，请在流程中将模型组件替换为 IBM watsonx.ai 组件。
一个示例流程如下所示
API 端点、项目 ID、API 密钥和模型名称的值可在您的 IBM watsonx.ai 部署中找到。有关更多信息，请参阅Langchain 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| url | 字符串 | watsonx API 的基本 URL。 |
| project_id | 字符串 | 您的 watsonx 项目 ID。 |
| api_key | 秘密字符串 | 您的 IBM watsonx API 密钥。 |
| model_name | 字符串 | 要使用的 watsonx 模型名称。选项从 API 动态获取。 |
| max_tokens | 整型 | 要生成的最大 token 数量。默认值：1000。 |
| stop_sequence | 字符串 | 生成应该停止的序列。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.1。 |
| top_p | 浮点型 | 控制核采样，将模型限制在概率低于 top_p 值的 token。范围：默认值：0.9。 |
| frequency_penalty | 浮点型 | 控制频率惩罚。正值降低重复 token 的概率，负值增加概率。范围：默认值：0.5。 |
| presence_penalty | 浮点型 | 控制存在惩罚。正值增加引入新主题的可能性。默认值：0.3。 |
| seed | 整型 | 模型的随机种子。默认值：8。 |
| logprobs | 布尔型 | 是否返回输出 token 的对数概率。默认值：True。 |
| top_logprobs | 整型 | 在每个位置返回的最可能的 token 数量。默认值：3。 |
| logit_bias | 字符串 | 用于偏置或抑制 token ID 的 JSON 字符串。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatWatsonx 实例。 |
语言模型
此组件使用 OpenAI 或 Anthropic 语言模型生成文本。
将此组件用作 LLM 模型的直接替代品，以在不同的模型提供商和模型之间切换。
您无需在想尝试不同的提供商时更换模型组件（例如在 OpenAI 和 Anthropic 组件之间切换），只需在此单个组件中更改提供商下拉列表即可。这使得在保持流程其余部分不变的同时，更容易实验和比较不同的模型。
有关更多信息，请参阅 OpenAI 文档和 Anthropic 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| provider | 字符串 | 要使用的模型提供商。选项：“OpenAI”、“Anthropic”。默认值：“OpenAI”。 |
| model_name | 字符串 | 要使用的模型名称。选项取决于所选的提供商。 |
| api_key | 秘密字符串 | 用于与所选提供商进行身份验证的 API 密钥。 |
| input_value | 字符串 | 要发送到模型的输入文本。 |
| system_message | 字符串 | 有助于设置助手行为的系统消息（高级）。 |
| stream | 布尔型 | 是否流式传输响应。默认值：False（高级）。 |
| temperature | 浮点型 | 控制响应中的随机性。范围：[0.0, 1.0]。默认值：0.1（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatOpenAI 或 ChatAnthropic 实例。 |
LMStudio
此组件使用 LM Studio 的本地语言模型生成文本。
有关更多信息，请参阅 LM Studio 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| base_url | 字符串 | LM Studio 正在运行的 URL。默认值："http://localhost:1234"。 |
| max_tokens | 整型 | 在响应中要生成的最大 tokens 数量。默认值：512。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 2.0]。默认值：0.7。 |
| top_p | 浮点型 | 通过核采样控制多样性。范围：[0.0, 1.0]。默认值：1.0。 |
| stop | 列表[字符串] | 遇到时停止生成的字符串列表。 |
| stream | 布尔型 | 是否流式传输响应。默认值：False。 |
| presence_penalty | 浮点型 | 惩罚重复 token。范围：[-2.0, 2.0]。默认值：0.0。 |
| frequency_penalty | 浮点型 | 惩罚频繁 token。范围：[-2.0, 2.0]。默认值：0.0。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 LMStudio 实例。 |
Maritalk
此组件使用 Maritalk LLM 生成文本。
有关更多信息，请参阅 Maritalk 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token。默认值：512。 |
| model_name | 字符串 | 要使用的 Maritalk 模型名称。选项：sabia-2-small，sabia-2-medium。默认值：sabia-2-small。 |
| api_key | 秘密字符串 | 用于身份验证的 Maritalk API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.5。 |
| endpoint_url | 字符串 | Maritalk API 端点。默认值：https://api.maritalk.com。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatMaritalk 实例。 |
Mistral
此组件使用 MistralAI LLM 生成文本。
有关更多信息，请参阅 Mistral AI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token（高级）。 |
| model_name | 字符串 | 要使用的 Mistral AI 模型名称。选项包括 open-mixtral-8x7b、open-mixtral-8x22b、mistral-small-latest、mistral-medium-latest、mistral-large-latest 和 codestral-latest。默认值：codestral-latest。 |
| mistral_api_base | 字符串 | Mistral API 的基本 URL。默认为 https://api.mistral.ai/v1（高级）。 |
| api_key | 秘密字符串 | 用于身份验证的 Mistral API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.5。 |
| max_retries | 整型 | API 调用的最大重试次数。默认值：5（高级）。 |
| timeout | 整型 | API 调用的超时时间（秒）。默认值：60（高级）。 |
| max_concurrent_requests | 整型 | 最大并发 API 请求数量。默认值：3（高级）。 |
| top_p | 浮点型 | 核采样参数。默认值：1（高级）。 |
| random_seed | 整型 | 随机数生成的种子。默认值：1（高级）。 |
| safe_mode | 布尔型 | 启用内容生成的安全模式（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatMistralAI 实例。 |
Novita AI
此组件使用 Novita AI 的语言模型生成文本。
有关更多信息，请参阅 Novita AI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| api_key | 秘密字符串 | 您的 Novita AI API 密钥。 |
| model | 字符串 | 要使用的 Novita AI 模型 ID。 |
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.7。 |
| top_p | 浮点型 | 控制核采样。范围：[0.0, 1.0]。默认值：1.0。 |
| frequency_penalty | 浮点型 | 控制频率惩罚。范围：[0.0, 2.0]。默认值：0.0。 |
| presence_penalty | 浮点型 | 控制存在惩罚。范围：[0.0, 2.0]。默认值：0.0。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 Novita AI 模型实例。 |
NVIDIA
此组件使用 NVIDIA LLM 生成文本。
有关更多信息，请参阅 NVIDIA AI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token（高级）。 |
| model_name | 字符串 | 要使用的 NVIDIA 模型名称。默认值：mistralai/mixtral-8x7b-instruct-v0.1。 |
| base_url | 字符串 | NVIDIA API 的基本 URL。默认值：https://integrate.api.nvidia.com/v1。 |
| nvidia_api_key | 秘密字符串 | 用于身份验证的 NVIDIA API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.1。 |
| seed | 整型 | seed 控制作业的可复现性（高级）。默认值：1。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatNVIDIA 实例。 |
Ollama
此组件使用 Ollama 的语言模型生成文本。
要在流程中使用此组件，请将 Langflow 连接到您本地运行的 Ollama 服务器并选择一个模型。
- 在 Ollama 组件中，在基本 URL 字段中，输入本地运行的 Ollama 服务器地址。此值在 Ollama 中设置为
OLLAMA_HOST环境变量。默认基本 URL 是http://127.0.0.1:11434。 - 要刷新服务器的模型列表，请单击.
- 在模型名称字段中，选择一个模型。此示例使用
llama3.2:latest。 - 将 Ollama 模型组件连接到流程。例如，此流程将运行 Llama 3.2 模型的本地 Ollama 服务器连接为 代理 组件的自定义模型。
有关更多信息，请参阅 Ollama 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| 基本 URL | 字符串 | Ollama API 的端点。 |
| 模型名称 | 字符串 | 要使用的模型名称。 |
| Temperature | 浮点型 | 控制模型响应的创造力。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 Ollama 模型实例。 |
OpenAI
此组件使用 OpenAI 的语言模型生成文本。
有关更多信息，请参阅 OpenAI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| api_key | 秘密字符串 | 您的 OpenAI API 密钥。 |
| model | 字符串 | 要使用的 OpenAI 模型名称。选项包括“gpt-3.5-turbo”和“gpt-4”。 |
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.7。 |
| top_p | 浮点型 | 控制核采样。范围：[0.0, 1.0]。默认值：1.0。 |
| frequency_penalty | 浮点型 | 控制频率惩罚。范围：[0.0, 2.0]。默认值：0.0。 |
| presence_penalty | 浮点型 | 控制存在惩罚。范围：[0.0, 2.0]。默认值：0.0。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 OpenAI 模型实例。 |
OpenRouter
此组件使用 OpenRouter 的统一 API 为来自不同提供商的多个 AI 模型生成文本。
有关更多信息，请参阅 OpenRouter 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| api_key | 秘密字符串 | 用于身份验证的您的 OpenRouter API 密钥。 |
| site_url | 字符串 | 用于 OpenRouter 排名站点的您的站点 URL（高级）。 |
| app_name | 字符串 | 用于 OpenRouter 排名站点的您的应用程序名称（高级）。 |
| provider | 字符串 | 要使用的 AI 模型提供商。 |
| model_name | 字符串 | 用于聊天完成的具体模型。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 2.0]。默认值：0.7。 |
| max_tokens | 整型 | 要生成的最大 token 数量（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatOpenAI 实例。 |
Perplexity
此组件使用 Perplexity 的语言模型生成文本。
有关更多信息，请参阅 Perplexity 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| model_name | 字符串 | 要使用的 Perplexity 模型名称。选项包括各种 Llama 3.1 模型。 |
| max_output_tokens | 整型 | 要生成的最大 tokens 数量。 |
| api_key | 秘密字符串 | 用于身份验证的 Perplexity API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.75。 |
| top_p | 浮点型 | 采样时要考虑的 token 的最大累积概率（高级）。 |
| n | 整型 | 为每个提示生成的聊天完成数量（高级）。 |
| top_k | 整型 | Top-k 采样要考虑的顶部 token 数量。必须为正数（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatPerplexity 实例。 |
千帆
此组件使用千帆的语言模型生成文本。
有关更多信息，请参阅 千帆文档。
SambaNova
此组件使用 SambaNova LLM 生成文本。
有关更多信息，请参阅 Sambanova Cloud 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| sambanova_url | 字符串 | API 请求的基本 URL 路径。默认值：https://api.sambanova.ai/v1/chat/completions。 |
| sambanova_api_key | 秘密字符串 | 您的 SambaNova API 密钥。 |
| model_name | 字符串 | 要使用的 Sambanova 模型名称。选项包括各种 Llama 模型。 |
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制 token。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 1.0]。默认值：0.07。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 SambaNova 模型实例。 |
VertexAI
此组件使用 Vertex AI LLM 生成文本。
有关更多信息，请参阅 Google Vertex AI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| credentials | 文件 | JSON 凭据文件。留空则回退到环境变量。文件类型：JSON。 |
| model_name | 字符串 | 要使用的 Vertex AI 模型名称。默认值：“gemini-1.5-pro”。 |
| project | 字符串 | 项目 ID（高级）。 |
| location | 字符串 | Vertex AI API 的位置。默认值：“us-central1”（高级）。 |
| max_output_tokens | 整型 | 要生成的最大 token 数量（高级）。 |
| max_retries | 整型 | API 调用的最大重试次数。默认值：1（高级）。 |
| temperature | 浮点型 | 控制输出中的随机性。默认值：0.0。 |
| top_k | 整型 | 用于 top-k 过滤的最高概率词汇 token 数量（高级）。 |
| top_p | 浮点型 | 核采样时要保留的参数最高概率词汇 token 的累积概率。默认值：0.95（高级）。 |
| verbose | 布尔型 | 是否打印详细输出。默认值：False（高级）。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatVertexAI 实例。 |
xAI
此组件使用 Grok 等 xAI 模型生成文本。
有关更多信息，请参阅 xAI 文档。
参数
输入
| 名称 | 类型 | 描述 |
|---|---|---|
| max_tokens | 整型 | 要生成的最大 token 数量。设为 0 表示无限制。范围：0-128000。 |
| model_kwargs | 字典 | 模型的附加关键字参数。 |
| json_mode | 布尔型 | 如果为 True，则无论是否传递模式，都输出 JSON。 |
| model_name | 字符串 | 要使用的 xAI 模型。默认值：grok-2-latest。 |
| base_url | 字符串 | API 请求的基本 URL。默认值：https://api.x.ai/v1。 |
| api_key | 秘密字符串 | 用于身份验证的您的 xAI API 密钥。 |
| temperature | 浮点型 | 控制输出中的随机性。范围：[0.0, 2.0]。默认值：0.1。 |
| seed | 整型 | 控制作业的可复现性。 |
输出
| 名称 | 类型 | 描述 |
|---|---|---|
| model | 语言模型 | 配置了指定参数的 ChatOpenAI 实例。 |
