跳到主要内容

将 NVIDIA NIM 与 Langflow 集成

在安装了 适用于 Linux 的 Windows 子系统 2 (WSL2) 的 RTX Windows 系统上，将 Langflow 连接到 NVIDIA NIM。

NVIDIA NIM (NVIDIA 推理微服务) 提供容器用于自托管 GPU 加速的推理微服务。在此示例中，您将在安装了 WSL2 的 RTX Windows 系统上，将 Langflow 中的模型组件连接到已部署的 mistral-nemo-12b-instruct NIM。

有关 NVIDIA NIM 的更多信息，请参阅 NVIDIA 文档。

前提条件​

  • 已安装 NVIDIA NIM WSL2
  • 根据模型说明部署 NIM 容器。不同模型的前提条件各不相同。例如，要部署 mistral-nemo-12b-instruct NIM，请按照您的 模型部署概述 中关于 RTX AI PC (Beta) 上的 Windows 的说明进行操作。
  • Windows 11 版本 23H2 或更高
  • 至少 12 GB 内存

在流程中使用 NVIDIA NIM​

要将您部署的 NIM 连接到 Langflow，请将 NVIDIA 模型组件添加到流程中。

  1. 创建一个 基本提示流程。
  2. 将 OpenAI 模型组件替换为 NVIDIA 组件。
  3. 在 NVIDIA 组件的 Base URL 字段中，添加您的 NIM 可访问的 URL。如果您按照模型的 部署说明 进行操作，则值为 http://localhost:8000/v1。
  4. 在 NVIDIA 组件的 NVIDIA API Key 字段中，添加您的 NVIDIA API Key。
  5. 从 Model Name 下拉菜单中选择您的模型。
  6. 打开 Playground 并与您的 NIM 模型聊天。
Search