将 Arize 与 Langflow 集成
Arize 是一个基于 OpenTelemetry 和 OpenInference 构建的工具,用于监控和优化 LLM 应用。
要为你的 Langflow 应用添加追踪,请将 Arize 环境变量添加到你的 Langflow 应用中。Arize 会自动开始监控并从你的 LLM 应用中收集遥测数据。
先决条件
- 如果你正在使用标准 Arize 平台,你需要一个 Arize Space ID 和 Arize API Key。
- 如果你正在使用开源的 Arize Phoenix 平台,你需要一个 Arize Phoenix API Key。
连接 Arize 到 Langflow
- Arize 平台
- Arize Phoenix
- 要检索你的 Arize Space ID 和 Arize API Key,请导航至 Arize 控制面板。
- 点击 Settings,然后点击 Space Settings and Keys。
- 复制 SpaceID 和 API Key (Ingestion Service Account Key) 值。
- 在你的 Langflow 应用根目录下创建一个
.env
文件。 - 将
ARIZE_SPACE_ID
和ARIZE_API_KEY
环境变量添加到你的 Langflow 应用中。如果你使用标准 Arize 平台,则无需指定 Arize Project 名称。替换以下内容:
- YOUR_ARIZE_SPACE_ID:从 Arize 复制的 SpaceID 值
- YOUR_ARIZE_API_KEY:从 Arize 复制的 API Key 值
_10ARIZE_SPACE_ID=YOUR_ARIZE_SPACE_ID_10ARIZE_API_KEY=YOUR_ARIZE_API_KEY
- 保存
.env
文件。 - 使用
.env
文件中的值启动你的 Langflow 应用。
_10uv run langflow run --env-file .env
- 要检索你的 Arize Phoenix API Key,请导航至 Arize 控制面板。
- 点击 API Key。
- 复制 API Key 值。
- 在你的 Langflow 应用根目录下创建一个
.env
文件。 - 而是将
PHOENIX_API_KEY
环境变量添加到你的应用中。将YOUR_PHOENIX_API_KEY
替换为你从 Arize Phoenix 平台复制的 Arize Phoenix API key。
_10PHOENIX_API_KEY=YOUR_PHOENIX_API_KEY
- 保存
.env
文件。 - 使用
.env
文件中的值启动你的 Langflow 应用。
_10uv run langflow run --env-file .env
更多信息,请参阅 Arize 文档。
运行一个流程并在 Arize 中查看指标
- 在 Langflow 中,选择简单智能体入门项目。
- 在 Agent 组件的 OpenAI API Key 字段中,粘贴你的 OpenAI API key。
- 点击 Playground。向你的智能体提问以生成流量。
- 导航至 Arize 控制面板,然后打开你的项目。你可能需要等待几分钟让 Arize 处理数据。
- LLM Tracing 标签页显示你的流程的指标。每次 Langflow 执行会在 Arize 中生成两条追踪。
AgentExecutor
追踪是 Langchain 的AgentExecutor
的 Arize 追踪。UUID 追踪是 Langflow 组件的追踪。 - 要查看追踪,点击 Traces 标签页。一个 trace 是请求的完整旅程,由多个 spans 组成。
- 要查看 Spans,选择 Spans 标签页。一个 span 是追踪中的单个操作。例如,一个 span 可以是向 OpenAI 的单个 API 调用,或者对自定义工具的单个函数调用。关于 Arize 中的追踪、span 和其他指标的更多信息,请参阅 Arize 文档。
- LLM Tracing 标签页中的所有指标都可以添加到 Datasets。要将 span 添加到 Dataset,点击 Add to Dataset 按钮。
- 要查看 Dataset,点击 Datasets 标签页,然后选择你的 Dataset。关于 Datasets 的更多信息,请参阅 Arize 文档。