phoenix-observability

# Phoenix - AI 观测平台 用于 LLM 应用的开源 AI 观测和评估平台，支持追踪、评估、数据集、实验和实时监控。 ## 何时使用 Phoenix **在以下情况使用 Phoenix：** - 使用详细追踪调试 LLM 应用问题 - 在数据集上运行系统性评估 - 实时监控生产环境 LLM 系统 - 构建用于提示词/模型比较的实验工作流 - 无供应商锁定的自托管观测 **核心功能：** - **追踪**: 基于 OpenTelemetry 的追踪收集，适用于任何 LLM 框架 - **评估**: 用于质量评估的“LLM 即评委”评估器 - **数据集**: 用于回归测试的版本化测试集 - **实验**: 比较提示词、模型和配置 - **Playground**: 支持多模型的交互式提示词测试 - **开源**: 支持使用 PostgreSQL 或 SQLite 自托管 **替代方案：** - **LangSmith**: 优先集成 LangChain 的托管平台 - **Weights & Biases**: 专注于深度学习实验追踪 - **Arize Cloud**: 具有企业级功能的托管版 Phoenix - **MLflow**: 通用 ML 生命周期，专注于模型注册 ## 快速开始 ### 安装 bash pip install arize-phoenix # 安装特定后端 pip install arize-phoenix[embeddings] # 嵌入分析 pip install arize-phoenix-otel # OpenTelemetry 配置 pip install arize-phoenix-evals # 评估框架 pip install arize-phoenix-client # 轻量级 REST 客户端 ### 启动 Phoenix 服务器 python import phoenix as px # 在 Notebook 中启动 (ThreadServer 模式) session = px.launch_app() # 查看 UI session.view() # 嵌入式 iframe print(session.url) # http://localhost:6006 ### 命令行服务器 (生产环境) bash # 启动 Phoenix 服务器 phoenix serve # 使用 PostgreSQL export PHOENIX_SQL_DATABASE_URL="postgresql://user:pass@host/db" phoenix serve --port 6006 ### 基础追踪 python from phoenix.otel import register from openinference.instrumentation.openai import OpenAIInstrumentor # 配置 Phoenix 的 OpenTelemetry tracer_provider = register( project_name="my-llm-app", endpoint="http://localhost:6006/v1/traces" ) # 注入 OpenAI SDK OpenAIInstrumentor().instrument(tracer_provider=tracer_provider) # 所有 OpenAI 调用现在都会被追踪 from openai import OpenAI client = OpenAI() response = client.chat.completions.create( model="gpt-4o", messages=[{"role": "user", "content": "H"}] )