Promptflow打造可追溯评估LLM工作流，助力企业级AI应用落地

背景概述

随着大模型在企业业务中的落地需求日益增长，如何搭建 可追溯、可评估 的端到端工作流成为技术团队的核心挑战。Promptflow 作为微软推出的 MLOps 框架，提供了统一的流式编排、追踪与评估能力。本文基于公开教程，在 Colab 环境中完整复现了一个从 Prompt 定义 → 推理 → 评估 的闭环流程。

关键组件概览

• Promptflow 客户端：PFClient 用于管理连接、注册 Flow 与运行任务。
• OpenAIConnection：通过安全的 keyring 后端存储 API Key，避免在 Notebook 中明文泄露。
• Prompty 文件：采用 YAML/Markdown 语法描述提示模板，示例为 researcher.prompty，实现了一个简洁的研究助理角色。
• Tracing：promptflow.tracing.start_trace() 启动全链路追踪，所有函数调用均记录在 UI（Colab 中可通过日志查看）。
• LLM‑as‑Judge：使用 judge.prompty 将模型输出与预期答案对比，返回 JSON 格式的评分与评语。

实现步骤

1. 环境准备

   pip install -q keyrings.alt promptflow>=1.13.0 promptflow-tracing promptflow-tools
   

   安装后切换到 PlaintextKeyring，确保在无本地凭证的环境下也能安全读取 API Key。

2. 连接配置

   pf = PFClient()
   CONN = "open_ai_connection"
   pf.connections.create_or_update(OpenAIConnection(name=CONN, api_key=os.environ["OPENAI_API_KEY"]))
   

   若已有连接则直接复用，提升项目可移植性。

3. Prompt 定义（researcher.prompty）

   • 系统指令设定助理角色为“精确的研究员”。
   • 支持 question 与可选 hint 两个输入，若检测到算术表达式则自动计算并注入提示。

4. 类化 Flow 编写（flow.py）

   • safe_calc 提供安全的算术求值工具。
   • ResearchAssistant 类封装 Prompt 调用，返回结构化的 {question, answer, hint_used}。
   • 通过 @trace 装饰实现函数级别的执行记录。

5. 批量运行与结果收集

   base_run = pf.run(flow="flow.flex.yaml", data="data.jsonl", column_mapping={"question": "${data.question}"})
   

   支持单条查询和批量查询两种模式，输出统一为 JSONL，便于后续分析。

6. 评估流水线（eval_flow.py）

   • judge.prompty 将问题、期望答案、模型回答封装为 JSON，返回 score（0/1）与 reason。
   • Evaluator.__aggregate__ 汇总所有样本的准确率、通过数等指标，自动写入 Promptflow 的 metric 系统。

业务意义

• 透明度：每一步都有 Trace 记录，审计与调试成本大幅降低。
• 可复用：Prompty 与 Flow 配置分离，团队可快速复制不同任务的提示模板。
• 闭环评估：LLM‑as‑Judge 让模型输出的质量直接量化，为持续改进提供数据支撑。
• 平台无关：虽然示例基于 Colab，代码同样适配 AzureML、本地 Docker 环境，具备跨云迁移能力。

“在生产环境中使用 LLM，最怕的是缺乏可追溯性和评估机制。” — Promptflow 官方文档

展望

随着 Promptflow 与 Azure AI 生态的进一步融合，企业将能够在更低的门槛下实现 端到端 的生成式 AI 应用。从研发到上线的全链路可观测，将成为竞争力的关键指标。未来，期待更多开源社区贡献的 Prompty 模板与自动评估脚本，进一步丰富生态。