评测与可观测生产可用
Langfuse
langfuse / langfuse
LLM 应用的追踪、评测、prompt 管理与成本分析平台,可自托管。
- 语言
- TypeScript
- 许可
- NOASSERTION
- Stars
- 37.6k
- 最近推送
- 2026-11-19
OSS · Scene 06
上线前要能测,上线后要能看。评测管“答得对不对”,可观测管“为什么慢、为什么贵、哪一步失败”。
langfuse / langfuse
LLM 应用的追踪、评测、prompt 管理与成本分析平台,可自托管。
explodinggradients / ragas
RAG 评测库:检索相关性、答案忠实度、上下文召回等指标。
confident-ai / deepeval
像写单元测试一样测 LLM:断言、指标、数据集与 CI 集成。
promptfoo / promptfoo
prompt / 模型 / agent 的对比评测工具,配置化跑多模型多 prompt。
Arize-ai / phoenix
开源 LLM 追踪与评测平台,基于 OpenTelemetry,带可视化与数据集管理。
UKGovernmentBEIS / inspect_ai
英国 AI 安全研究院的评测框架,适合做严谨、可复现的任务评测。
| 字段 | Langfuse | Ragas | DeepEval | promptfoo | Arize Phoenix | Inspect AI |
|---|---|---|---|---|---|---|
| 上手层 | 生产可用 | 先试这个 | 先试这个 | 先试这个 | 生产可用 | 特定场景 |
| 语言 | TypeScript | Python | Python | TypeScript | Python | Python |
| 许可 | NOASSERTION | Apache-2.0 | Apache-2.0 | MIT | NOASSERTION | MIT |
| Stars | 37.6k | 16.4k | 19.5k | 27.4k | 12.3k | 3.3k |
| 最近推送 | 2026-11-19 | 2026-11-14 | 2026-11-18 | 2026-11-18 | 2026-11-18 | 2026-11-18 |
| 适合 | trace、session、评分、数据集一体化。 | 指标定义清楚,适合做 RAG 回归。 | pytest 风格,工程团队容易上手。 | YAML 配置,跑对比矩阵快。 | OTel 原生,trace 可导出到其他后端。 | 评测任务、模型、评分器结构清楚。 |
| 不适合 | 只做单次脚本调试,日志就够。 | 不是固定题集,跨项目分数不可直接比。 | 模型评委指标需要自己校准。 | 复杂 agent 轨迹评测要自己补。 | 极简日志需求,Langfuse 或普通日志就够。 | 偏研究/评测,不适合做产品观测。 |