跳到主要内容Skip to main content

OSS · Scene 06

评测与可观测

上线前要能测,上线后要能看。评测管“答得对不对”,可观测管“为什么慢、为什么贵、哪一步失败”。

6个场景精选
适合要把 LLM 应用从 demo 推到生产的人;一次性脚本不需要整套平台。适合谁

怎么选

• RAG 回归:Ragas;像单测一样测:DeepEval。
• 多模型 / 多 prompt 对比:promptfoo。
• 追踪与成本:Langfuse / Phoenix;上线前红队:Giskard。
不适合:榜单一分不代表你的场景可用。先建自己的 50–100 条评测集,再谈平台。

6 个仓库

按上手顺序,不是按 star
评测与可观测生产可用

Langfuse

langfuse / langfuse

LLM 应用的追踪、评测、prompt 管理与成本分析平台,可自托管。

语言
TypeScript
许可
NOASSERTION
Stars
37.6k
最近推送
2026-11-19
看仓库卡 →
评测与可观测先试这个

Ragas

explodinggradients / ragas

RAG 评测库:检索相关性、答案忠实度、上下文召回等指标。

语言
Python
许可
Apache-2.0
Stars
16.4k
最近推送
2026-11-14
看仓库卡 →
评测与可观测先试这个

DeepEval

confident-ai / deepeval

像写单元测试一样测 LLM:断言、指标、数据集与 CI 集成。

语言
Python
许可
Apache-2.0
Stars
19.5k
最近推送
2026-11-18
看仓库卡 →
评测与可观测先试这个

promptfoo

promptfoo / promptfoo

prompt / 模型 / agent 的对比评测工具,配置化跑多模型多 prompt。

语言
TypeScript
许可
MIT
Stars
27.4k
最近推送
2026-11-18
看仓库卡 →
评测与可观测生产可用

Arize Phoenix

Arize-ai / phoenix

开源 LLM 追踪与评测平台,基于 OpenTelemetry,带可视化与数据集管理。

语言
Python
许可
NOASSERTION
Stars
12.3k
最近推送
2026-11-18
看仓库卡 →
评测与可观测特定场景

Inspect AI

UKGovernmentBEIS / inspect_ai

英国 AI 安全研究院的评测框架,适合做严谨、可复现的任务评测。

语言
Python
许可
MIT
Stars
3.3k
最近推送
2026-11-18
看仓库卡 →

并排看

许可、语言、活跃度、适合 / 不适合
字段LangfuseRagasDeepEvalpromptfooArize PhoenixInspect AI
上手层生产可用先试这个先试这个先试这个生产可用特定场景
语言TypeScriptPythonPythonTypeScriptPythonPython
许可NOASSERTIONApache-2.0Apache-2.0MITNOASSERTIONMIT
Stars37.6k16.4k19.5k27.4k12.3k3.3k
最近推送2026-11-192026-11-142026-11-182026-11-182026-11-182026-11-18
适合trace、session、评分、数据集一体化。指标定义清楚,适合做 RAG 回归。pytest 风格,工程团队容易上手。YAML 配置,跑对比矩阵快。OTel 原生,trace 可导出到其他后端。评测任务、模型、评分器结构清楚。
不适合只做单次脚本调试,日志就够。不是固定题集,跨项目分数不可直接比。模型评委指标需要自己校准。复杂 agent 轨迹评测要自己补。极简日志需求,Langfuse 或普通日志就够。偏研究/评测,不适合做产品观测。