跳到主要内容Skip to main content
评测与可观测特定场景

Inspect AI

UKGovernmentBEIS / inspect_ai

英国 AI 安全研究院的评测框架,适合做严谨、可复现的任务评测。

3.3k stars 944 forks Python 语言 MIT 许可 最近推送 2026-11-18

为什么选

  • 评测任务、模型、评分器结构清楚。
  • 适合安全与能力评测,文档严谨。
  • 支持自定义任务与日志。

不适合

偏研究/评测,不适合做产品观测。
上手比 promptfoo 重。

许可与使用边界

GitHub 快照显示许可为 MIT。开源不等于可商用:GPL / AGPL 有传染性;代码许可、模型许可、生成内容许可要分开看。上线前读仓库 LICENSE 与模型卡,必要时让法务确认。

替代与相邻

  • DeepEval — 先试这个,像写单元测试一样测 LLM:断言、指标、数据集与 CI 集成。
  • promptfoo — 先试这个,prompt / 模型 / agent 的对比评测工具,配置化跑多模型多 prompt。
  • Ragas — 先试这个,RAG 评测库:检索相关性、答案忠实度、上下文召回等指标。

下一步

  • 打开 GitHub,先读 README、LICENSE、最近 release 与 issue。
  • 按“部署依赖 / 显存 / 数据 / 网络 / 权限”列一张上手清单。
  • 用一个小样本跑通,再决定是否进生产;不要直接上生产数据。

GitHub 仓库 ↗ 文档 ↗ 加入对比

快照口径:stars / forks / language / license / pushed_at 来自 GitHub API 2026-11-19 快照;之后的变化没有回写。标签与“适合 / 不适合”是编辑判断,不是 GitHub 元数据。
不背书:本站只做索引与风险提示,不审计代码、不保证安全、不替你做许可判断。仓库脚本与模型权重请自行审查。