评测与可观测特定场景目录补充
Giskard
Giskard-AI / giskard
agent 的评测、红队与测试生成,含 RAG 质量与提示注入扫描。
为什么选
- 安全测试与质量评测放在一套 API。
- 支持多轮 agent 与 RAG。
- 适合上线前做风险扫描。
不适合
扫描结果不是安全保证,仍需人工复核。
v2 与 v3 接口差异要看清。
许可与使用边界
GitHub 快照显示许可为 Apache-2.0。开源不等于可商用:GPL / AGPL 有传染性;代码许可、模型许可、生成内容许可要分开看。上线前读仓库 LICENSE 与模型卡,必要时让法务确认。
替代与相邻
- Inspect AI — 特定场景,英国 AI 安全研究院的评测框架,适合做严谨、可复现的任务评测。
- DeepEval — 先试这个,像写单元测试一样测 LLM:断言、指标、数据集与 CI 集成。
- TruLens — 生产可用,LLM 实验与 agent 的评测、追踪,基于 OpenTelemetry,强调可解释评分。
下一步
- 打开 GitHub,先读 README、LICENSE、最近 release 与 issue。
- 按“部署依赖 / 显存 / 数据 / 网络 / 权限”列一张上手清单。
- 用一个小样本跑通,再决定是否进生产;不要直接上生产数据。
快照口径:stars / forks / language / license / pushed_at 来自 GitHub API 2026-11-19 快照;之后的变化没有回写。标签与“适合 / 不适合”是编辑判断,不是 GitHub 元数据。
不背书:本站只做索引与风险提示,不审计代码、不保证安全、不替你做许可判断。仓库脚本与模型权重请自行审查。