评估与评分
评估(Evals)
截图未公开:上游原图包含真实账号或资源标识。
评估把「选模板 → 映射变量 → 创建任务 → 查看结果」放在同一条工作流中:
- 模板目录:按来源筛选(平台内置、RAGAS、当前项目自定义),并按评测轮次(单轮 / 多轮 / 轨迹)归类;内置模板覆盖正确性、忠实度、幻觉、上下文精确率 / 召回率、RAG 查询质量、SQL 语义等价、会话意图跟随等常见维度。
- 变量映射:把模板变量映射到 Trace、Observation(generation / tool / retriever 等)、Dataset item 或 Session 的具体列(如 input / output / expected_output / trajectory)。
- 任务目标:可对单条 Trace、数据集运行项(Dataset run item)或会话(Session)创建评估任务;数据集评估支持以 Agent 为目标(对 Agent 轨迹批量评估)。
- 评估技能(Evaluation Skills):支持上传与管理评估技能包(
.zip/.tar.gz/.tgz,或由 Markdown 新建),技能版本可下载为 ZIP 包;技能可挂接 MCP 工具并展示调用过程,用于自定义 Agent 评估。Console 评估新增 evaluation-skills 页面(技能列表 / 详情 / 新建)。 - 评估范围与 MCP 工具发现:评估任务支持按观测类型与名称匹配规则圈定评估范围(如仅评估 GENERATION / AGENT 类观测);可发现 AI Gateway 上可用的只读 MCP 工具用于评估配置。
- 执行与结果:任务页展示执行记录与产出 Score;评分范围与阈值说明见评分配置。
前置条件:
- 当前用户具有项目 Observability 读取权限;创建模板或评估任务还需要写权限。
- 评估需要项目中已配置且可用的模型 Provider 与模型(见模型与 AI 网关);模板必需的变量缺失时任务不会以降级方式继续执行。
评分与人工标注
- Scores:统一查看自动评估与人工评分,支持按数值、时间过滤与评分详情;Score settings 维护评分配置。
- Annotations:创建标注队列,选择评分配置与指派成员,把 Trace、Observation 或 Session 加入队列分配复核;队列展示待办 / 完成进度,仅被指派的项目成员可领取并完成队列项。