内容审核
内容审核基于阿里云内容安全(Green MultiModalGuard),在写入路径上对数据库文本与存储图片做预检(审核模式为 pre:先审核、后落库 / 落盘)。审核在项目维度配置,控制台侧栏入口为 Moderation / 内容审核。
覆盖范围
| 对象 | 审核内容 | 说明 |
|---|---|---|
| Database 文本 | Table 中字符串类型字段的写入内容 | 逐行写入时预检 |
| Storage 图片 | 上传的图片对象(image/*) | 上传路径预检 |
- 不在范围内:视频、音频、文档等其他类型;也不产生「待审核 / 通过 / 驳回」的人工工作流状态——审核是写路径上的自动门禁,没有事后人工处理队列。
- 资源级配置状态语义:
active(生效)、inactive(未生效)、disabled_by_project(项目侧关闭)。
审核结果
单次审核返回四种结果:
| 结果 | 写入行为 |
|---|---|
| pass(通过) | 放行 |
| block(拦截) | 拒绝写入 |
| review(人工复核) | 按拦截处理(服务判定需人工复核的内容不放行) |
| error(错误) | 审核服务调用失败时的保守处理 |
审核日志记录命中的风险标签(Labels)、置信度(Confidence)与建议动作(Suggestion:pass / review / block / mask),便于回溯判定依据。
存储侧 fail-closed 语义
图片审核为失败关闭:对象被拦截、判定超限或审核调用异常时,已上传对象会被删除(不保留待审副本)。审核服务经有时效的签名 URL 读取待检图片,日志中只记录受限的文件名,不包含对象完整路径或内容。
审核凭据
| 凭据层级 | 配置方式 | 说明 |
|---|---|---|
| 项目自定义凭据 | Moderation 配置表单(或项目 API PATCH /v1/projects/{projectId}/moderation) | 提交阿里云 AccessKey / Secret 对与 HTTPS 审核端点;密钥加密存储、不回显,可随时清除后重设。高级项:超时(1–10 秒)、审核日志保留天数(1–365)、单图大小上限(1–20 MB) |
| 平台级凭据 | 平台管理员统一配置 | 项目未配置自有凭据时,以整对平台凭据回退(不做项目 / 平台字段混拼) |
- 解析顺序:项目自定义凭据优先,未配置时回退平台凭据。
- Console 的审核配置表单在「使用平台凭据」与「使用项目自定义凭据」之间切换,并显示当前生效凭据来源。
Console 使用
截图未公开:上游原图包含真实账号或资源标识。
- Moderation 首页:用量概览(最近 30 天的调用总量、平台凭据调用与项目凭据调用分项)+ 审核配置表单(凭据模式切换、端点与密钥、超时 / 日志保留 / 图片大小上限)。
- Moderation 日志页:审核记录查询,支持按资源类型(表 / 桶)、资源 ID、结果(pass / blocked / review / error)与时间范围过滤;日志详情含时间戳、资源、内容类型、内容预览(文本 ≤2000 字符 / 多模态)、Provider、标签、置信度、建议动作、请求 ID 与错误信息。
- 资源级开关:数据表详情与 Bucket 详情各自的 Moderation 页内逐资源启用审核(模式
pre(保存前检查)与内容类型text/image选择);数据表与 Bucket 的详情页提供各自的审核日志页签。
API 概览
| 端点 | 用途 |
|---|---|
PATCH /v1/projects/{projectId}/moderation | 配置项目审核(凭据模式、端点、开关) |
/v1/moderation-configs 系列 | 资源级审核配置的创建 / 查询 / 更新 / 删除 |
/v1/moderation-logs 系列 | 审核日志查询 |
与模型 Provider 凭据的区别
内容审核凭据与模型 Provider 凭据是两套独立配置,互不复用:
| 内容审核凭据 | 模型 Provider 凭据 | |
|---|---|---|
| 配置入口 | 项目 Moderation 配置 | Models 页 Providers |
| 服务对象 | 阿里云内容安全(MultiModalGuard) | 模型推理服务(OpenAI / Anthropic / DashScope / Theta 等) |
| 字段 | 审核端点 + AK/SK | 推理 Base URL + API Key、模型与能力列表 |
为模型页配置的 Provider Key 不能用于内容审核;反之亦然。