内容审核
内容审核基于阿里云内容安全(Green MultiModalGuard),在写入路径上对数据库文本与存储图片做审核。审核模式支持 pre(同步前置:先审核、后落库 / 落盘)、post(先落库再异步审核)与 hybrid(短文本同步、超长文本异步,按平台配置的文本长度阈值分流);post / hybrid 属于审核二期能力,由平台管理员开关统一控制,未开启时其行为等同 pre。审核在项目维度配置,控制台侧栏入口为 Moderation / 内容审核。
覆盖范围
| 对象 | 审核内容 | 说明 |
|---|---|---|
| Database 文本 | Table 中字符串类型字段的写入内容 | 逐行写入时预检 |
| Storage 图片 | 上传的图片对象(image/*) | 上传路径预检 |
- 不在范围内:视频、音频、文档等其他类型;
pre模式下审核是写路径上的自动门禁,没有事后人工处理队列(二期post/hybrid模式引入异步审核状态与人工复核,见下文)。 - 资源级配置状态语义:
active(生效)、inactive(未生效)、disabled_by_project(项目侧关闭)。
异步后置审核与人工复核(2.9.0)
审核二期把审核从「写前门禁」扩展为「异步状态机」:
| 概念 | 说明 |
|---|---|
post / hybrid 模式 | 写入先持久化、审核异步进行;hybrid 按平台文本长度阈值把短文本留在同步路径。两种模式仅在平台管理员开启二期开关后生效,否则等同 pre |
requireManualReviewOnViolation | 资源级「违规转人工复核」开关(默认开启):违规内容进入已拦截(quarantined)隔离态;关闭时改为审核异常(private_hold)——仅创建者可见的私密扣留 |
文档审核状态 moderationStatus | checking(审核中)→ pending(待审核)→ published(已发布)/ quarantined / private_hold / action_error(审核失败) |
- 读隔离:未发布(审核中 / 待审核 / 已拦截 / 审核异常)的文档对非创建者隐藏,列表总数同步修正;发布后才对他人可见,Realtime / Functions / Webhook 事件也在发布后补发。
- 自愈:卡在审核中的记录由平台周期任务按当前配置语义重判(配置缺失时按「违规转人工复核」处理),不需要用户干预。
- 表内徽标:数据表行内展示审核状态(审核中 / 待审核 / 已拦截 / 审核异常 / 审核失败)。
- 本组能力在当前 SIT 由平台开关默认关闭,Console 无独立管理页;以数据表行内徽标与 API 字段为准。
审核结果
单次审核返回四种结果:
| 结果 | 写入行为 |
|---|---|
| pass(通过) | 放行 |
| block(拦截) | 拒绝写入 |
| review(人工复核) | 按拦截处理(服务判定需人工复核的内容不放行) |
| error(错误) | 审核服务调用失败时的保守处理 |
审核日志记录命中的风险标签(Labels)、置信度(Confidence)与建议动作(Suggestion:pass / review / block / mask),便于回溯判定依据。
存储侧 fail-closed 语义
图片审核为失败关闭:对象被拦截、判定超限或审核调用异常时,已上传对象会被删除(不保留待审副本)。审核服务经有时效的签名 URL 读取待检图片,日志中只记录受限的文件名,不包含对象完整路径或内容。
审核凭据
| 凭据层级 | 配置方式 | 说明 |
|---|---|---|
| 项目自定义凭据 | Moderation 配置表单(或项目 API PATCH /v1/projects/{projectId}/moderation) | 提交阿里云 AccessKey / Secret 对与 HTTPS 审核端点;密钥加密存储、不回显,可随时清除后重设。高级项:超时(1–10 秒)、审核日志保留天数(1–365)、单图大小上限(1–20 MB) |
| 平台级凭据 | 平台管理员统一配置 | 项目未配置自有凭据时,以整对平台凭据回退(不做项目 / 平台字段混拼) |
- 解析顺序:项目自定义凭据优先,未配置时回退平台凭据。
- Console 的审核配置表单在「使用平台凭据」与「使用项目自定义凭据」之间切换,并显示当前生效凭据来源。
Console 使用
截图未公开:原图可能包含账号或资源标识。
- Moderation 首页:用量概览(最近 30 天的调用总量、平台凭据调用与项目凭据调用分项)+ 审核配置表单(凭据模式切换、端点与密钥、超时 / 日志保留 / 图片大小上限)。
- Moderation 日志页:审核记录查询,支持按资源类型(表 / 桶)、资源 ID、结果(pass / blocked / review / error)与时间范围过滤;日志详情含时间戳、资源、内容类型、内容预览(文本 ≤2000 字符 / 多模态)、Provider、标签、置信度、建议动作、请求 ID 与错误信息。
- 资源级开关:数据表详情与 Bucket 详情各自的 Moderation 页内逐资源启用审核(模式
pre(保存前检查);二期开启后可选post(异步后置)与hybrid(长短文本分流),并可设置违规时转人工复核)与内容类型text/image选择;数据表与 Bucket 的详情页提供各自的审核日志页签。
API 概览
| 端点 | 用途 |
|---|---|
PATCH /v1/projects/{projectId}/moderation | 配置项目审核(凭据模式、端点、开关) |
/v1/moderation-configs 系列 | 资源级审核配置的创建 / 查询 / 更新 / 删除 |
/v1/moderation-logs 系列 | 审核日志查询 |
与模型 Provider 凭据的区别
内容审核凭据与模型 Provider 凭据是两套独立配置,互不复用:
| 内容审核凭据 | 模型 Provider 凭据 | |
|---|---|---|
| 配置入口 | 项目 Moderation 配置 | Models 页 Providers |
| 服务对象 | 阿里云内容安全(MultiModalGuard) | 模型推理服务(OpenAI / Anthropic / DashScope / Theta 等) |
| 字段 | 审核端点 + AK/SK | 推理 Base URL + API Key、模型与能力列表 |
为模型页配置的 Provider Key 不能用于内容审核;反之亦然。