AgentbaseDocs
文档目录

内容审核

内容审核基于阿里云内容安全(Green MultiModalGuard),在写入路径上对数据库文本与存储图片做审核。审核模式支持 pre(同步前置:先审核、后落库 / 落盘)、post(先落库再异步审核)与 hybrid(短文本同步、超长文本异步,按平台配置的文本长度阈值分流);post / hybrid 属于审核二期能力,由平台管理员开关统一控制,未开启时其行为等同 pre。审核在项目维度配置,控制台侧栏入口为 Moderation / 内容审核。

覆盖范围

对象审核内容说明
Database 文本Table 中字符串类型字段的写入内容逐行写入时预检
Storage 图片上传的图片对象(image/*)上传路径预检

异步后置审核与人工复核(2.9.0)

审核二期把审核从「写前门禁」扩展为「异步状态机」:

概念说明
post / hybrid 模式写入先持久化、审核异步进行;hybrid 按平台文本长度阈值把短文本留在同步路径。两种模式仅在平台管理员开启二期开关后生效,否则等同 pre
requireManualReviewOnViolation资源级「违规转人工复核」开关(默认开启):违规内容进入已拦截(quarantined)隔离态;关闭时改为审核异常(private_hold)——仅创建者可见的私密扣留
文档审核状态 moderationStatuschecking(审核中)→ pending(待审核)→ published(已发布)/ quarantined / private_hold / action_error(审核失败)

审核结果

单次审核返回四种结果:

结果写入行为
pass(通过)放行
block(拦截)拒绝写入
review(人工复核)按拦截处理(服务判定需人工复核的内容不放行)
error(错误)审核服务调用失败时的保守处理

审核日志记录命中的风险标签(Labels)、置信度(Confidence)与建议动作(Suggestion:pass / review / block / mask),便于回溯判定依据。

存储侧 fail-closed 语义

图片审核为失败关闭:对象被拦截、判定超限或审核调用异常时,已上传对象会被删除(不保留待审副本)。审核服务经有时效的签名 URL 读取待检图片,日志中只记录受限的文件名,不包含对象完整路径或内容。

审核凭据

凭据层级配置方式说明
项目自定义凭据Moderation 配置表单(或项目 API PATCH /v1/projects/{projectId}/moderation)提交阿里云 AccessKey / Secret 对与 HTTPS 审核端点;密钥加密存储、不回显,可随时清除后重设。高级项:超时(1–10 秒)、审核日志保留天数(1–365)、单图大小上限(1–20 MB)
平台级凭据平台管理员统一配置项目未配置自有凭据时,以整对平台凭据回退(不做项目 / 平台字段混拼)

Console 使用

截图未公开:原图可能包含账号或资源标识。

API 概览

端点用途
PATCH /v1/projects/{projectId}/moderation配置项目审核(凭据模式、端点、开关)
/v1/moderation-configs 系列资源级审核配置的创建 / 查询 / 更新 / 删除
/v1/moderation-logs 系列审核日志查询

与模型 Provider 凭据的区别

内容审核凭据与模型 Provider 凭据是两套独立配置,互不复用:

内容审核凭据模型 Provider 凭据
配置入口项目 Moderation 配置Models 页 Providers
服务对象阿里云内容安全(MultiModalGuard)模型推理服务(OpenAI / Anthropic / DashScope / Theta 等)
字段审核端点 + AK/SK推理 Base URL + API Key、模型与能力列表

为模型页配置的 Provider Key 不能用于内容审核;反之亦然。

相关页面