经验与技能蒸馏演进
功能概述与核心场景
经验与技能演进(Memory Evolution,控制台页签为 经验与技能)是 Agentbase Memory(v2.10.0)实现智能体“从实战中自我学习与沉淀知识”的核心能力。在企业级客服与运维排障场景中,智能体每天执行大量多轮对话与工具调用(Tool Execution)。普通记忆(Memories)侧重记录“关于用户的客观事实与偏好”,而经验与技能蒸馏(Distillation)则从真实的任务执行轨迹与排障对话证据中,提炼出跨会话可复用的排障经验(Experience)与标准化操作技能(Skill)。
在 Agentbase 企业智能中台(69c6d1aa00062e6bb60)的标杆项目 企业智能客服与知识中台(enterprise-ai-hub-210)中,系统通过蒸馏流水线(调用 dashscope-prod 的 qwen-plus 与 text-embedding-v3)完成了两项典型生产蒸馏任务(dst_3e5b09f456c5d5c332507ec1dbe3eb6d 与 dst_adc2cfda21c940fb5d5e4a3263ae56f9):
将处理工单
TK-20261022-001(OceanBase 向量索引构建超时与内存不足)与TK-20261022-002(AI 网关限流 429 故障转移)的成功排障轨迹,蒸馏沉淀为结构化的经验(Experience)与多步骤技能(Skill);支持
shadow -> active生命周期治理、基于置信度与独立会话数的自动激活策略(evolution.activation),以及高合规场景下的自进化二次人工确认(evolution.requireConfirmation),确保每一条进入线上召回的经验与技能都具备完整可追溯的来源证据(Provenance)。
核心概念与架构
经验与技能蒸馏从原始对话或工具轨迹中抽取候选知识,经过与存量知识的语义去重合并、模型自洽验证以及激活门槛校验(或人工二次确认),最终构建向量索引供在线检索与统一召回使用。
流程示意,不是运行截图;按箭头阅读步骤或状态之间的关系。
Experience 与 Skill 的核心区别与属性表
| 对比维度 | 经验(Experience) | 技能(Skill) |
|---|---|---|
| 定位与形态 | 可复用的情境洞察与避坑经验:记录“在什么场景下遇到什么问题、哪些做法有效、哪些做法会导致失败”。 | 可复用的标准化操作步骤(SOP):记录“为达成某类明确目标,应按什么顺序执行哪些检查、命令或工具调用”。 |
| 核心结构化字段 | 标题(title)、摘要(summary)、适用情境(context)、关键洞察/建议(insights / lesson)、置信度(confidence)、标签(tags)。 | 名称(name)、描述(description)、触发条件(triggers)、有序步骤列表(steps,含动作说明与 inputs 参数模板)、验证标准(verification)。 |
归属范围 (scope) | 支持 user(用户级)、agent(智能体级,需指定 agentId)、project(项目全局级)。 | 支持 user、agent、project;Agent 级技能要求满足跨多个独立会话(minIndependentSessionsForAgent)的复现验证才自动激活。 |
| 生命周期状态 | shadow(候选观察态,未达激活门槛或待人工确认) -> active(已激活生效) -> forgotten(已遗忘停止召回)。 | shadow -> active -> forgotten;且当某项经验依赖某个未批准的 Skill 版本时,会触发 skill_dependency_not_approved 阻塞保护。 |
| 检索与溯源接口 | GET /v1/memory/memories/experiences、POST .../experiences/search、GET .../experiences/{knowledgeId}/sources | GET /v1/memory/memories/skills、POST .../skills/search、GET .../skills/{knowledgeId}/sources |
功能入口与权限矩阵
控制台入口与 API 权限矩阵
控制台入口位于:项目 enterprise-ai-hub-210 → 记忆(Memory) → 经验与技能 页签。
| 功能模块 | 控制台操作入口 | REST API 路径 | 所需权限与认证要求 |
|---|---|---|---|
| 提交蒸馏任务 | 手动蒸馏 区域 → 提交蒸馏 | POST /v1/memory/memories/distillations | memories.write |
| 查询与重放蒸馏任务 | 蒸馏任务列表 | GET /v1/memory/memories/distillations、GET .../{distillationId}、POST .../{distillationId}/replay | memories.read / memories.write |
| 查询与检索经验/技能 | 经验 / 技能 列表与搜索框 | GET/POST /v1/memory/memories/experiences(/search)、GET/POST /v1/memory/memories/skills(/search) | memories.read |
| 查询知识来源证据 | 展开经验/技能详情 → 来源证据 | GET /v1/memory/memories/experiences/{knowledgeId}/sources、/skills/{knowledgeId}/sources | memories.read |
| 版本对比与人工二次确认 | 版本与确认 子页签 | GET/PATCH /v1/memory/memories/knowledge/reviews/{reviewId}、POST .../approve、POST .../reject、POST .../{knowledgeId}/rollback | 必须使用具备项目管理权限的真实用户凭据(Console 会话或管理员 JWT)+ memories.write;普通无主体 API Key 不可代替人工审批人 |
| 停止复用(遗忘知识) | 经验/技能行尾 遗忘 按钮 | DELETE /v1/memory/memories/experiences/{knowledgeId}、/skills/{knowledgeId} | memories.delete |
功能详解与操作指南
1. 选择归属范围并提交执行证据蒸馏(POST /v1/memory/memories/distillations)
登录 Agentbase 控制台,进入项目
企业智能客服与知识中台(enterprise-ai-hub-210),打开 记忆(Memory) → 经验与技能 页签。在页面顶部 归属范围 栏设置知识作用域:
选择范围(
user、agent或project);输入目标用户 ID(如
user_zhangwei_001或user_lina_002);若选择agent范围,还需填写目标agentId(如enterprise-support-agent),然后单击 应用范围。
界面参考:沿用已登记的历史截图,演示数据与当前项目可能不同;本次未重新取图。
在 手动蒸馏 区域输入已脱敏的客服排障对话或工具调用证据(可使用
user:、assistant:、system:、tool:前缀标记角色),选择 使用默认 Pipeline(或指定已发布的经验与技能 Pipeline),单击 提交。API 调用与
mode=async | wait双模式说明: 通过 API 提交蒸馏时,支持两种等待语义:mode: "async":任务持久化入队后立即返回 HTTP 202,响应包含distillationId(如dst_3e5b09f456c5d5c332507ec1dbe3eb6d)与status: "queued";mode: "wait":服务端保持连接等待最长 20 秒。若任务在 20 秒窗口内进入终态(succeeded、partial_failed、failed或dead),直接返回 HTTP 200 及完整产出引用;若超过 20 秒仍处于queued或running,则返回 HTTP 202,并附带"waitTimedOut": true与Location状态查询地址(等待超时仅结束本次 HTTP 阻塞,绝不会取消已在后台运行的蒸馏任务)。
# 提交工单 TK-20261022-001 的排障轨迹进行经验与技能蒸馏 (mode=wait)
curl -fsS -X POST "https://appbuild.oceanbase.com/v1/memory/memories/distillations" \
-H "X-Appwrite-Project: enterprise-ai-hub-210" \
-H "X-Appwrite-Key: <APPBASE_API_KEY>" \
-H "Idempotency-Key: distill-ticket-20261022-001" \
-H "Content-Type: application/json" \
--data '{
"userId": "user_zhangwei_001",
"agentId": "enterprise-support-agent",
"scope": "user",
"sessionId": "sess_ticket_TK_20261022_001",
"runId": "run_9f8e7d6c5b4a",
"mode": "wait",
"verifiedSuccess": true,
"messages": [
{
"role": "user",
"content": "工单 TK-20261022-001:OceanBase Shared V2 表在写入 1024 维向量时报错 OB_ALLOCATE_MEMORY_FAILED (错误码 -4013),如何快速恢复?"
},
{
"role": "tool",
"content": "{\"tool\":\"sql_diagnostics\",\"output\":\"tenant_vector_memory_limit_percentage=10%, current usage=98.7%\"}"
},
{
"role": "assistant",
"content": "经排查为租户向量内存池配额不足。标准处置步骤:1. 查询 GV$OB_VECTOR_MEMORY_INFO 核实当前租户向量内存水位;2. 将 ob_vector_memory_limit_percentage 从 10 调升至 30;3. 重新触发增量向量索引构建并核验 schema.status=ready。已执行验证恢复成功。"
}
]
}' | jq .在 蒸馏任务列表 中查看任务进度(如标杆环境中的
dst_3e5b09f456c5d5c332507ec1dbe3eb6d与dst_adc2cfda21c940fb5d5e4a3263ae56f9),核对产出统计计数:created:全新创建的 Experience 或 Skill 数量;merged:与既有知识语义高度重合、完成证据合并与版本推进的数量;skipped:模型判定对话不含可复用方法论而跳过的数量;blocked:因验证未通过或治理策略拦截而未激活的数量。
2. 激活策略配置(evolution.activation)与 shadow -> active 生命周期
新蒸馏出的知识默认是否立即变为 active,由 记忆 → 配置 → 基础配置 中的 evolution 命名空间控制:
| 配置字段路径 | 类型 | 默认值 / 取值范围 | 作用与激活判定逻辑 |
|---|---|---|---|
evolution.enabled | boolean | true | 是否启用项目级经验与技能演进能力。 |
evolution.autoDistillEnabled | boolean | false | 是否在常规会话写入时自动触发后台知识蒸馏。 |
evolution.requireConfirmation | boolean | false | 自进化二次确认开关。开启后,所有新增或合并更新的知识候选均保持 shadow 状态并生成待审批确认单(pending),必须由项目管理员人工批准后才跃迁为 active。 |
evolution.allowSingleVerifiedUserActivation | boolean | true | 在 user 作用域下,是否允许单次已验证成功的任务直接激活个人经验与技能。 |
evolution.activation.minConfidence | number | 0.0 ~ 1.0(如 0.8) | 模型验证阶段给出的置信度评分必须不低于该阈值,否则留在 shadow 态。 |
evolution.activation.minIndependentSessionsForAgent | integer | 正整数(如 2 或 3) | 针对 agent 作用域知识,要求至少在 N 个不同的独立 sessionId 中被反复蒸馏印证后,才允许从 shadow 晋升为 active,防止单次偶发对话污染全局 Agent 技能库。 |
evolution.activation.requireVerifiedSuccess | boolean | true | 是否要求提交蒸馏的源任务必须带有明确的验证成功标记(verifiedSuccess: true)。 |
3. 版本对比、人工二次确认与回滚(版本与确认)
当开启 自进化二次确认(evolution.requireConfirmation: true) 或管理员主动发起知识修订时:
在 经验与技能 页签中切换到 版本与确认 子视图,筛选
pending(待确认)记录。展开目标确认单,页面完整展示:
候选正文与结构化步骤、来源证据列表(Provenance,最多展示 100 条并显示总数)、复用范围;
版本 Diff:逐字段对比候选版本(
candidateRevisionId)与当前线上生效基线(baseActiveRevisionId)的新增、修改或删减差异。
在线编辑候选(可选):若管理员发现候选步骤措辞需要微调,可单击 编辑候选,修改内容并填写原因后保存。后台会启动异步编辑验证任务(
editJob),重新校验全部来源治理策略并重算向量投影。批准(Approve)或拒绝(Reject):
待验证就绪(
canApprove: true,无projections_not_ready、verified_success_required、skill_dependency_not_approved或source_set_changed阻塞原因)后,填写审批原因并单击 批准,候选版本原子切换为当前active版本;若单击 拒绝,则丢弃该候选,线上继续保留原生效版本。
历史版本回滚(Rollback):在 历史版本 列表中选择任一曾被批准且底层来源依然有效的历史修订,填写原因即可安全回滚。
4. 检索经验与技能及溯源查询(agentbase-node-sdk@2.10.0)
应用可通过专用搜索接口或统一召回(recall)在智能体推理前检索匹配的 active 经验与技能,并随时核查其来源证据:
// 使用官方服务端 SDK: agentbase-node-sdk@2.10.0
import { Client, Memory } from 'agentbase-node-sdk';
const client = new Client()
.setEndpoint('https://appbuild.oceanbase.com/v1')
.setProject('enterprise-ai-hub-210')
.setKey(process.env.APPBASE_API_KEY);
const memory = new Memory(client);
// 1. 语义检索已激活的排障经验 (Experiences)
const expResults = await memory.searchExperiences({
userId: 'user_zhangwei_001',
scope: 'user',
query: 'OceanBase 向量索引构建内存不足 -4013 排障经验',
limit: 5
});
// 2. 语义检索已激活的标准化技能 (Skills)
const skillResults = await memory.searchSkills({
userId: 'user_zhangwei_001',
scope: 'user',
query: 'AI 网关 429 限流与故障转移配置步骤',
limit: 5
});
// 3. 查询某条技能的不可变来源证据链 (Provenance Sources)
if (skillResults.items?.length > 0) {
const provenance = await memory.listSkillSources({
knowledgeId: skillResults.items[0].knowledgeId,
limit: 20
});
console.log('支撑该技能的原始会话来源数:', provenance.total);
}常见问题与排障(FAQ)
1. 为什么蒸馏任务状态显示 succeeded,但在 active 经验与技能列表中看不到新记录?
原因分析:可能有三种原因:① 对话内容过于简短或仅包含寒暄结论,模型判定无通用复用价值(
skipped);② 项目开启了evolution.requireConfirmation: true,或该知识属于agent范围且尚未凑够minIndependentSessionsForAgent个独立会话来源,因此生成的记录处于shadow(候选态);③ 抽取出的置信度低于evolution.activation.minConfidence。解决措施:在列表筛选器中将状态切换为
shadow或打开 版本与确认 子页签查看。若处于待确认状态,由管理员核对 Diff 后点击 批准 即可激活上线。
2. 在“版本与确认”中点击批准时,为什么按钮禁用并提示 projections_not_ready 或 source_set_changed?
原因分析:
projections_not_ready:候选版本(或刚完成人工编辑的新修订)正在后台计算text-embedding-v3向量投影,尚未落库就绪;source_set_changed:在打开详情页到点击批准期间,后台又有新的会话证据合并进了同一知识项,推进了candidateRevisionId,或者某条底层来源被用户删除导致证据集发生变化。
解决措施:刷新当前确认单详情页。若为索引准备中,等待数秒刷新即可;若为版本推进,重新审阅最新 Diff 与来源证据后再提交批准。
3. 关闭“自进化二次确认(evolution.requireConfirmation)”开关后,之前积压的待确认候选会自动发布吗?
原因分析:出于生产安全边界考虑,关闭
requireConfirmation开关仅对后续新产生的蒸馏任务恢复自动激活规则,绝不会将历史已经停留在pending状态的待确认单批量静默发布上线。解决措施:对于关闭开关前已生成的待确认单,仍需管理员在 版本与确认 页面逐项核对并点击 批准 或 拒绝。

