Docs
文档目录

记忆遗忘机制、艾宾浩斯衰减与数据保留治理

功能概述与核心场景

一个只会无限追加写入而缺乏受控遗忘机制(Controlled Forgetting)的企业级记忆系统,随着运行时间推移必然会走向退化:

  1. 过时事实污染上下文窗口:三个月前某次工单排查中的临时配置或早已下线的测试节点,如果长期滞留在检索候选集中,会干扰大模型对当前生产状态的判断;

  2. 高价值记忆被长尾噪声淹没:未经筛选的寒暄、一次性调试草稿(working)与核心架构基线(long_term)争夺有限的向量召回 Top-K 名额与 Prompt Token 预算;

  3. 企业数据安全与隐私合规要求(GDPR / 个人信息保护):企业合规审计明确要求对对话记录(conversation)、客观事实(fact)、请求审计事件(audit)以及用户主动要求删除的数据实施严格的生命周期保留窗口(TTL)与不可逆擦除。

为此,Agentbase Memory(v2.10.0)构建了由 艾宾浩斯自适应衰减与跨层晋升模型(Ebbinghaus Adaptive Decay & Promotion)、三阶段后台遗忘流水线(Forgetting Pipeline)、系统级 TTL 保留策略(retention 命名空间) 以及 即时隐私删除与防重学墓碑(Explicit DELETE) 组成的全生命周期遗忘治理体系。

在 Agentbase 企业智能中台(组织 ID:69c6d1aa00062e6bb60)的标杆项目 企业智能客服与知识中台(项目 ID:enterprise-ai-hub-210,基于 OceanBase Shared V2 存储模式)中,运维与架构团队通过遗忘 Pipeline 自动淘汰 user_lina_002 在日常工单中的一次性临时排查草稿,同时将 user_zhangwei_001 反复高频召回的集群排障参数从 working 自动晋升至 long_term,并通过单用户 Dry-Run 预览工具在策略上线前零风险验证每条记忆的保留、晋升与归档计划。


核心概念与架构

Agentbase Memory 的遗忘治理架构将“基于认知热度的自适应衰减晋升”、“基于合规日历的硬过期(Hard TTL)”与“基于用户意愿的主动删除(Explicit Delete)”清晰解耦,如下图所示:

记忆遗忘机制、艾宾浩斯衰减与数据保留治理:流程示意,不是运行截图

流程示意,不是运行截图;按箭头阅读步骤或状态之间的关系。

查看流程图大图

1. 艾宾浩斯自适应遗忘数学模型与跨层晋升机制

后台遗忘流水线不依赖不可控的大模型主观猜测,而是采用确定性的艾宾浩斯指数衰减与间隔复习(Spaced Repetition)数学模型评估每一条记忆的实时保留率(Retention Score):

(1)核心保留率衰减公式

在不发生召回强化的自然流逝状态下,一条记忆在距上次强化时间间隔 $\Delta t$ 时的保留率 $R(t)$ 计算公式为:

$$R(t) = R_0 \cdot e^{-\lambda \cdot m_{\text{tier}} \cdot \Delta t}$$

其中各数学参数的工程映射与默认取值如下:

数学符号配置参数名默认值 / 取值范围物理意义与调优作用
$R_0$initial_retention1.0(范围 0.1 ~ 1.0)记忆刚创建或刚完成一次强化的初始保留率基准值。
$\lambda$decay_rate0.05(范围 0.001 ~ 1.0)全局基准时间衰减常数。$\lambda$ 越大,所有层级的记忆整体遗忘速度越快。
$m_{\text{tier}}$decay_rate_multipliers- working: 2.0
- short_term: 1.0
- long_term: 0.3
三层时效记忆的专属衰减速率乘数:
- 工作记忆(working)以 2 倍速率快速衰减;
- 短期记忆(short_term)按 1 倍标准速率衰减;
- 长期记忆(long_term)按 0.3 倍慢速衰减,长期稳固留存。
$T_{\text{protect}}$minimum_protection_hours24 小时(可在 policy.forgetting 中调至 168 小时)新记忆最短保护窗口:记忆写入后的前 $T_{\text{protect}}$ 小时内处于免衰减保护期,后台遗忘扫描不会将其淘汰归档,防止刚写入的重要信息在尚未被下一轮会话消费前就被过早衰减。

(2)间隔复习强化与跨层自动晋升(Spaced Repetition & Tier Promotion)

人类记忆之所以能从瞬时工作记忆转化为终身长期记忆,关键在于遵循特定时间间隔的重复提取(Recall)。Agentbase Memory 将这一机制编码为确定性状态转移:

(3)三层独立遗忘阈值(Forgetting Thresholds)

不同层级的记忆承担不同的上下文角色,因此适用独立的淘汰阈值:

2. 后台遗忘流水线(Forgetting Pipeline)三阶段编排

在 记忆 → 配置 → 遗忘 Pipeline 中,每条遗忘流水线(scenario="forgetting")固定由以下三个确定性阶段按序编排:

阶段序号节点标识 (step)是否可关闭详细执行逻辑与核心配置项
阶段 1memory_scan(扫描记忆)必选按后台 Worker 调度周期分批拉取项目内的候选记忆记录。通过 batchSize(取值范围 1~1000,默认 200)严格限制单次扫描批次大小,保障高并发生产库(OceanBase Shared V2)在线读写零抖动。
阶段 2forgetting_decision(遗忘判断)可开关对扫描出的每条记忆综合计算:是否已过 minimum_protection_hours 保护期、当前艾宾浩斯保留率 $R(t)$、累计复习阶段、人工负向反馈以及是否触达硬过期时间,输出单条决策动作:retain(保留)、promote(跨层晋升)、review(标记待复习)或 archive / expire(归档/淘汰)。
阶段 3forgetting_operation(执行遗忘)必选在正式后台运行中批量落库执行阶段 2 的决策;而在控制台 运行样例(Dry-run) 验证模式下,该节点自动切换为只读模拟态(dryRun: true),仅汇总输出预计动作清单而绝不修改任何数据库记录。

功能入口与权限矩阵

控制台入口位于:项目 enterprise-ai-hub-210 → 记忆(Memory) → 配置 → 遗忘 Pipeline / 基础配置(路由:/console/project-{region}-enterprise-ai-hub-210/memory?tab=configuration),显式删除入口位于 记忆 → 记忆 页签。

功能场景控制台 UI 入口REST API 端点Server SDK 方法 (agentbase-node-sdk@2.10.0)所需 RBAC / API Key Scope关联模块与影响范围
配置与发布遗忘 Pipeline记忆 → 配置 → 遗忘 PipelineGET/POST /v1/memory/pipelines、PATCH /v1/memory/pipelines/{id}、POST .../publish控制面 HTTP APIConsole 管理员或 projects.write控制后台自适应衰减、复习晋升与扫描批次
单用户 Dry-Run 遗忘计划预览遗忘 Pipeline → 运行样例POST /v1/memory/pipelines/{pipelineId}/validate控制面 HTTP APIprojects.write只读扫描指定 userId 记忆并返回 retain/promote/archive 预览
配置全局 policy.forgetting 参数记忆 → 配置 → 基础配置 (policy)GET/PUT /v1/projects/{projectId}/memory/config/policy控制面 HTTP APIprojects.read / projects.write管理 permanent_forgetting_enabled 与默认衰减阈值
配置合规保留天数 (retention)记忆 → 配置 → 基础配置 (retention)GET/PUT /v1/projects/{projectId}/memory/config/retention控制面 HTTP APIprojects.read / projects.write管理记忆、审计日志、终态任务与幂等回执的 TTL 天数
显式单条/按用户批量删除记忆记忆 → 记忆 列表行尾 删除DELETE /v1/memory/memories/{memoryId}、DELETE /v1/memory/memoriesmemory.delete / memory.deleteManymemories.delete立即生效,触发 Compactor 清理索引并使关联的 L2/L3 上下文进入隔离/重建

功能详解与操作指南

步骤一:在控制台配置遗忘 Pipeline 与艾宾浩斯衰减参数

  1. 登录 Agentbase 控制台,进入组织 Agentbase 企业智能中台(69c6d1aa00062e6bb60)下的项目 企业智能客服与知识中台(enterprise-ai-hub-210),在左侧导航栏单击 记忆(Memory) 并切换至 配置 页签。

  2. 在左侧或顶部场景栏中选择 遗忘 Pipeline(forgetting)。若首次定制,单击 从默认新建 Pipeline 创建一份可编辑草稿。

  3. 依次展开三个阶段节点并核对/调整生产参数:

    • 节点 1:memory_scan(扫描记忆):将单批扫描上限 batchSize 设置为 200(范围 1~1000);

    • 节点 2:forgetting_decision(遗忘判断):

      • 保持节点开启(enabled: true);

      • 核对初始保留率 initial_retention: 1.0、基准衰减率 decay_rate: 0.05;

      • 核对三层衰减乘数 decay_rate_multipliers:working: 2.0、short_term: 1.0、long_term: 0.3;

      • 核对三层遗忘阈值:working_threshold: 0.15、short_term_threshold: 0.25、long_term_threshold: 0.10;

      • 设置新记忆最短保护期 minimum_protection_hours(默认 24 小时;对于高优生产项目可设为 168 小时即 7 天);

      • 核对间隔复习数组 review_intervals: [1, 2, 4, 7, 14, 30]、强化因子 reinforcement_factor: 1.35 与复习调整系数 review_adjustment_factor: 0.85;

      • 按合规诉求设置 permanent_forgetting_enabled(默认 false 软归档;设为 true 时自适应衰减低于阈值的记忆将进入物理清理)。

  4. 单击顶部 保存草稿。

步骤二:执行单用户 Dry-Run 遗忘计划预览(POST /v1/memory/pipelines/{pipelineId}/validate)

在将新的衰减率或遗忘阈值发布上线前,管理员最关心的问题是:“如果应用这套参数,VIP 客户 user_zhangwei_001 的哪些记忆会被归档、哪些会被晋升、哪些会保留?”

  1. 在 遗忘 Pipeline 编辑器右侧的 运行样例(Dry-run) 区域,输入测试目标用户 ID user_zhangwei_001。

  2. 单击 运行样例。系统会实时只读扫描 user_zhangwei_001 当前的可见记忆,按草稿中的艾宾浩斯参数计算每条记忆的 $R(t)$ 得分,并返回完整的预览报告(dryRun: true),全程对数据库零写入、零破坏。

  3. 也可通过控制面 API 直接调用该 Dry-Run 预览接口:

export APPBASE_ENDPOINT="https://appbuild.oceanbase.com/v1"
export APPBASE_PROJECT_ID="enterprise-ai-hub-210"
export FORGETTING_PIPELINE_ID="pipe_forgetting_ent_210"

# 对 user_zhangwei_001 执行遗忘 Pipeline 单用户 Dry-Run 预览 (零数据库变更)
curl -fsS -X POST "${APPBASE_ENDPOINT}/memory/pipelines/${FORGETTING_PIPELINE_ID}/validate" \
  -H "Cookie: ${APPBASE_CONSOLE_SESSION}" \
  -H "X-Appwrite-Project: ${APPBASE_PROJECT_ID}" \
  -H "X-Appwrite-Mode: admin" \
  -H "Content-Type: application/json" \
  --data '{
    "userId": "user_zhangwei_001",
    "scope": "user"
  }' | jq .

典型 Dry-Run 预览响应结构如下(清晰列出扫描总数 scanned 及每条记忆预计执行的 retain / promote / archive 动作):

{
  "pipelineId": "pipe_forgetting_ent_210",
  "scenario": "forgetting",
  "dryRun": true,
  "scanned": 18,
  "summary": {
    "retain": 13,
    "promote": 3,
    "archive": 2
  },
  "actions": [
    {
      "memoryId": "mem_8f92a1c4b7e011ef",
      "userId": "user_zhangwei_001",
      "currentTier": "long_term",
      "retentionScore": 0.94,
      "threshold": 0.10,
      "action": "retain",
      "reason": "within_protection_or_above_long_term_threshold"
    },
    {
      "memoryId": "mem_3c71d9a0b81244ef",
      "userId": "user_zhangwei_001",
      "currentTier": "working",
      "targetTier": "short_term",
      "retentionScore": 0.88,
      "reviewStage": 2,
      "action": "promote",
      "reason": "spaced_repetition_reinforced_across_intervals"
    },
    {
      "memoryId": "mem_1a09e4f2c33188ab",
      "userId": "user_zhangwei_001",
      "currentTier": "working",
      "retentionScore": 0.09,
      "threshold": 0.15,
      "action": "archive",
      "reason": "retention_below_working_threshold"
    }
  ]
}
  1. 确认 Dry-Run 预览结果符合预期后,单击 发布 并勾选 设为该场景默认 Pipeline(makeDefault: true)。

步骤三:区分软归档、permanent_forgetting_enabled、显式 DELETE 与 retention 命名空间

在生产运维中,务必准确区分以下三种遗忘与数据保留机制的行为边界:

1. 三种清理机制的行为边界对比表

对比维度后台自适应衰减遗忘(policy.forgetting)系统级日历 TTL 保留策略(retention 命名空间)显式主动删除(DELETE /v1/memory/memories*)
触发条件记忆保留率 $R(t)$ 跌破对应层级阈值(如 working < 0.15)记录存活天数超过 retention 配置的日历天数上限(硬过期)业务服务端或控制台管理员显式调用 DELETE 接口
permanent_forgetting_enabled 的作用直接受该开关控制:
- false(默认):仅执行软归档(Archive),停止被在线搜索召回,但保留底层物理行供合规审计;
- true:标记 forgotten 并交由后台 Compactor 永久擦除向量与主表数据。
不受该开关限制:一旦触达硬过期时间,在线读取立即不可见(Fail-closed),并在宽限期后由后台物理清理。不受该开关限制:无论 permanent_forgetting_enabled 是 true 还是 false,显式 DELETE 始终立即生效并触发不可逆清理。
防重学墓碑保护软归档记录支持通过后续治理恢复硬过期清理后按新写入处理自动记录内容哈希墓碑,拦截相同内容静默重学(除非显式传 reRemember: true)
对同项目 Storage 原文件的影响不删除 agent_multimedia_bucket 中的原始图片/PDF不删除 Storage 桶内原始文件绝不级联删除 Storage 桶中的原始文件(需删除文件请调 Storage API)

2. retention 命名空间参数配置与有界批量删除实战

在 记忆 → 配置 → 基础配置(/v1/projects/{projectId}/memory/config/retention)中,可按数据类型精细配置保留周期:

当某位客户发起隐私注销请求,需要立即清空其名下全部记忆时,使用 agentbase-node-sdk@2.10.0 循环执行有界批量删除(每次最多 500 条,检查 hasMore 直至清零):

// 使用官方服务端 SDK: agentbase-node-sdk@2.10.0 按用户执行合规全量遗忘清理
import { Client, Memory } from 'agentbase-node-sdk';

const client = new Client()
    .setEndpoint('https://appbuild.oceanbase.com/v1')
    .setProject('enterprise-ai-hub-210')
    .setKey(process.env.APPBASE_API_KEY);

const memory = new Memory(client);

async function purgeAllUserMemories(userId) {
    let hasMore = true;
    let totalDeleted = 0;

    while (hasMore) {
        const batchRes = await memory.deleteMany({
            userId,
            scope: 'user',
            limit: 200,
            reason: '履行用户隐私合规删除请求 (GDPR Right to be Forgotten)'
        });

        totalDeleted += batchRes.deleted || 0;
        if ((batchRes.failed || 0) > 0) {
            throw new Error(`批量遗忘存在失败项: failed=${batchRes.failed}`);
        }
        hasMore = Boolean(batchRes.hasMore);
    }

    console.log(`用户 ${userId} 记忆已全部清理完毕,累计永久遗忘 ${totalDeleted} 条记录。`);
}

await purgeAllUserMemories('user_lina_002');

常见问题与排障(FAQ)

1. 我已经将 permanent_forgetting_enabled 设置为 false,为什么调用 DELETE /v1/memory/memories/{memoryId} 后该记忆仍然被永久清理了?

2. 用户主动删除了一条记忆后,为什么后续对话中再次提到完全相同的内容时,系统没有重新写入这条记忆?

3. 当底层 L1 记忆因到期或衰减被遗忘后,基于它构建的用户画像和 L2/L3 Dreaming 上下文会自动更新吗?


相关文档