上下文压缩 Compaction
一次六小时的重构,跑到第四个小时,Agent 第三次压缩上下文。压缩之后它做的第一件事,是把我们两小时前刚删掉的一个字段又加了回去。测试全绿,因为那个字段确实曾经是必需的,只是新的接口约定不再需要它。
我翻执行记录,约束是在第二次压缩时丢的。原始表述是「新接口不再返回 legacy_id,但数据库列暂时保留」,到摘要里变成了「保留 legacy_id」。一个否定词,一个限定条件,两小时的返工。
这件事之后我对压缩的判断变了。压缩最危险的地方不是「忘掉细节」,细节忘了还能重读文件。真正危险的是记住了一个过时的版本,而且模型自己不知道它记错了。它不会说「我不确定这条约束还成不成立」,它会非常自信地按错的来。
一、先说和 /AI/02/ 的分工
/AI/02/ 讲的是上下文工程的策略与预算:窗口里装了什么、什么时候该写出去、什么时候该压缩、压完该保留哪三类信息。那篇回答的是「要不要压、压完留什么」。
这篇只讲「压」这一个动作的实现细节:什么时候触发、先压哪一段、用什么算法、压完怎么验证、哪些内容根本不该进摘要。如果你还没定预算和保留原则,建议先回去看那篇,否则下面这些参数没有参照系。
一句话衔接:02 决定压缩的边界,12 决定压缩的手艺。
二、触发时机:三种信号与两个极端
压缩不是越早越好,也不是越晚越好。它有一个不宽的最优区间。
| 触发方式 | 优点 | 缺点 |
|---|---|---|
| 窗口阈值(70%~80%) | 按需触发,不浪费 | 常常落在任务中途,打断推理链 |
| 固定轮数(每 N 轮) | 可预测,好实现 | 与信息密度无关,空转也压 |
| 任务边界(子目标完成) | 语义完整,压得干净 | 需要识别边界,边界不一定等窗口 |
| 手动触发 | 完全可控 | 依赖人,关键时刻容易忘 |
我现在的默认组合是:以任务边界为主,窗口阈值兜底。一个子目标做完,测试通过,状态清楚,这时候压一次最干净,因为「做完的事」可以整段折叠,「没做完的事」原样保留。如果一直没到边界,窗口到 75% 也必须压,否则下一步的工具结果就可能把窗口撑爆。
过早压缩的坏处很具体。刚读完的五个文件、刚试出来的两个失败原因,还在当前推理里用着,一压就没了。模型接下来会重新读文件、重新试错,token 花得更多,还可能在同一个坑里再摔一次。压缩次数越多,漂移累积得越快,因为每次摘要都在上一次摘要的基础上再丢一点限定词。
过晚压缩的坏处更隐蔽。窗口没爆,不代表状态良好。到了 90%,模型已经开始忽略中间部分的信息,/AI/02/ 里说的「lost in the middle」正在发生。它可能在第 50 轮就忘了第 3 轮定下的约束,而你以为是压缩导致的,其实是压缩来得太晚。另一种情况是窗口真的爆了,工具结果被硬截断,模型拿到半截堆栈,开始瞎猜。
一个可操作的判断:如果你发现 Agent 开始重复读同一个文件、重复问同一个问题、或者把已经改好的代码改回去,先看窗口占用。超过 80% 就立即压,别等边界。
阈值不该拍脑袋定,它和模型、任务类型都有关。200k 窗口的模型,75% 是 150k,这时压一次能腾出很大空间;1M 窗口的模型,同样的比例意味着要压掉 750k,单次压缩的输入成本非常高,反而应该更早、更小块地压。工具结果密集的任务(读代码、跑测试)到得早,纯对话任务到得晚。占用率要在程序侧统计,按消息的角色和 token 估算,不要问模型「你还记得多少」,它的自我评估没有参考价值。
还有一个信号是成本曲线。如果最近几轮的输入 token 突然翻倍,多半是某次工具调用返回了巨量结果,而不是任务本身变复杂了。这时候先定位那条结果,能丢就丢,能摘要就摘要,不一定要触发全量压缩。局部处理比整体压缩便宜得多,也更不容易丢东西。
任务边界怎么识别?靠程序,不靠模型自报。计划文件里的 checkbox 从「未完成」变成「已完成」、测试命令返回 0、提交动作完成,这些都是确定性信号。把它们挂在 Agent 的收尾步骤上,完成一个子目标就触发一次轻量压缩。模型自己说「我完成了」不算数,它经常在没跑测试的时候就认为完成了。用 Hook 在工具调用之后检查状态,比在 prompt 里要求它「记得压缩」可靠得多。
三、压什么:工具结果、对话、思考的优先级
多数人压缩时第一反应是「总结一下聊天记录」。这个顺序是反的。
| 内容 | 压缩优先级 | 处理方式 | 理由 |
|---|---|---|---|
| 工具结果 | 最高 | 程序侧过滤、只留路径、丢原文 | 体积最大,时效最强,结论可提取 |
| 对话历史 | 中 | 摘要,保留结论与决策 | 过程可丢,结论要留 |
| 思考过程 | 低 | 已完成的丢弃,当前进行中的保留 | 推理链还在用,丢了会重来 |
| 约束与决策 | 不压 | 固化到计划文件 | 丢了直接返工 |
工具结果通常最先该压,甚至该直接丢。 一次 cat 两千行日志是 30k token,真正有用的可能只有三行报错。这种东西留在上下文里,除了占地方和干扰判断,没有任何好处。更好的做法是在程序侧就处理掉:只回传失败用例、关键堆栈、命中的行号,原文写进临时文件,上下文里只留路径。等到压缩时才想起来处理,已经晚了,那 30k 已经在窗口里待了很多轮。
过滤规则可以按工具类型定,越具体越好。跑测试只回传失败用例和断言差异,通过的用例只留一行统计;查日志只留 ERROR 级别的行,前后各带五行上下文;读文件先按符号定位,只取相关函数而不是整文件;搜索只回传命中行和文件路径,不回传整段。这些规则写在工具实现里,比写在 prompt 里可靠,因为它不依赖模型自觉。一条经验是:工具结果在进入上下文之前就该瘦身,压缩只是最后一道防线。
对话历史值得压,但要分清压什么。寒暄、确认、试错过程可以丢;用户的原始要求、已经做出的决策、被否决的方案,必须留。后者往往只有一两句话,占不了多少空间,却是后续判断的依据。
思考过程要谨慎。已经完成的推理,结论已经进了对话或文件,过程可以丢;正在进行的推理,比如「我怀疑问题在连接池,接下来要验证三个假设」,这时候压掉,模型会从头再想一遍。压缩应该发生在思考告一段落的时候,而不是想到一半。
一个反直觉的结论:先把工具结果压干净,很多时候就不需要压对话了。一次任务里工具结果往往占 60% 以上,把它从 80k 降到 10k,窗口立刻宽松,对话历史可以原样保留。这比一上来就摘要对话安全得多,因为对话里的约束和决策一点没动。
四、三种算法
滚动摘要
最常见的一种:保留最近 N 轮原文,把更早的历史压成一段摘要,每次压缩时重写这段摘要。
1 | def rolling_compact(messages, keep_last=6, max_words=600): |
优点是简单、便宜,一次调用就能腾出大半窗口。缺点是每次都在重写摘要,第二代摘要是对第一代摘要的再压缩,第三代又对第二代。限定词在这种反复重写里最先消失,几轮之后,一段有条件的经验会变成一句绝对的结论。这就是上一节说的漂移。
缓解办法是保留一份「不可变的事实清单」,摘要只负责叙述,事实清单单独维护,不参与重写。但这已经接近结构化抽取了。
摘要 prompt 本身也值得设计。最差的是「总结一下上面的对话」,模型会按自己的偏好写一篇流畅的概述,重点全凭它判断。好一点的模板会明确四件事:保留哪些类别、丢弃哪些类别、长度上限、遇到冲突怎么处理。比如要求「保留所有否定词、数字、文件路径、未完成项;不确定的地方标注『待确认』,不要补全」。这些约束不能保证不漂移,但能把漂移的方向收窄。
分层摘要
把历史按阶段切开,每段单独摘要,再逐层合并。适合有明显阶段的长任务。
1 | def hierarchical_compact(messages, seg=20): |
优点是每一段只压一次,保真度比滚动摘要高,还能保留阶段划分,读起来像一份项目简史。缺点是成本和延迟翻倍:段数越多,调用越多,合并层又是一轮。它适合那种「跑几小时、有明显里程碑」的任务,不适合每十轮就压一次的短对话。
分层摘要还有一个副作用值得注意:合并阶段最容易丢冲突。两段摘要说法不一致时,模型倾向于选一个「更合理」的,而不是保留矛盾。所以我在合并 prompt 里明确要求「如有冲突,保留两种说法并标注」,宁可让摘要啰嗦一点,也不要把不确定性抹平。
结构化抽取
不写散文摘要,把历史抽成一张状态表:目标、约束、决策、产出、待办、失败尝试。
1 | STATE_FIELDS = ["goal", "constraints", "decisions", "artifacts", "done", "todo", "failed"] |
优点很突出:结构稳定,可以 diff,可以程序校验,漂移风险最低。因为它不要求模型「写得好」,只要求「填得对」,而字段是固定的,漏了能看出来。缺点是只适合有明确状态的任务,开放式的探索、创意讨论抽不出什么结构;抽取本身也会漏,尤其是那些「没说出口但很重要」的背景。
字段设计有几个讲究。约束用列表,一条一句,不要合并;决策要带一句理由,否则下次不知道为什么这么定;失败尝试要带原因,否则会重试;待办和已完成要能一一对应,方便判断进度。字段不是越多越好,七到九个够用,多了模型填不准,人也懒得看。抽取时要求「只填有证据的」,宁可留空,也不要让它把计划写成已完成,这是结构化抽取里最常见的一种假阳性。
我现在的默认组合是结构化状态 + 最近 N 轮原文。状态表保证骨架不丢,最近几轮保证细节和语气连续。纯散文摘要只在任务很轻、或者需要保留叙事顺序时用。
| 算法 | 保真度 | 成本 | 漂移风险 | 适合 |
|---|---|---|---|---|
| 滚动摘要 | 中 | 低 | 高 | 短中期对话、轻任务 |
| 分层摘要 | 较高 | 中高 | 中 | 长任务、分阶段推进 |
| 结构化抽取 | 高(结构化部分) | 中 | 低 | 工程任务、状态明确 |
五、保真三件套,以及压缩前先固化
/AI/02/ 提过压缩要保留三类信息,这里展开说怎么落地。
约束与禁区。 不许改哪些文件、必须遵守哪些接口、用户明确禁止的做法。这类信息的特点是「一句话能说清,丢了代价极大」。它们不该交给摘要保管,应该单独存。
当前状态。 改到哪一步、哪些已验证、哪些是已知失败。丢了它会重复劳动,甚至把修好的改回去。
下一步意图。 正在尝试的方案、已排除的假设。丢了它会重新走一遍死路。
关键动作是压缩前先固化。在触发压缩之前,让 Agent 把这三类信息写进一个计划文件,压缩只针对对话历史,计划文件不动。
1 | # PLAN |
为什么文件比摘要可靠?因为文件是确定性的,摘要是概率性的。文件写进去是什么就是什么,能 diff、能回滚、能人工改;摘要每次生成都可能不一样,错了你也不知道错在哪。压缩的本质是丢弃证据,而文件是唯一能把关键证据留在窗口外的东西。
顺序也很重要:先写文件,再压缩。反过来做,压缩时已经把细节丢了,再让模型回忆着写计划,写出来的东西本身就是二次失真。
计划文件要有人维护,否则它自己也会腐化。我的做法是每个子目标完成时更新一次,只改「状态」和「已知失败」,目标和约束不动。更新由 Agent 执行,但写入前要让它引用来源,比如「约束来自用户第 2 轮的原话」。文件不应该变成第二份对话记录,它只记录结论和依据,过程留在日志里。长度控制在半屏以内,超过就说明该拆分了,或者该把细节移到附属文件里。
还有一点容易被忽略:计划文件是给人看的,也是给压缩后的模型看的。所以它要短、要结构化、要能一眼扫到约束。写成三大段散文,压缩后模型读起来和读摘要没区别,等于白写。
计划文件和记忆文件不是一回事,别混。计划是任务级的,随任务开始而创建、随任务结束而废弃;记忆是跨会话的,沉淀的是可复用的偏好和约定。把本次任务的临时状态写进记忆,下次开新任务会被它干扰;把长期约定写进计划,任务一结束就丢了。边界清楚,两套东西才好维护。
六、压缩之后怎么验证
压缩完不能直接继续。模型现在的上下文是「摘要 + 最近几轮」,它可能已经丢了约束,但它自己感觉良好。必须让它复述一遍,对不上就从文件回补。
一段可以直接用的验证 prompt:
1 | 继续之前,先用不超过 10 行复述以下四项: |
最后一句很重要。不加这句,模型会倾向于编一个看起来合理的答案,而你无法区分「记得」和「编的」。加了之后,至少能把「不确定」暴露出来。
复述对不上,处理方式不是再压一次,而是从计划文件回补。把缺失的约束原文贴回上下文,再让它复述一遍。连续两次对不上,说明压缩策略有问题,要么换算法,要么降低压缩频率,要么把更多内容移到文件里。
除了让模型自述,还应该做程序校验。关键约束如果是文件路径、接口名、版本号,直接在上下文里做字符串匹配,比问模型可靠得多。
1 | must_keep = ["api/openapi.yaml", "不引入新的第三方依赖", "重试上限 3 次"] |
这条原则和 /AI/00/ 里说的一样:能用确定性程序检测的,不要交给模型判断。模型的自述是概率性的,字符串匹配是确定性的,两者结合才稳。
验证不用每次都做全套,三个时机必须做:压缩之后、关键决策之前、子 Agent 返回之后。压缩之后是防止状态丢失;关键决策之前是防止在错的约束上走远;子 Agent 返回之后是防止它的结论和主上下文对不上。平时可以只做轻量检查,比如扫一遍关键路径还在不在,成本很低。全套复述加人工核对比较重,留给不可逆的操作,比如删数据、改接口、发版。
七、成本:压缩本身也会花钱
压缩不是免费的。它要把整段历史作为输入读一遍,再生成摘要,输入和输出都计费,还要等延迟。
算一笔账。100k token 的历史,压成 2k 的摘要。按输入 2 元/百万、输出 8 元/百万算,一次压缩约 0.1 × 2 + 0.002 × 8 = 0.216 元,延迟十几秒到几十秒。压完之后每轮省下约 88k 输入,如果后面还有十轮,省下的输入费用约 1.76 元,这笔交易划算。如果只剩两轮,省 0.35 元,扣掉压缩成本,基本白忙。
还有一个容易被忽略的隐性成本:缓存失效。压缩会重写上下文前缀,之前命中的 prompt cache 全部作废,下一轮按全价计费。本来靠缓存能把长前缀的价格压到很低,一压缩,这部分收益没了。压缩越频繁,缓存越难命中,账单反而可能上涨。
| 剩余轮数 | 压缩收益 | 建议 |
|---|---|---|
| 8 轮以上 | 高 | 值得压,优先结构化 |
| 3 到 8 轮 | 中 | 看预算,能收尾就别压 |
| 少于 3 轮 | 低 | 不压,直接完成任务 |
所以「一轮一压最安全」是错的。压得太勤,成本更高,漂移更快,缓存更差。比较合理的频率是「一个子目标一次」,配合窗口阈值兜底,而不是每轮都压。
另一个省钱的细节:压缩时不必把整段历史都读进去。已经折叠过的旧摘要、已经写进计划文件的内容,可以从输入里剔除,只压「上次压缩之后新增的部分」。这叫增量压缩,能显著降低单次成本,代价是实现复杂一点,要维护压缩边界。
增量压缩的关键是记一个水位线,比如上次压缩到第几条消息,这次只处理水位线之后的部分。新摘要和旧摘要合并,而不是重新生成整段。这样做单次成本低、漂移慢,但旧摘要本身的错误会被继承下来。所以每隔几次增量压缩,还要做一次全量重建,从原始日志重新抽取状态,把累积的偏差洗掉。频率不用高,一个长任务做一两次就够。
八、有些东西不该被压缩
摘要适合叙述,不适合承载精确信息。以下几类内容,尽量用文件或结构化字段,而不是让摘要转述。
法律与合规文本。 条款措辞、免责声明、授权范围,改一个字含义就变了。摘要会把「在特定条件下可以」写成「可以」,把「不承担间接损失」写成「不承担责任」。这类内容应该整段保留,或者只放文件路径加一句「以原文为准」。
精确数值。 金额、版本号、超时时间、重试次数、阈值、坐标。摘要容易四舍五入、丢单位、把「不超过 8 秒」写成「约 8 秒」。数值应该进结构化字段,上下文里用表格呈现,带单位。
代码 diff 与报错堆栈。 精确到字符,摘要一改就没法用。diff 写进 patch 文件,堆栈只留关键几帧和文件行号,原文放临时文件。
用户的硬性要求原话。 「这个字段先不要删」和「这个字段暂时保留」在摘要里可能变成同一个意思,但前者是禁止,后者是状态。原话用引用块保留,不要转述。
| 内容 | 载体 | 上下文里放什么 |
|---|---|---|
| 法律条款 | 原文文件 | 路径 + 一句结论 + 「以原文为准」 |
| 精确数值 | 结构化字段 | 表格,带单位与来源 |
| 代码 diff | patch 文件 | 文件路径 + 变更摘要 |
| 用户原话 | 引用块 | 原文,不改写 |
| 凭证 | 不进上下文 | 环境变量或密钥管理 |
原则可以概括成一句:摘要负责指路,文件负责保真。上下文里留的是「去哪找」和「结论是什么」,不是「原文长什么样」。
与此相关的是可逆性。压缩本身不可逆,但压缩前的原始对话应该落盘,至少保留到任务结束。模型把约束记错了,你可以从原始记录里找到那句话,人工补回去,或者干脆重放一段。没有原始记录,就只能靠猜。落盘会带来存储和隐私成本,所以要有保留期限和访问控制,两害相权,保留一份短期日志通常比事后无法追溯更划算。
常见的坑
- 只在报错时才压缩。 窗口爆了才动手,工具结果已经被截断,模型已经拿着半截信息在猜。
- 先压对话,留着巨量工具输出。 顺序反了,压完对话窗口还是满的。
- 摘要里丢否定词。 「不要用 X」压成「使用 X」,这是最典型也最贵的一种失真。
- 多次压缩后不验证。 漂移是累积的,第三次压缩后的摘要可能和第二代完全不是一回事。
- 把当前任务的推理链也压掉。 模型从思考到一半的地方重新开始,之前排除的假设又试一遍。
- 压缩太频繁。 成本反超收益,缓存一直失效,账单上涨。
- 用摘要承载精确数值。 金额、超时、版本号被改写,后续判断全错。
- 没有计划文件,全指望摘要。 摘要一错,没有任何回补的来源。
- 压缩后不检查缓存影响。 前缀重写,下一轮全价,成本模型和预期不符。
- 把子 Agent 的完整日志带回主上下文再压。 应该在子 Agent 内部压完,只带结论回来。
检查清单
- 先有
/AI/02/的预算和保留原则,再定压缩参数。 - 触发以任务边界为主,窗口 75% 兜底,不按固定轮数无脑压。
- 先压工具结果,再压对话,思考只压已经完成的。
- 压缩前把约束、状态、下一步写进
PLAN.md,文件不参与压缩。 - 默认用结构化状态 + 最近 N 轮原文,少用纯散文摘要。
- 摘要 prompt 明确要求保留否定词、条件、未完成项。
- 压缩后让模型复述目标、约束、状态、下一步,找不到依据要写「不确定」。
- 关键约束用字符串匹配做程序校验,缺了就从文件回补。
- 算清压缩成本与缓存损失,剩余轮数少于三轮时不压。
- 法律条款、精确数值、diff、用户原话用文件承载,不靠摘要转述。
- 保留原始记录或日志,压缩出错时能回滚。
- 压缩策略变更后,拿一个长任务做回归,对比返工率。
压缩这个词听起来像「清理」,实际上是一次有损的证据销毁。它做得越顺滑,你越不容易发现丢了什么。等你发现的时候,通常是模型已经按错的约束干了半小时。
所以真正重要的不是压缩算法有多聪明,而是压缩之外的那套兜底:计划文件把关键信息固定住,验证 prompt 把「记错了」暴露出来,程序校验把「不确定」拦住。这三样东西在,摘要质量差一点还能救;这三样不在,摘要写得再漂亮也只是把风险藏得更深。
我的建议很朴素:先把文件写清楚,再谈压缩。压缩是减法,减法的前提是你知道什么不能减。
系列大纲与全部篇目见:Agent 原理与开发。
延伸阅读
- 上下文窗口与上下文工程 —— 压缩的策略与预算,以及约束、状态、意图三类保留项。
- 长期记忆与 Auto Memory —— 把关键约束沉淀到窗口之外,压缩才有回补的来源。
