上一篇把术语串成了线,末尾留下一个判断:Agent 的表现,很大程度取决于上下文里放了什么。这篇就把「放什么」拆开讲。

先说一个几乎人人都遇到过的场景。

让 Agent 重构一个模块,前 20 分钟它思路清晰、改得干净。到了第 40 轮,它开始犯一些低级的错:明明第一步就确定「不要动 A 文件」,这时候却改了 A;或者刚修好的测试,转头又改回原来的写法。你翻它的执行记录,发现它并没有变傻——它只是忘了,而且是那种自己都没意识到的忘。

这不是模型的性格问题,是上下文的结构性问题。

一、窗口里到底装了哪几样东西

很多人对上下文的印象是「聊天记录」,实际上聊天记录往往只占一小部分。在 Claude Code 里跑一次 /context,你会看到一份类似这样的账目:

1
2
3
4
5
6
7
System prompt          3.2k tokens
System tools 12.8k
MCP tools 6.1k
Memory files 1.9k
Skills (listed) 0.8k
Messages 58.4k
Free space 37.2k

换成通用说法,一个 Agent 的窗口通常由六层构成:

层 内容 谁写的 变化频率
系统提示 人设、风格、安全边界 厂商 + 开发者 一次会话固定
工具定义 工具名、描述、参数 schema 开发者 / MCP Server 一次会话固定
长期记忆 用户偏好、项目规范 记忆机制写入 跨会话累积
技能索引 Skill 名称 + 一句话简介 按需加载 会话中增长
对话历史 用户消息、模型回复、思考 会话产生 每轮增长
工具结果 文件内容、命令输出、检索片段 执行环境 每轮增长,且最胖

把这张表看懂,很多现象就顺了。为什么 /context 里工具定义能占 12k?因为每个工具的描述都是一段带示例的自然语言,几十个工具叠起来非常可观。为什么 MCP 一装就变慢?每个 MCP Server 都把一整套工具描述塞进了窗口,哪怕你这次只用其中一个。

所以「窗口满了」这件事,往往不是聊天聊多了,而是工具和工具结果把窗口吃掉了。

二、窗口比你以为的满得快

200k token 听起来像一本书。但 Agent 的日常消耗完全不是「聊天」的量级。

一次读文件就是几千 token。一个 400 行的 TS 文件,大概 5k token;读十个文件就 50k。跑一次测试,失败堆栈几百到两三千 token。grep 搜索返回命中行,看起来只是几行,实际连着文件路径和上下文也是几千。如果它为了「看清全貌」而 cat 了一个 2000 行的日志,那一次就是 30k 起步,而这 30k 里真正有用的可能只有三行。

再算一笔更极端的账:让 Agent 看一张截图。一张 1080p 的界面截图在多数模型里按图块折算,动辄 1k~2k token。截五次图,等于又读了一遍半个代码库。

于是有个反直觉的结论:在 Agent 场景里,token 不是被「对话」消耗的,是被「观察」消耗的。这也是为什么成熟的 Coding Agent 都在拼命做两件事——用精确检索代替整文件读取(grep 优于 cat),用摘要代替原始输出(只回传失败用例,不回传全量日志)。

一条很实用的自检:如果你发现 Agent 在第 N 轮开始重复劳动或自相矛盾,先别怀疑模型,去看看它的窗口还剩多少、最近五轮塞进去了多少工具结果。

三、装进去不等于读到了

窗口没满,也不代表信息被有效利用。这里有两个绕不开的机制。

注意力不是均匀分布的。 长上下文里,位于开头和结尾的信息更容易被使用,中间部分容易被忽略——业界叫「lost in the middle」。这解释了两种现象:System Prompt 里第一条规则通常最受重视;而你 20 轮前说过的一句关键约束,即使还在窗口里,也可能被彻底忽略。

干扰项会拉低整体准确率。 把 10 个文件丢进上下文,其中 9 个无关,模型反而更容易抓错重点。相关信息的密度下降,判断质量就下降。这和人类开会一样:材料准备了三斤,重点反而没人记得住。

这两点合起来说明一件事:上下文工程的收益,主要来自「少而准」,不是「多而全」。往窗口里堆资料,是新手最容易犯的错,也是最贵的那种错——既花钱,又降智。

四、四个动作:写、选、压、隔

业界比较通用的拆法是四类操作,我觉得这套框架最好用,因为它把「上下文管理」从玄学变成可落地的动作清单。

写(Write):把信息挪到窗口外

窗口是内存,不是硬盘。需要长期保留的东西,应该写到窗口外,需要时再读回来。

最典型的是草稿本(scratchpad):让 Agent 把计划、进度、已排除的假设写进一个文件,比如 PLAN.md。这样中途即使发生压缩,重读这个文件就能恢复状态——比指望摘要记住所有细节可靠得多。

这也解释了一个实践:长任务开始前,先让 Agent 写一份计划文件。看起来多了一步,实际是在给自己造一个「不怕压缩的外部记忆」。

同类的还有记忆文件(跨会话的偏好与项目规范)、任务清单(TODO.md,哪些做完、哪些卡住)。判断标准很简单:这条信息如果丢了,任务会不会崩?会,就写出去。

选(Select):只放进相关的那部分

绝大多数「上下文问题」本质是检索问题。要做的不是塞更多,而是塞更准。

具体手段按精度从高到低:

  • 精确检索:grep 找符号、找调用点,只读命中的几行,而不是整个文件。
  • 结构化索引:先读目录树、再看函数签名,最后才读实现。
  • 语义检索(RAG):问题与文档措辞不重合时(「忘记密码」对「账号找回」),靠向量相似度而不是关键词。
  • 渐进式披露:先只加载 Skill 的名字和一句话简介,判断相关了再读正文、再读参考文档。

这四种手段的共同点:在信息进入窗口之前做筛选。等到信息已经在窗口里了再想「怎么让它突出重点」,成本高得多。

压(Compress):用摘要换空间

窗口见底时,把早期内容替换成摘要。这件事各家叫法不同(compaction、summarization、context folding),机制是一样的:让模型自己把前面几十轮总结成几百字,保留结论、丢掉过程,然后接着跑。

压缩必然有损,所以关键不是「能不能压」,而是压什么、留什么。后面第五节细讲。

还有一类容易被忽略的轻量压缩:结构化替代原文。工具返回 200 行日志,先在程序侧过滤成「失败的 3 个用例 + 关键堆栈」,再回灌;而不是原样丢进去让模型自己找。能在程序里做的事,别留给模型。

隔(Isolate):给不同任务各自的窗口

一个窗口装不下所有事,那就分窗口。

最实用的是子 Agent(sub-agent):主 Agent 派一个子任务给独立上下文的执行者,子 Agent 在自己的窗口里读一堆文件、试错、跑测试,最后只把结论带回主上下文。整个过程里,主窗口只增加了几百字,而不是几万 token 的工具结果。

这也是「多 Agent」在工程上最早站住脚的理由:它的第一价值不是「多个角色协作」,而是上下文隔离。至于角色分工带来的能力增益,那是第二层的事,且经常被通信成本抵消。

还有更简单的隔离方式:一个会话只处理一个问题。听起来朴素,但它是所有上下文管理里性价比最高的一条。

五、长任务里怎么压,才不把任务压坏

压缩之所以容易出事故,是因为它看起来只是「总结一下」,实际上是在丢弃证据。踩过几次坑之后,我总结出三条优先级很高的保留项:

  1. 约束与禁区:不许改哪些文件、必须遵守哪些接口约定、用户的硬性要求。这类信息一旦丢失,后续所有工作都可能白做。
  2. 当前状态:改到哪一步、哪些已验证、哪些是已知失败。丢了它,Agent 会重复劳动,甚至把修好的改回去。
  3. 下一步意图:正在尝试的方案、已排除的假设。丢了它,Agent 会重新走一遍死路。

反过来,可以放心丢的是:完整的工具输出、试错过程中的中间文件内容、已经得出结论的推理过程。

实操上有个比「让模型自由总结」更稳的做法:压缩前先把上面三类信息固化到文件里(计划文件、进度清单),压缩只针对对话历史。这样即使摘要质量不佳,骨架还在。

验证压缩是否压坏了,也有个笨办法但很有效:压缩后让 Agent 复述一遍「当前任务目标、约束、下一步」,对不上就说明压丢了东西,得从文件里补回来。

六、一份可以直接抄的预算表

不用精确到 token,按比例控制就够用。以下是我在中等复杂度任务里的经验区间:

用途 建议占比 说明
系统提示 + 工具定义 ≤ 15% 超过就该裁剪工具,或把不用的 MCP 关掉
长期记忆 + 技能索引 ≤ 10% 记忆要短,索引只放名字和一句话
检索到的资料 / 文件内容 30%~40% 密度优先,宁少勿滥
对话与思考历史 20%~30% 到 40% 就该考虑压缩
留给输出与下一轮 ≥ 15% 别把窗口用满,输出也需要空间

把它写成一个脚本,跑一次就知道自己是不是在超标:

1
2
3
4
5
6
7
8
9
10
11
budget = {
"system+tools": 0.15,
"memory+skills": 0.10,
"retrieved": 0.35,
"history": 0.25,
"headroom": 0.15,
}

window = 200_000
for name, ratio in budget.items():
print(f"{name:14s} {int(window * ratio):>7d} tokens")

顺带一提,多数厂商对长上下文是阶梯计价或缓存折扣的:同一段前缀反复使用可以命中 prompt cache,价格大幅下降;但缓存对顺序敏感——一旦你在开头插了新内容,后面的缓存全部失效。所以「稳定不变的东西放前面,变化的东西放后面」不只是为了注意力,也是为了省钱。

七、七个常见误区

  • 「窗口大就随便塞」:窗口越大,中间信息的利用率越低,干扰项越多,效果不一定更好。
  • 「压缩等于无损压缩」:摘要一定丢细节,别把硬约束交给摘要保管。
  • 「工具越多能力越强」:工具定义常驻窗口,装 50 个工具等于每轮都在为 50 份说明书付费。
  • 「让模型自己去找重点」:能在程序侧过滤的,别交给概率模型判断。
  • 「上下文越干净越好」:过度裁剪会让模型缺少必要的领域约定,边界案例照样翻车。
  • 「一轮一压缩最安全」:压缩本身要花 token 和时间,压得太勤反而更贵、更容易丢信息。
  • 「聊天记录不重要,反正有记忆文件」:记忆文件是给下一次用的,当前任务的推理链还得靠对话历史。

八、落到实践的检查清单

  • 开始长任务前,先产出计划文件;把约束、验收标准写进去。
  • 用精确检索代替整文件读取;读之前先确认真的需要读。
  • 工具按需装载,不用的 MCP 关掉,工具描述写短、写准。
  • 对话历史到窗口 40% 时开始规划压缩,别等报错。
  • 压缩前把「约束 / 状态 / 下一步」固化到文件,压缩后再让 Agent 复述验证。
  • 多线程任务用子 Agent 隔离,主上下文只收结论。
  • 稳定前缀放前面,变动内容放后面,顺手吃到缓存折扣。

窗口是 Agent 唯一的「工作台」,它的容量有限、注意力分布不均、还怕干扰。所谓上下文工程,无非是在这张工作台上,该写的写出去,该选的选精准,该压的压干净,该隔的隔开。

下一篇聊模型本身:同一个 prompt,换模型为什么差那么多,temperature 之类的参数到底该怎么设。

系列大纲与全部篇目见:Agent 原理与开发。

延伸阅读