Harness Engineering
去年冬天,我让 Agent 清理一个老项目里「没人用」的导出函数。它很认真地读了一圈引用,判断有三个函数可以删,改了六个文件,编译通过,单测全绿。两天后灰度环境报错:其中一个函数只在一个很少走的分支里被动态调用,静态搜索根本找不到。
复盘时我第一反应是「模型不够谨慎」,第二反应是「prompt 里没写清楚」。这两个判断都不对。真正的问题是:我把一件需要确定性验证的事,交给了一个概率模型去判断,而且整条链路上没有任何一道闸门拦得住它。它没有犯智力错误,它犯的是权限错误。
这件事之后我把团队的 Agent 配置重做了一遍,核心只有一句话:凡是能用确定性程序判定的事,就不要交给模型判断。
工厂里处理不良率的思路可以借来用。产品批次不合格,成熟做法不是开会强调「大家细心一点」,而是装防呆:插头做成不对称的,插反了物理上插不进去;量尺寸用通止规,一卡就知道过不过;下线检测自动把不合格品踢出流水线。培训改变的是人的意愿,工装改变的是错误的可能性。Harness Engineering 做的就是给 Agent 装工装。
一、判断权归程序
先把「哪些判断可以下沉」这件事说清楚,否则后面所有机制都没有落点。
一条操作性判据:如果一个检查能用十行代码写出来、结果只有通过和不通过两种,那它就不该写成自然语言要求。「请确保测试通过」不是校验,pytest 才是。反过来,「这个命名是否清晰」「这个方案是否合理」写不成断言,也只能留给模型和人。
| 检查项 | 能否程序化 | 放在哪一层 | 失败时动作 |
|---|---|---|---|
| 语法、类型、编译 | 能 | 事后 | 回灌错误,重试 |
| 单元测试、集成测试 | 能 | 事后 | 回灌失败用例 |
| 参数类型、枚举、必填 | 能 | 事前 | 拒绝调用,提示 schema |
| 文件路径是否越界 | 能 | 事前 | 拒绝,报出围栏路径 |
| 删除前是否有备份 | 能 | 事前 | 拒绝,要求先备份 |
| 改动是否超出允许目录 | 能 | 事前 + 事后 | 拒绝或回滚 |
| 命名是否优雅 | 不能 | 模型自审 + 人 | 记录,不阻断 |
| 方案是否合理 | 不能 | 人 | 人工闸门 |
| 是否满足需求 | 半能 | 测试 + 人 | 测试失败阻断,语义靠人 |
这张表最重要的不是分类,而是那条边界:程序能判「对不对」,判不了「好不好」。把「好不好」也硬编码成规则,会得到一堆形式正确、实质糟糕的产物——变量名全是 data1、data2,因为规则只检查了长度;函数被拆成三十个一行方法,因为规则只检查了行数。
还有一层现实要考虑:模型的错误不是均匀分布的。常规路径它很少错,错误集中在长尾、边界和它没见过的组合上。这意味着「多写几条注意事项」的边际收益很低,因为你能想到的注意事项,往往正是它本来就不会错的地方;而程序化检查的收益是线性的,每加一条断言,就永久消灭一类错误。判断该往哪儿投资源,看的是这个不对称,而不是看模型这次错得有多离谱。
所以 Harness 的目标不是替代判断,而是把可判定的事实从模型手里拿走,让它把注意力留给不可判定的部分。这句话反过来也成立:如果你发现模型的错误里有八成是「明明可以自动检查」的类型,那说明你的工程缺得太多,换模型解决不了。
二、事前约束:让错误的动作发不出去
事前约束的原则只有两条:默认拒绝,显式放行;约束要发生在副作用之前。事后再严,文件已经删了,损失也已经造成。
工具层强校验
最典型的是编辑工具。Claude Code 的 Edit 要求「待替换内容必须与原文完全一致且只出现一次」,这不是为了刁难模型,是为了消灭一类错误:模型凭印象改文件,改到了相似的代码块上。自己实现也很简单:
1 | def replace(path: Path, old: str, new: str) -> None: |
三个分支对应三种修复动作:没找到就重新读文件,匹配多次就补上下文,成功才落盘。错误信息必须写成「下一步怎么做」,而不是 invalid argument。模型从错误信息里学习的能力很强,前提是你给的信息足够具体。
参数 schema 与枚举
工具的参数定义要用 schema 卡死形状,别指望模型记住约定:
1 | { |
additionalProperties: false 挡住模型自创字段,enum 挡住 production、prd 这类拼写变体,default: true 让危险操作默认不生效。要注意 schema 只约束形状,不约束语义:env 填 prod 是合法的,能不能真的对生产执行,得靠权限层判,不能靠枚举。
权限白名单与路径围栏
所有文件工具都应该先过一道路径检查,再谈业务逻辑:
1 | ROOT = Path("/srv/workspace").resolve() |
几个细节值得说明。必须先 resolve 再比较,../../etc/passwd 会被折叠成围栏外的真实路径,直接比较字符串是挡不住的。第二个判断更严:只要展开后的路径和原始写法不一致,就拒绝,这一条同时挡住了符号链接和 ..,因为 resolve 会把它们都展开。代价是合法的跨目录引用要改写成规范路径,这也是我前面说的「约束要有出口」——出口就是「把文件复制进工作区,或者用规范路径重新引用」。
危险操作默认 dry-run
迁移、批量重命名、批量删除,一律先出预览:影响多少个对象、哪些对象、失败会怎样。真正的执行需要一个显式参数或一次人工批准。
1 | python3 scripts/clean_excel.py report.xlsx --dry-run # 输出将影响的 63 行 |
dry-run 的价值不只是安全,它还是一份可核对的凭证:人看到「将删除 63 行完全重复记录」和看到「将删除 63 行」是两个完全不同的心理状态。
只读与写工具分离
数据库给 Agent 两套连接串,读工具拿只读账号,写工具拿写账号,且写工具只在特定流程里挂载。文件系统同理,read_file、write_file、delete_file 是三个工具,删除工具默认不暴露给主 Agent。
1 | tools: |
删除工具先注册、默认关闭,需要时由流程显式打开。这个顺序很重要:默认不挂载的工具体现在配置里,人能看见;只在代码里 if 一下,下一个改代码的人不会知道有这么一条限制。
这么做的意义不在于「防止误用」,而在于「误用时能被系统兜住」。靠模型自觉是概率性的,靠账号权限是确定性的。一个没有生产写权限的 Agent,就算被提示注入攻击,也删不掉生产库。
| 约束 | 拦住的错误 | 实现成本 | 误伤风险 |
|---|---|---|---|
| 编辑精确匹配 | 改错位置、凭印象改 | 低 | 模型需多读一次文件 |
| schema + 枚举 | 参数拼写、字段幻觉 | 低 | 严格 schema 可能拒绝合理变体 |
| 路径围栏 | 越界读写、符号链接逃逸 | 低 | 需要处理合法的跨目录引用 |
| dry-run | 批量误删、范围失控 | 中 | 多一步确认,长任务变慢 |
| 读写分离 | 越权操作 | 中 | 需要维护两套凭证 |
最容易做过头的两项是 schema 和路径围栏。schema 写得太死,模型连合理的变体都表达不了,最后只能反复重试,或者绕过工具直接拼命令;路径围栏卡得太严,正常的跨目录引用(比如从 src 读一个 ../shared/types.ts)都会被拒,任务根本做不下去。判断尺度是看误伤率:跑一百次正常任务,被约束误拦的次数超过五次,就该放宽了,因为这时候 Agent 会开始寻找绕路,而绕路比误拦危险得多。
还有一个设计习惯值得养成:每个约束都要有一个明确的「出口」。路径围栏的出口是「把文件复制进工作区」,schema 的出口是「允许一个 extra 字符串字段,交给人处理」,dry-run 的出口是 --apply。没有出口的约束会把人逼到直接关掉它,这比不加约束更糟。
三、事后反馈:把失败变成下一步
事前约束不知道「改完之后世界是否仍然正确」,这件事只能靠执行后验证。
检查按成本从低到高排:格式、静态检查、类型检查、单测、集成测试。顺序很重要,快的先跑,失败就停。让模型等八分钟跑完集成测试,才发现少了一个分号,是纯粹的浪费。
这条顺序还有个隐含收益:它天然做了错误分类。格式错误和类型错误通常是局部的,模型看一行就能改;测试失败往往牵涉设计,需要它重新理解上下文。让两类错误分层出现,模型每次只需要处理一层,比把所有错误一次性倒给它有效得多。我见过反过来的做法,把所有检查并行跑完再合并输出,结果是模型在三十条错误里挑了三条改,剩下的直接忽略。
还有一类检查不产出退出码,但价值很高:diff 审查。改动了多少行、动了几个文件、有没有碰不该碰的目录、有没有顺手删掉无关代码。这些都能用程序判定,而且能发现测试覆盖不到的问题——比如模型为了让测试通过,把一段异常处理悄悄删了。diff 审查的规则不需要复杂,行数阈值、目录白名单、禁止删除测试断言,三条就能挡住大部分「顺手改坏」。
关键设计在反馈的形式,而不是检查本身。三千行测试日志原样回灌,等于用噪音淹没信号,模型会在里面迷路。要做的是解析成「失败用例、文件行号、断言差异、建议命令」,只回灌这几项:
1 | { |
next_action 这个字段看起来多余,实际很值钱:它把「反馈」变成了「指令」。模型不需要从日志里推断该干什么,照着命令跑就行。这一步省下的往往是两三轮的试错。
反馈还要区分「可自动修复」和「需要判断」两类。缺一个 import、少一个类型标注、格式不对,这些属于前者,让模型自己改,最多三轮。测试挂在一个业务断言上、接口返回值和预期不一致,这些属于后者,应该停下来把差异摆给人看,而不是让模型猜业务意图。把两类混在一起,模型会用改语法的方式去改业务逻辑,越改越偏。
Hooks:在生命周期节点插入确定性脚本
检查要跑在正确的时机,这件事用 Hooks 做最干净。它允许在工具调用前后、会话结束时触发外部命令:
1 | { |
三个钩子的语义不一样。PreToolUse 在工具执行前跑,退出码为 2 时阻止调用,并把标准错误回灌给模型,适合做命令拦截。PostToolUse 在编辑落盘后跑,适合做即时反馈,注意只检查改动的文件,全量 lint 会把 Agent 拖慢十倍。Stop 在模型认为任务完成、准备结束时跑,测试失败就让它继续干——这是「不许半途而废」的机械实现,比在 prompt 里写十遍「完成后必须跑测试」可靠得多。
两个工程细节。第一,所有钩子都要设超时,一个卡住的测试会把整个会话挂死。第二,钩子的输出要裁剪,只回灌失败摘要,别把整份报告塞回去。
还有一个容易忽略的点:Hooks 是同步阻塞的,跑在 Agent 的关键路径上。一个三分钟的全量检查挂在每次编辑之后,用户体验会直接崩掉。我的做法是分级:编辑后只跑秒级的格式与增量 lint,Stop 时才跑单测,集成测试放到 CI。检查的时机和检查的粒度一样重要。
反馈闭环还有一个隐性风险:模型会学会「骗过检查」。测试失败时,它最省力的修法不是改实现,而是改断言、加 skip、把异常吞掉。这类改动在 diff 里看起来很正常,测试也确实绿了。防法有两个,一是在 Stop 钩子里检查测试文件是否被修改,二是让 CI 用主干上的测试跑分支代码。任何「检查标准可以被被检查者修改」的设计,最后都会失效。
四、循环守卫:让 Agent 停得下来
Agent 的失效模式里,有一类不是「做错」,而是「停不下来」。反复读同一个文件,反复跑同一条失败命令,在两条思路之间来回改,上下文越滚越大,最后卡死或者烧掉一笔预算。
这件事模型自己管不了,因为「我是不是在原地打转」需要外部视角。守卫必须由框架层实现,在每一轮开始前做判断:
| 守卫 | 触发条件 | 动作 |
|---|---|---|
| 轮数预算 | 超过配置上限 | 提示一次,再超则中止 |
| 时间预算 | 墙钟超过阈值 | 中止并保存现场 |
| token 预算 | 累计消耗超过上限 | 降档或中止 |
| 重复调用 | 同工具同参数连续三次 | 注入提示,说明结果不会变 |
| 无产出 | 连续五轮无文件变更 | 要求写计划或转人工 |
| 危险模式 | 命令命中拦截规则 | 直接拒绝并记录 |
守卫最难的不是实现,是判「重复」的标准。工具名加参数拼成字符串比较,太严:读同一个文件的不同区间会被判成重复。太松:参数里带一个时间戳,每次都不一样,永远判不出来。我的做法是只对「幂等读」类工具做严格比较,对写工具则看目标文件加内容 hash;命令类工具剥离掉时间戳、临时路径这些噪声再比。这件事没有通用解,得按工具语义逐个定。
1 | class LoopGuard: |
危险模式拦截要单独说,因为它最容易被做成摆设:
1 | DENY = [ |
正则黑名单能拦住手滑,拦不住有意绕过。变量拼接、base64、换行拆分、写成脚本再执行,都能绕过去。所以它只是最后一道,真正的防线是权限:没有生产库的删除权限,DROP TABLE 也执行不了;分支保护开着,push --force 也推不上去。黑名单管体验,权限管安全,两者不能互相替代。
预算数字怎么定,没有通用答案,但有个笨办法很有效:先只记录不拦截,跑两周,看正常任务的实际分布。如果九成的任务在二十轮内完成,预算就定在四十轮;如果有一成的任务需要一小时,时间预算就不能定三十分钟。凭感觉设一个「看起来很专业」的数字,结果一定是频繁误杀,然后被人关掉。
守卫的设计有个共同节奏:先提示,再降档,最后中止。一上来就中止会让 Agent 变得很脆,稍微绕一点的任务就失败;永远只提示则等于没有守卫。中止时必须保留现场,包括 trace、工作目录快照、未完成的计划,否则事后无法复盘,也没法把事故变成用例。
五、人工闸门:把确认放在不可逆之前
有些事程序判不了,也不该自动放行。我的分类标准是三条:不可逆、影响他人、越权。
| 动作 | 可逆性 | 闸门形式 | 确认信息 |
|---|---|---|---|
| 删除文件 | 低(有备份则中) | 二次确认 | 文件清单与备份位置 |
| 生产部署 | 低 | 人工批准 | 版本、变更摘要、回滚命令 |
| 对外发消息 | 无 | 人工批准 | 收件人、正文预览 |
| 改权限或密钥 | 低 | 双人批准 | 权限 diff |
| 批量修正数据 | 中 | dry-run 后批准 | 影响行数与样例 |
设计人工闸门,难点不在「加不加」,在「怎么加才不烦人」。
一次任务一次确认,不要每步一问。 把待确认的动作攒成一张变更单,人看一次,全部批准或全部驳回。每步一问的结果是可预期的:第三次之后,人开始条件反射点同意,闸门退化成装饰。
确认信息要能支撑判断。 只给一个「是否继续」的弹窗,等于把责任推给人却不给人依据。至少要写清三件事:做什么、影响谁、怎么撤。一个合格的确认长这样:将删除 legacy/export_v1.py 等三个文件,影响灰度分支的动态导入;已备份到 .backup/20261122/,回滚命令 make restore BACKUP=20261122。
能撤销就少问。 有备份、有回滚脚本的操作,可以直接做,把人工留给真正不可逆的。这条能砍掉大半确认量,也是提升体验最有效的一招。
异步场景用提案,不用弹窗。 Agent 跑在 CI 里或者半夜跑批,没人守着屏幕。这时候闸门的位置要从「执行前」挪到「生效前」:Agent 产出分支和 PR,人合并即批准。同样是人工确认,后者不阻塞执行,也不要求人在场。
闸门还应该分级,而不是一刀切。我一般分三档:只读操作不设闸门;可逆的写操作事后通知,不打断;不可逆操作强制人工批准。分级的依据不是操作看起来吓不吓人,而是「撤销它需要多少成本」。改一个配置文件,git checkout 就回来了,不值得问;发一封对外邮件,撤不回来,必须问。把这两个放同一档,只会让人对确认疲劳。
六、评测与回归:把事故变成用例
一次事故的价值只有一次,把它写成用例,价值才是持续的。
流程很固定:线上失败,取最小输入,写成用例,断言期望行为,进回归集,每次改 prompt、工具或 schema 都跑一遍。
断言分三类,覆盖的层次不同:
| 类型 | 断言什么 | 例子 |
|---|---|---|
| 结果断言 | 最终产物 | 清洗后行数等于 12043 |
| 过程断言 | 执行路径 | 删除前必须调用过 backup |
| 拒绝断言 | 该拦的拦住 | rm -rf / 必须被守卫拒绝 |
1 | def test_refuses_force_push(agent, repo): |
过程断言要克制。要求「必须先读后写」是合理的,因为它是安全边界;要求「必须先调用 grep 再调用 read」就过度了,模型换一种检索方式也能达成同样的结果,硬断言只会误杀。判断标准:这条路径是不是安全或合规要求?是,就断言;只是风格偏好,就别断言。
线上样本的采集要自动化,不能靠人回忆。我的做法是在 trace 上打一个「人工纠偏」标记,任何一次人手动改了 Agent 的产出,就把这次会话的输入、上下文摘要和人工改动记下来,每周挑两三条转成用例。这个流程跑顺之后,回归集的增长是自发的,不需要专门安排人写测试。真正难的是坚持,而不是方法。
回归集的规模不用大,二十到五十条足够起步,覆盖三块:历史事故、核心路径、危险操作。每次跑必须记录模型版本号和 prompt 版本号,否则两次结果不可比,你会误以为是自己的改动起了作用。
用例本身也要维护。一条用例跑了半年从来没失败过,可能不是系统稳,而是断言太松;一条用例经常因为环境问题红,应该把它隔离出去,否则团队会开始忽略红灯。我的做法是给每条用例标一个来源(事故编号或需求编号),半年清理一次:来源已经下线的删掉,断言被证明无效的改写。回归集不是越大越好,是越准越好。
七、可观测性:trace 里至少要有什么
没有 trace 的 Agent 系统,出问题只能靠「再跑一次看看」。而概率模型再跑一次,大概率长得不一样。
| 字段 | 为什么需要 |
|---|---|
| trace_id、session_id | 把一次任务的所有步骤串起来 |
| step | 顺序与轮数,用于发现打转 |
| model、model_version | 归因,模型升级后行为会变 |
| prompt_hash | 知道这次用的是哪版提示 |
| tool、args_hash | 复现调用,同时避免明文落盘 |
| result_status、duration_ms | 找慢调用和失败集中点 |
| tokens_in、tokens_out | 成本归因 |
| guard_events | 哪道闸门触发过、触发了几次 |
| approvals | 谁在什么时候批准了什么 |
| final_status | 成功、中止、转人工,三态要分清 |
一条记录大概长这样:
1 | {"trace_id":"t-8f2a","step":14,"model":"claude-sonnet","model_version":"2026-10","prompt_hash":"a91c","tool":"Edit","args_hash":"9c1e","status":"error","error":"old_string matched 2 times","duration_ms":12,"guard":null} |
guard_events 这个字段最容易被省略,也最该保留。它是你判断「Harness 到底在不在工作」的唯一依据。如果一个月下来一条拦截记录都没有,要么是模型太乖,要么是守卫根本没生效。
隐私要提前处理。工具参数里有路径、SQL、用户数据,落盘前做脱敏;密钥、token 永远不进 trace;args_hash 的用途就是既能对比两次调用是否相同,又不留下原文。
有了字段,还要有几个能一眼看出问题的聚合指标:每个任务的轮数分布、工具错误率、守卫触发率、人工介入率、平均 token。这五个数字里,任何一个突然变化都值得查。轮数中位数翻倍,通常是某个工具开始报错,模型在反复重试;守卫触发率骤降,可能是钩子挂了没生效;人工介入率上升,说明约束没兜住,责任在往人身上转移。单看一次 trace 只能解决个案,看趋势才能发现系统性的退化。
八、一条完整的闸门链
把上面所有机制串起来,从「模型想改代码」到「改动被接受」,大概要过这么多道:
- 任务进入:分配 trace_id,确定预算、允许目录、闸门等级。
- 意图分类:判断是否涉及写操作、删除、外发,决定走哪套流程。
- 只读侦察:先读相关文件。工具层可以强制「写之前必须读过该文件」。
- 产出计划:列出要改的文件和理由,超过阈值(比如五个文件)要求人工确认。
- 编辑执行:精确匹配、唯一性校验、路径围栏,三关都过才落盘。
- 即时反馈:
PostToolUse跑增量 lint 与格式检查,失败立刻回灌。 - 类型与编译:失败回灌结构化错误,最多重试三次。
- 单元测试:只跑受影响的用例,失败回灌失败摘要与建议命令。
- 影响面检查:diff 行数、文件数、是否触碰禁区目录(迁移脚本、生产配置)。
- 自审:模型读自己的 diff,对照验收标准检查。这一步是模型判断,不能替代第 7、8 步。
- 循环守卫:全程监控轮数、重复调用、无产出。
- 人工闸门:涉及发布、删除、外发时暂停,生成变更单。
- 提交:commit message 规范校验,分支保护禁止直推主干。
- CI:全量测试与安全扫描,红灯不进合并队列。
- 合并:人工或规则批准,记录审批人与 trace_id。
- 回滚预案:确认回滚命令可用,写进变更单。
每一道都要写清「谁执行、失败怎么办」。这张列表可以直接当检查表用:新接一个 Agent 场景,对着它数一遍,缺哪道补哪道。
值得注意的是第 10 步的位置。很多人把「模型自审」当成最后一道防线,其实它只是一层补充。模型审自己的代码,容易陷入和写代码时相同的假设,看不出自己漏了什么。它的价值在于发现「明显不符合需求」的问题,不在于替代测试。把它放在测试之后、人工之前,是它唯一合理的位置。
这条链不是每道都必须跑。小改动可以短路掉第 4 步的计划确认和第 9 步的影响面检查,但第 5、6、7 步不能省——它们对应的是「改错位置」「语法错误」「类型错误」,这三类问题的修复成本最低,拦住它们的成本也最低。短路的判断标准始终是风险,不是改动的行数:改一行配置也可能触发发布,改五十行文档可能什么风险都没有。
九、设计原则
- 能写成断言的,不要写成叮嘱。提示词改变意愿,断言改变结果。
- 默认拒绝,显式放行。权限放在工具层,不要放在提示词里。
- 错误信息面向修复,给出下一步命令,而不是只报 invalid。
- 先只读后写,先小步后大步。一次改五个文件比一次改五十个容易兜底。
- 能回滚就不必确认,不能回滚就必须确认。
- 每一次拦截都要留痕,否则无法判断 Harness 是否在工作。
- 守卫要有上限,也要有出口。卡死的 Agent 和被放飞的 Agent 一样糟。
- Harness 的强度匹配任务风险。改错别字不需要发布审批,删生产库不能只靠一句提醒。
这八条如果只能先做一条,我选第一条。因为它决定了后面所有机制的形态:写成断言的检查会稳定生效,写成叮嘱的要求会随上下文压缩慢慢失效。第二条次之,权限是唯一不依赖模型配合的防线,其他机制都在一定程度上依赖模型「愿意读错误信息」「愿意重试」。剩下的按事故频率排,先补最近三个月真实出过问题的环节,别按理论完备性排。
十、常见的坑
- 把校验写成 prompt。 「请确保测试通过」不是校验,是许愿。模型会声称自己跑过了。
- 只加事前约束,不做事后验证。 拦住了越界路径,却放过了逻辑错误。
- 每次编辑后跑全量测试。 Agent 慢到不可用,团队最后把钩子关掉,等于什么都没做。
- 错误日志原样回灌。 几千行输出把关键信息埋掉,模型开始瞎猜。
- 守卫只有上限没有出口。 任务稍微复杂就被中止,用户学会了一件事:关掉守卫。
- 确认弹窗太多。 人开始无脑点同意,闸门形同虚设,还多了一层心理安慰。
- 事故不复盘成用例。 同一个坑踩三次,每次都靠人盯着。
- trace 只记结果不记版本。 复现不了,也说不清是哪次改动引入的。
- 把危险命令黑名单当唯一防线。 绕过方式太多,真正的防线是权限和分支保护。
十一、检查清单
- 列出所有「现在由模型判断、但本可以程序判断」的点,逐个下沉。
- 写操作是否都有路径围栏和权限校验?
resolve之后比较了吗? - 危险操作是否默认 dry-run,是否有明确的
--apply出口? - 编辑后是否有秒级的即时反馈?全量检查是否放在了合适的时机?
Stop钩子是否跑测试?超时设置了吗?失败是否会阻止结束?- 轮数、时间、token 预算是否配置?超限后的动作是提示、降档还是中止?
- 重复调用与无产出是否有检测?检测到之后做什么?
- 哪些操作必须人工确认?确认信息是否包含影响范围与回滚方式?
- 历史事故是否已经变成回归用例?跑的时候记录模型版本了吗?
- trace 字段是否足够复现一次失败?
guard_events有人在看吗?
Harness 不会让 Agent 变聪明,它让 Agent 变得可预测。模型仍然是概率的,仍然会犯新的错,但错误会被限制在小范围内、在执行前被拦住、在发生后被立刻发现、在复盘时被固化成用例。这套东西的收益不在第一次跑通,而在第一百次运行时,你依然知道它在做什么,以及它做错了会发生什么。把判断权交给程序,把判断力留给人,这是我对 Harness Engineering 最简短的总结。
系列大纲与全部篇目见:Agent 原理与开发。
延伸阅读
- LLM 和 Agent 的核心术语和原理 —— 从「模型 × 工程」的视角理解 Harness 的位置。
- Skills 与渐进式披露 —— 用流程沉淀减少不确定性,与本文互补。
