去年帮一个 SaaS 团队把帮助中心接进客服 Agent。文档一千两百多篇,第一版用的是 Elasticsearch 默认的 BM25,测试集是两百条真实工单。上线前我抽了三十条看,觉得「差不多能用」;真正跑完两百条,top-3 命中率只有四成出头。

最典型的一条,用户问「忘记密码了,怎么进后台」,排第一的是《密码强度规范》,因为两边都有「密码」;真正该出的《账号找回与登录异常处理》,跟这句话一个字都不重合。换成 embedding 之后,命中率抬到接近七成,但离可用还差一截。剩下的差距不在模型,在切片、元数据和重排——这三件事没有一件是换个更强的向量模型能解决的。

这件事让我对 RAG 有了一个比较固定的判断:它的效果上限由语料组织方式决定,不由向量库的品牌决定。多数团队把预算花在选 embedding 模型和换向量数据库上,真正该改的是文档怎么切、每个片段带什么信息、召回之后怎么筛。

一、关键词检索的死角

BM25 的原理不复杂:一个词在文档里出现得越多、在整个语料里越稀有、文档长度越适中,得分越高。它算的是词面重合度,所以只要用户和文档用同一套说法,它又快又准,还不用调模型。

失效也正出在这里。真实用户不会照着文档的标题提问。

用户说法 文档写法 关键词检索表现 原因
忘记密码了怎么进后台 账号找回与登录异常处理 几乎零命中 没有共同实词
登录不上 无法完成身份认证 零命中 口语与书面语错位
发票怎么开 开具增值税专用发票的流程 弱命中 「开」是高频字,权重被稀释
导出太慢了 大批量数据导出性能优化 部分命中 「慢」不出现在文档里
企微怎么接 企业微信集成指南 零命中 缩写与全称不匹配
这个报错什么意思 错误码 E1024 说明 零命中 用户根本不知道错误码

这些例子里藏着一个共同的东西:语义鸿沟。用户描述的是现象和意图,文档写的是概念和流程,两套词汇之间没有桥。同义词、口语化、缩写、跨语言、一词多义,都会让词面匹配失效。用户说「苹果手机连不上」,文档库里既有水果采购指南又有设备兼容列表,BM25 可能两边都给分。

Embedding 解决的正是这座桥。它把文本映射成一个高维向量,语义相近的句子在空间里距离更近,于是「忘记密码」和「账号找回」即使一个字不重合,也能靠方向接近被召回。

但它不是万能的。向量对精确字符串不敏感:错误码 E1024 和 E1025 在语义上几乎一样,向量距离极近,可业务上是两个完全不同的故障。向量对否定也迟钝:「支持退款」和「不支持退款」的向量方向差别很小,因为否定词只改了一个 token 的权重。还有版本号、型号、人名、SKU,这些恰恰是业务里最不能错的东西。

所以工程上的结论不是「用向量替代关键词」,而是两套一起用。关键词负责精确命中,向量负责表达差异,谁也别想单独覆盖全部查询。

有人会想到维护一张同义词表来补关键词的短板,成本低、见效快。它在高频词上确实有效,「忘记密码」映射到「账号找回」,一次配置就能救回一批查询。问题是同义词表覆盖不了长尾:新词、错别字、中英混写、行业黑话每天都在产生,靠人工追不上。它适合做兜底,不适合做主力。向量模型的价值就在于不需要你枚举所有说法,它从语料里学到的相似性,覆盖面比人手写的表宽得多。

二、五步链路,每一步都有自己的死法

把 RAG 拆开,是一条五段串联的流水线。串联的意思是:上游错了,下游补不回来。召回阶段没把正确片段拿进来,重排再强也只能在错的候选里挑一个相对对的。

步骤 做什么 工程上最容易死在哪
切分 长文档切成可检索的片段 按字数硬切,标题与正文分离,表格被拦腰截断
嵌入 片段编码成向量 换模型不重嵌,查询与文档用了不同模型或不同指令
索引 向量与原文写入存储 只存向量不存原文,增量更新与删除不同步
召回 查询编码后取 top-k k 太小、过滤条件缺失、多租户越权
重排 对候选重新打分 重排模型与领域不匹配,延迟压不住

切分决定了检索的颗粒度。切太大,一个片段里混着三四个主题,向量被平均掉,什么都不像;切太小,片段失去上下文,召回来的是半句话。

嵌入最隐蔽的坑是版本不一致。换了 embedding 模型,却只对新文档重新编码,旧向量还留在库里。两个模型的向量空间没有可比性,查询向量和库向量根本不在一个坐标系里,结果接近随机。这类错误不会报错,只会让效果莫名其妙地掉。

还有个细节常被忽略:不少开源嵌入模型要求查询和文档加不同的前缀。比如检索类模型会在文档前加 passage:、查询前加 query:,训练时就是这么喂的,推理时不加,效果会掉一截。另一个坑是最大输入长度,多数模型只吃 512 token,超长片段会被静默截断,你以为是整段编码,实际只嵌入了前半段。切片长度必须小于模型的截断阈值,这件事要在配置里写死并校验。

索引阶段常被当成「写进去就完了」。真实业务里,文档会改、会删、会下线。源文档更新了,索引没重建,Agent 就会拿着三个月前的价格回答客户。删除不同步更危险:一篇已经撤回的合规文档还在被召回,模型会非常自信地引用它。

索引工程里还有两个细节。一是 chunk_id 要稳定,最好由「文档 id + 章节路径 + 内容哈希」派生,而不是自增序号;否则文档改一段,后面所有片段的 id 全部错位,增量更新会写出一堆重复。二是要记录索引版本,包括 embedding 模型名、维度、切分参数。换模型时按版本整体重建,不要在新旧之间做混用。文档内容可以用 checksum 判断是否变化,没变的跳过,能省掉大量重复嵌入的开销。

召回的坑在参数和权限。top-k 设成 3,稍微难一点的查询就漏;设成 50,上下文里塞满噪声。权限过滤如果写在生成之后,也就是先召回再打码,那么无权文档已经进了 prompt,模型可能把内容说出来,这是实打实的数据泄露。

重排是精度杠杆,但它有延迟成本。一个 cross-encoder 要对每个「查询-片段」对做一次前向计算,50 个候选就是 50 次,几百毫秒起步。很多团队加了重排却发现首字延迟翻倍,最后又把它关掉。

三、切分:决定上限的一步

如果只能改一个环节,我会先改切分。它便宜、可控,收益也最直接。

三种常见策略,各有各的代价。

策略 做法 适合 代价
固定长度 按 token 数硬切,带重叠 结构混乱的纯文本、日志 句子和表格被截断,语义边界随机
按语义 按句子或段落的向量相似度找断点 散文、访谈记录 计算慢,断点不稳定,同一文档两次切分结果可能不同
按结构 按 Markdown 标题层级、HTML 的 h1~h3 切 帮助中心、规范文档、API 文档 依赖文档本身结构干净

真实文档很少只有一种结构,所以落地时通常是组合:先按标题切,标题内再按长度兜底,超长段落再按句子切。表格和代码块设成不可分割单元,宁可超长也不切开。

1
2
3
4
5
6
7
8
9
10
11
12
13
chunking:
strategy: heading_then_length
max_tokens: 800
min_tokens: 120
overlap_tokens: 100
keep_heading_path: true
protect:
- table
- code_block
drop:
- nav
- footer
- breadcrumb

重叠窗口的作用是防止「刚好切在概念中间」。一个操作步骤跨了两个片段,用户的问题命中边界,两边各有一半,谁都答不全。留 10% 到 15% 的重叠,能让边界附近的内容在至少一个片段里完整出现。

重叠的代价是冗余。同一段话被存了两遍,召回时 top-5 里可能有三条来自同一篇文章的相邻片段,信息重复,真正不同的候选被挤掉。所以重叠比例不宜大,超过 20% 就要怀疑是不是切分策略本身有问题。

切分还有一个经常被单独拎出来的变体,叫小块召回、大块喂入。索引里存的是两三百 token 的小片段,检索精度高;命中之后不直接把小片段塞给模型,而是按 doc_id 和章节路径回表,取出它所在的整节(比如一千五百 token)再送进上下文。这样召回阶段拿到了细粒度,生成阶段又保住了上下文。代价是存储要维护两套映射,而且回表后的整节可能超出预算,需要再截一次。对操作手册这类强上下文依赖的文档,这个策略的收益比单纯调 chunk size 明显。

切片过碎有几个很好认的症状,看到就该回头调参数:

  • 召回的片段以「……点击下一步即可。」开头,没有主语也没有前提。
  • 片段里全是「它」「该字段」「上述配置」,指代对象在上一段。
  • 表格只剩表头,或者只剩一行数据。
  • 片段里看不到自己属于哪一章,模型不知道这是安装步骤还是故障排查。
  • top-k 的五条结果来自同一篇文档的连续五段,几乎等于把原文切碎又拼回去。
  • 回答里出现「根据文档」却给不出条件,因为条件在另一个片段里。

切片大小没有统一答案,按内容类型给区间更靠谱。FAQ 一条一问一答,200 到 400 token 就够;操作手册的步骤之间有依赖,600 到 1000 token 才能保住上下文;API 文档按接口切,一个接口一个片段;代码按函数或类切,别按行数切。

四、混合检索:两套排序怎么合

混合检索的工程问题不是「要不要混」,而是「分数怎么合」。BM25 的分数没有上界,向量的余弦相似度在 0 到 1 之间,两者直接相加,等于让 BM25 单方面决定结果。

比较稳妥的做法是倒数排名融合(RRF):不看原始分数,只看名次。一个文档在两路召回里都靠前,就往上抬;只在一路里靠前,也有机会进候选。

1
2
3
4
5
6
7
8
9
def hybrid_search(query, k=50, k_rrf=60):
bm25_hits = bm25.search(query, k)
vec_hits = vector.search(embed(query), k)
scores = {}
for hits in (bm25_hits, vec_hits):
for rank, doc in enumerate(hits, start=1):
scores[doc.id] = scores.get(doc.id, 0.0) + 1.0 / (k_rrf + rank)
ranked = sorted(scores.items(), key=lambda pair: pair[1], reverse=True)
return [doc_id for doc_id, _ in ranked[:k]]

十来行,没有超参要调,k_rrf 取 60 是文献里的常用值,实际改动对结果影响不大。它的缺点是丢掉了分数差距:第一名比第二名强很多,在 RRF 里只体现为名次差一位。对大多数业务检索来说,这个损失可以接受,换来的是稳定和可解释。

如果需要更细的控制,可以给两路加权,但必须先做分数归一化,比如按每路结果的最高分缩放。归一化很脆弱:一次查询里 BM25 的最高分是 30,另一次是 3,同一个缩放系数就会让权重忽大忽小。RRF 绕开了这个问题,这也是它在工程上更常见的原因。

混合之前还有一层常被忽略的处理:查询改写。用户输入「钱退不回来」,可以先改写成「退款失败 处理流程」再检索,命中率会明显提升。改写用一个小模型就够,成本很低。多路改写再分别召回,也能提高召回率,代价是请求数和延迟上升。

五、重排与 top-k:召回宽,精排窄

两阶段检索的分工很清楚:召回阶段要不漏,重排阶段要准,最后进上下文的要少。

阶段 候选量 典型模型 延迟量级 目标
召回 50~100 BM25 + 双塔向量 10~50ms 保召回率
重排 20~50 cross-encoder 100~500ms 提精度
入上下文 3~8 无 0 控 token

召回到 100 条,重排 30 条,最后取 5 条,是我在文档问答里比较常用的配置。这个比例不是定律,但它体现了一个原则:召回阶段的错误无法补救,所以要宽;生成阶段的噪声代价很高,所以要窄。

重排模型选型要看语料。通用 rerank 模型在百科、新闻上表现很好,遇到代码、表格、工单对话就会掉。代码里的标识符和表格里的数字,语义信号弱,字符信号强,cross-encoder 未必比 BM25 更懂。这时候要么换领域模型,要么在重排前保留一路关键词分数做加权。

还有一个和上下文有关的细节:最相关的片段不要全堆在中间。长上下文里存在「lost in the middle」,开头和结尾的内容更容易被使用。把重排后的第一条放在最前面,把次优的放最后,比按分数顺序平铺更稳。

top-k 也不是越大越好。/AI/02/ 里算过一笔账,检索资料建议占窗口的 30% 到 40%。五个 800 token 的片段就是 4k,十个就是 8k,再加上系统提示和工具定义,很快就吃掉一半预算。更糟的是干扰项:十个片段里只有两个相关,模型反而更容易抓错重点。

重排也不是必需品。语料只有几百个片段、top-k 本来就只有五条、又对首字延迟敏感时,加一层 cross-encoder 的收益可能抵不过延迟。这种情况下用 RRF 融合加一点规则加权就够:标题命中的加分,更新时间新的加分,来自 FAQ 的加分。规则加权的好处是可解释,出了问题能定位到具体规则;坏处是要手工维护,文档类型一变就失效。先用规则跑出基线,再决定要不要上模型,比一上来就堆组件务实。

重排在表格类查询上还有个已知短板。用户问「上季度华东区的退款率」,相关片段里是一张表,表头是「区域、季度、退款率」,数据行是「华东、Q3、3.2%」。cross-encoder 对数字和表头的敏感度远低于自然语言,很容易把这张表排在一段泛泛而谈的文字后面。解决办法是在切片时把表头拼进每一行,或者给表格单独做一路关键词召回,别指望语义模型理解表格结构。

六、元数据:没有它,检索在业务里没法用

很多 demo 的向量库里只存三样东西:id、向量、文本。上线第一天就会发现问题。

用户问「这个功能怎么用」,Agent 答得挺像回事,但你没法告诉他这句话出自哪篇文档、哪个版本。用户追问「那 2.3 版也是这样吗」,系统答不上来,因为片段里没有版本信息。客服主管想核查一条回答,只能把整个知识库翻一遍。

元数据就是给每个片段挂上「身份证」。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
{
"chunk_id": "kb-1042-sec-3-2",
"doc_id": "kb-1042",
"title": "账号找回与登录异常处理",
"heading_path": ["账号与安全", "登录问题", "账号找回"],
"source_url": "https://help.example.com/account/recovery",
"doc_type": "howto",
"product": "console",
"version": "2.3",
"updated_at": "2026-09-18",
"tenant": "acme",
"acl": ["support", "customer"],
"checksum": "9f2c..."
}

这几个字段各自解决一类问题。

来源与链接让回答可以带引用。用户点一下就能回到原文,信任度和可核验性完全不一样。

时间与版本解决时效。价格、政策、接口签名都会变,检索时按 updated_at 降权,或者直接过滤掉过期版本,比让模型自己判断「这条可能过时了」可靠得多。

章节路径解决片段脱离上下文的问题。片段开头带上「账号与安全 > 登录问题 > 账号找回」,模型就知道自己在哪一节,指代和语气都不会跑偏。

权限必须在召回前过滤。多租户系统里,如果先召回再按 tenant 剔除,top-k 会被无权文档占满,召回率骤降;更糟的是无权内容已经进了 prompt,模型可能复述出来。正确做法是把权限条件下推到索引查询里,让它参与召回。

文档类型决定权重。FAQ 适合直接答,规范文档适合解释,API 文档适合给参数。同一个问题,三类文档都命中时,应该优先给 FAQ 的结论,再用规范补充细节。

没有元数据的检索,在 demo 里能跑,在业务里走不远。它不缺「相似」,缺的是「这条相似的东西能不能用、该不该用、出自哪里」。

七、评估:别用感觉验收

「感觉准了」是 RAG 项目最危险的一句话。你只会去看自己想到的 case,而线上失败的长尾你根本想不到。

离线评估的做法很土,但必须做:从真实日志里抽 100 到 300 条查询,人工标注每条查询对应的相关文档(或片段)id,形成一个小而固定的评测集。之后每次改切分、换模型、调 top-k,都在这套集合上跑一遍。

指标 回答什么问题 局限
Hit Rate@k 前 k 条里有没有至少一条相关 不关心排第几,也不关心漏了多少
Recall@k 所有相关片段被找回了多少 需要标注全部相关项,成本高
MRR 第一条相关结果排得多靠前 只奖励第一条,忽略其余
nDCG@k 相关性有分级时,排序质量如何 计算复杂,分级标准要统一
答案正确率 最终回答对不对 受生成模型影响,定位不到检索问题
引用准确率 引用的片段是否真的支持结论 需要人工或强模型判定

检索指标和答案指标要分开看。检索 recall 高但答案错,问题在生成或 prompt;检索 recall 低但答案对,多半是模型在用先验知识编,这种「对的幻觉」最危险,因为它在评测集上看起来没问题。

评估还要分桶。把所有查询混在一起算平均,会掩盖结构性失败。至少按这几类分开:精确术语(错误码、产品名)、口语描述、多跳问题(需要组合两篇文档)、否定与排除条件、跨版本文档。分桶之后经常能看到,平均命中率 70%,但口语类只有 35%,而口语类恰恰占了线上流量的一半。

除了按类型分,还可以按难度分。简单查询是「一个词就能定位」,中等是「需要改写或同义匹配」,困难是「需要多跳推理或跨文档组合」。三类分别设目标:简单类应该到 90% 以上,中等类 70% 左右,困难类能到 50% 就算不错。给困难类设一个不切实际的指标,团队会把时间花在长尾上,而简单类的回归没人发现。线上流量里长尾占比小,但失败成本高,评估里要单独留样本,不能因为它少就忽略。

最后是消融。一次只改一个变量:只换切分、只加 BM25、只加重排,各跑一遍,记录指标变化。同时改三样,涨了也不知道是哪样起了作用,掉了更不知道该回退什么。

用大模型做裁判可以降低标注成本,但它有自己的偏好:偏爱长答案、偏爱措辞流畅的片段、对数字不敏感。自动评分只能做粗筛,关键结论仍要人工抽检。

评测集本身也要维护。业务在变,三个月前的查询分布和现在不一样,一直用老集合会让指标虚高。我的做法是每个月从线上日志里抽一批失败样本,人工标注后补进集合,同时淘汰一批已经不再出现的查询。集合规模不用大,两三百条足够,关键是稳定、可复现、覆盖真实分布。线上还可以埋一层弱反馈:用户点没点引用、有没有追问、有没有转人工,这些信号不精确,但能帮你发现评测集之外的盲区。

八、什么时候不该用 RAG

RAG 不是默认选项。它引入了一条完整的工程链路:切分脚本、嵌入服务、向量库、索引同步、权限过滤、重排服务。每一环都要维护,每一环都会坏。

先算一笔简单的账。一份 30 页的内部规范,大约 15k token。每次问答整段塞进上下文,按输入 2 元/百万 token 算,一次 0.03 元;用检索方案,top-5 约 4k token,一次 0.008 元。单价上看检索便宜四倍,但向量库、嵌入、索引同步的固定成本和人力成本还没算。如果这个场景一天只有几十次调用,省下的钱不够付维护成本。

场景 建议 理由
语料小于窗口的三成 直接整段塞,配合缓存 链路短,全局理解更好,不丢跨段关系
语料远大于窗口,问题局部 RAG 只能检索,别无选择
需要跨全文总结、找矛盾 长上下文或分层摘要 检索只能看到片段,看不到全局
高频重复问题 答案缓存 + RAG 兜底 大部分请求命中缓存,成本极低
精确匹配为主(错误码、SKU) BM25 为主,向量辅助 语义模型对字符串不敏感
文档每天更新 RAG + 增量索引 整段塞会一直命中旧缓存

一个常被忽略的判断依据是问题形态。「这份合同里有哪些对乙方不利的条款」需要通读全文、跨段推理,检索切得再准也只能给你几个片段,模型看不到条款之间的关系。这类问题要么整段塞,要么先做分层摘要再问答。反过来,「退款要几天到账」是典型的局部事实问题,RAG 的主场。

还有一种情况是权限复杂。如果文档的可见范围细到字段级,检索层要做的过滤逻辑会非常重,反而不如按权限预先把语料分组,每组一个独立索引,查询时先选组再检索。这不是 RAG 的问题,是权限模型的问题,但会被算到 RAG 头上。

常见的坑

  • 把 RAG 当万能药。 它只解决「知识不在模型参数里」,不解决推理能力、数据实时写入、权限设计。
  • 文档更新不同步。 源文档改了、删了,索引还是旧的;Agent 会非常自信地引用已经失效的内容。
  • 把向量库当数据库。 拿它存业务状态、做事务、做聚合统计,最后发现一致性、备份、迁移全是坑。
  • 换 embedding 模型不重嵌。 新旧向量不在同一空间,检索结果接近随机,而且不会报错。
  • 只评估检索,不评估答案。 检索引擎指标漂亮,最终回答仍在编,问题被掩盖在下一层。
  • top-k 开得太大。 为了「不漏」塞二十条,上下文被噪声占满,准确率反而下降。
  • 片段丢了标题路径。 模型不知道这段属于安装还是排障,回答张冠李戴。
  • 权限过滤写在生成之后。 无权内容已经进了 prompt,打码也来不及。
  • PDF 直接按字符切。 页眉、页脚、目录、页码全进了索引,召回一堆无意义片段。
  • 忽视否定句。 「不支持退款」和「支持退款」在向量空间里几乎是邻居。
  • 只用一种查询说法做测试。 真实用户的口语、错别字、缩写,一个都没覆盖。

检查清单

  • 先用 100 到 300 条真实查询建离线评测集,有标注再谈优化。
  • 切分按文档结构优先,长度兜底,表格与代码块不切开。
  • 每个片段保留标题路径、来源、更新时间、版本、权限字段。
  • 混合检索用 RRF 融合,不直接相加两路原始分数。
  • 召回 50 到 100,重排 20 到 50,最终入上下文 3 到 8 条。
  • 权限过滤下推到召回阶段,不做生成后打码。
  • 建立索引重建与删除同步机制,文档变更要能追到片段。
  • 评估分桶看:精确术语、口语、多跳、否定、跨版本各算一遍。
  • 每次只改一个变量做消融,记录指标变化。
  • 语料小于窗口三成时,先试整段塞入,别急着上向量库。
  • 回答要求带引用,方便人工核验与追责。

RAG 这个词容易让人把注意力放在「向量」上,好像选对一个 embedding 模型就万事大吉。真正做过一轮完整上线就会知道,向量只是中间的一小段,前后都是脏活:文档怎么清洗、怎么切、带什么字段、召回后怎么筛、权限怎么下推、效果怎么量。

这套链路的每一环都不难,难的是它们串在一起,任何一环松动都会表现为「答得不太对」,而你不会知道是哪一环。所以离线评测集比任何单点技术都重要,它是你唯一能定位问题的仪表盘。

最后一个判断:如果语料不大、更新不频繁、问题需要全局理解,直接塞进上下文往往比搭一套 RAG 更准也更省心。工程上的成熟不是「什么都有」,是知道什么时候不用。

系列大纲与全部篇目见:Agent 原理与开发。

延伸阅读