RAG 与 Embedding
去年帮一个 SaaS 团队把帮助中心接进客服 Agent。文档一千两百多篇,第一版用的是 Elasticsearch 默认的 BM25,测试集是两百条真实工单。上线前我抽了三十条看,觉得「差不多能用」;真正跑完两百条,top-3 命中率只有四成出头。
最典型的一条,用户问「忘记密码了,怎么进后台」,排第一的是《密码强度规范》,因为两边都有「密码」;真正该出的《账号找回与登录异常处理》,跟这句话一个字都不重合。换成 embedding 之后,命中率抬到接近七成,但离可用还差一截。剩下的差距不在模型,在切片、元数据和重排——这三件事没有一件是换个更强的向量模型能解决的。
这件事让我对 RAG 有了一个比较固定的判断:它的效果上限由语料组织方式决定,不由向量库的品牌决定。多数团队把预算花在选 embedding 模型和换向量数据库上,真正该改的是文档怎么切、每个片段带什么信息、召回之后怎么筛。
一、关键词检索的死角
BM25 的原理不复杂:一个词在文档里出现得越多、在整个语料里越稀有、文档长度越适中,得分越高。它算的是词面重合度,所以只要用户和文档用同一套说法,它又快又准,还不用调模型。
失效也正出在这里。真实用户不会照着文档的标题提问。
| 用户说法 | 文档写法 | 关键词检索表现 | 原因 |
|---|---|---|---|
| 忘记密码了怎么进后台 | 账号找回与登录异常处理 | 几乎零命中 | 没有共同实词 |
| 登录不上 | 无法完成身份认证 | 零命中 | 口语与书面语错位 |
| 发票怎么开 | 开具增值税专用发票的流程 | 弱命中 | 「开」是高频字,权重被稀释 |
| 导出太慢了 | 大批量数据导出性能优化 | 部分命中 | 「慢」不出现在文档里 |
| 企微怎么接 | 企业微信集成指南 | 零命中 | 缩写与全称不匹配 |
| 这个报错什么意思 | 错误码 E1024 说明 | 零命中 | 用户根本不知道错误码 |
这些例子里藏着一个共同的东西:语义鸿沟。用户描述的是现象和意图,文档写的是概念和流程,两套词汇之间没有桥。同义词、口语化、缩写、跨语言、一词多义,都会让词面匹配失效。用户说「苹果手机连不上」,文档库里既有水果采购指南又有设备兼容列表,BM25 可能两边都给分。
Embedding 解决的正是这座桥。它把文本映射成一个高维向量,语义相近的句子在空间里距离更近,于是「忘记密码」和「账号找回」即使一个字不重合,也能靠方向接近被召回。
但它不是万能的。向量对精确字符串不敏感:错误码 E1024 和 E1025 在语义上几乎一样,向量距离极近,可业务上是两个完全不同的故障。向量对否定也迟钝:「支持退款」和「不支持退款」的向量方向差别很小,因为否定词只改了一个 token 的权重。还有版本号、型号、人名、SKU,这些恰恰是业务里最不能错的东西。
所以工程上的结论不是「用向量替代关键词」,而是两套一起用。关键词负责精确命中,向量负责表达差异,谁也别想单独覆盖全部查询。
有人会想到维护一张同义词表来补关键词的短板,成本低、见效快。它在高频词上确实有效,「忘记密码」映射到「账号找回」,一次配置就能救回一批查询。问题是同义词表覆盖不了长尾:新词、错别字、中英混写、行业黑话每天都在产生,靠人工追不上。它适合做兜底,不适合做主力。向量模型的价值就在于不需要你枚举所有说法,它从语料里学到的相似性,覆盖面比人手写的表宽得多。
二、五步链路,每一步都有自己的死法
把 RAG 拆开,是一条五段串联的流水线。串联的意思是:上游错了,下游补不回来。召回阶段没把正确片段拿进来,重排再强也只能在错的候选里挑一个相对对的。
| 步骤 | 做什么 | 工程上最容易死在哪 |
|---|---|---|
| 切分 | 长文档切成可检索的片段 | 按字数硬切,标题与正文分离,表格被拦腰截断 |
| 嵌入 | 片段编码成向量 | 换模型不重嵌,查询与文档用了不同模型或不同指令 |
| 索引 | 向量与原文写入存储 | 只存向量不存原文,增量更新与删除不同步 |
| 召回 | 查询编码后取 top-k | k 太小、过滤条件缺失、多租户越权 |
| 重排 | 对候选重新打分 | 重排模型与领域不匹配,延迟压不住 |
切分决定了检索的颗粒度。切太大,一个片段里混着三四个主题,向量被平均掉,什么都不像;切太小,片段失去上下文,召回来的是半句话。
嵌入最隐蔽的坑是版本不一致。换了 embedding 模型,却只对新文档重新编码,旧向量还留在库里。两个模型的向量空间没有可比性,查询向量和库向量根本不在一个坐标系里,结果接近随机。这类错误不会报错,只会让效果莫名其妙地掉。
还有个细节常被忽略:不少开源嵌入模型要求查询和文档加不同的前缀。比如检索类模型会在文档前加 passage:、查询前加 query:,训练时就是这么喂的,推理时不加,效果会掉一截。另一个坑是最大输入长度,多数模型只吃 512 token,超长片段会被静默截断,你以为是整段编码,实际只嵌入了前半段。切片长度必须小于模型的截断阈值,这件事要在配置里写死并校验。
索引阶段常被当成「写进去就完了」。真实业务里,文档会改、会删、会下线。源文档更新了,索引没重建,Agent 就会拿着三个月前的价格回答客户。删除不同步更危险:一篇已经撤回的合规文档还在被召回,模型会非常自信地引用它。
索引工程里还有两个细节。一是 chunk_id 要稳定,最好由「文档 id + 章节路径 + 内容哈希」派生,而不是自增序号;否则文档改一段,后面所有片段的 id 全部错位,增量更新会写出一堆重复。二是要记录索引版本,包括 embedding 模型名、维度、切分参数。换模型时按版本整体重建,不要在新旧之间做混用。文档内容可以用 checksum 判断是否变化,没变的跳过,能省掉大量重复嵌入的开销。
召回的坑在参数和权限。top-k 设成 3,稍微难一点的查询就漏;设成 50,上下文里塞满噪声。权限过滤如果写在生成之后,也就是先召回再打码,那么无权文档已经进了 prompt,模型可能把内容说出来,这是实打实的数据泄露。
重排是精度杠杆,但它有延迟成本。一个 cross-encoder 要对每个「查询-片段」对做一次前向计算,50 个候选就是 50 次,几百毫秒起步。很多团队加了重排却发现首字延迟翻倍,最后又把它关掉。
三、切分:决定上限的一步
如果只能改一个环节,我会先改切分。它便宜、可控,收益也最直接。
三种常见策略,各有各的代价。
| 策略 | 做法 | 适合 | 代价 |
|---|---|---|---|
| 固定长度 | 按 token 数硬切,带重叠 | 结构混乱的纯文本、日志 | 句子和表格被截断,语义边界随机 |
| 按语义 | 按句子或段落的向量相似度找断点 | 散文、访谈记录 | 计算慢,断点不稳定,同一文档两次切分结果可能不同 |
| 按结构 | 按 Markdown 标题层级、HTML 的 h1~h3 切 | 帮助中心、规范文档、API 文档 | 依赖文档本身结构干净 |
真实文档很少只有一种结构,所以落地时通常是组合:先按标题切,标题内再按长度兜底,超长段落再按句子切。表格和代码块设成不可分割单元,宁可超长也不切开。
1 | chunking: |
重叠窗口的作用是防止「刚好切在概念中间」。一个操作步骤跨了两个片段,用户的问题命中边界,两边各有一半,谁都答不全。留 10% 到 15% 的重叠,能让边界附近的内容在至少一个片段里完整出现。
重叠的代价是冗余。同一段话被存了两遍,召回时 top-5 里可能有三条来自同一篇文章的相邻片段,信息重复,真正不同的候选被挤掉。所以重叠比例不宜大,超过 20% 就要怀疑是不是切分策略本身有问题。
切分还有一个经常被单独拎出来的变体,叫小块召回、大块喂入。索引里存的是两三百 token 的小片段,检索精度高;命中之后不直接把小片段塞给模型,而是按 doc_id 和章节路径回表,取出它所在的整节(比如一千五百 token)再送进上下文。这样召回阶段拿到了细粒度,生成阶段又保住了上下文。代价是存储要维护两套映射,而且回表后的整节可能超出预算,需要再截一次。对操作手册这类强上下文依赖的文档,这个策略的收益比单纯调 chunk size 明显。
切片过碎有几个很好认的症状,看到就该回头调参数:
- 召回的片段以「……点击下一步即可。」开头,没有主语也没有前提。
- 片段里全是「它」「该字段」「上述配置」,指代对象在上一段。
- 表格只剩表头,或者只剩一行数据。
- 片段里看不到自己属于哪一章,模型不知道这是安装步骤还是故障排查。
- top-k 的五条结果来自同一篇文档的连续五段,几乎等于把原文切碎又拼回去。
- 回答里出现「根据文档」却给不出条件,因为条件在另一个片段里。
切片大小没有统一答案,按内容类型给区间更靠谱。FAQ 一条一问一答,200 到 400 token 就够;操作手册的步骤之间有依赖,600 到 1000 token 才能保住上下文;API 文档按接口切,一个接口一个片段;代码按函数或类切,别按行数切。
四、混合检索:两套排序怎么合
混合检索的工程问题不是「要不要混」,而是「分数怎么合」。BM25 的分数没有上界,向量的余弦相似度在 0 到 1 之间,两者直接相加,等于让 BM25 单方面决定结果。
比较稳妥的做法是倒数排名融合(RRF):不看原始分数,只看名次。一个文档在两路召回里都靠前,就往上抬;只在一路里靠前,也有机会进候选。
1 | def hybrid_search(query, k=50, k_rrf=60): |
十来行,没有超参要调,k_rrf 取 60 是文献里的常用值,实际改动对结果影响不大。它的缺点是丢掉了分数差距:第一名比第二名强很多,在 RRF 里只体现为名次差一位。对大多数业务检索来说,这个损失可以接受,换来的是稳定和可解释。
如果需要更细的控制,可以给两路加权,但必须先做分数归一化,比如按每路结果的最高分缩放。归一化很脆弱:一次查询里 BM25 的最高分是 30,另一次是 3,同一个缩放系数就会让权重忽大忽小。RRF 绕开了这个问题,这也是它在工程上更常见的原因。
混合之前还有一层常被忽略的处理:查询改写。用户输入「钱退不回来」,可以先改写成「退款失败 处理流程」再检索,命中率会明显提升。改写用一个小模型就够,成本很低。多路改写再分别召回,也能提高召回率,代价是请求数和延迟上升。
五、重排与 top-k:召回宽,精排窄
两阶段检索的分工很清楚:召回阶段要不漏,重排阶段要准,最后进上下文的要少。
| 阶段 | 候选量 | 典型模型 | 延迟量级 | 目标 |
|---|---|---|---|---|
| 召回 | 50~100 | BM25 + 双塔向量 | 10~50ms | 保召回率 |
| 重排 | 20~50 | cross-encoder | 100~500ms | 提精度 |
| 入上下文 | 3~8 | 无 | 0 | 控 token |
召回到 100 条,重排 30 条,最后取 5 条,是我在文档问答里比较常用的配置。这个比例不是定律,但它体现了一个原则:召回阶段的错误无法补救,所以要宽;生成阶段的噪声代价很高,所以要窄。
重排模型选型要看语料。通用 rerank 模型在百科、新闻上表现很好,遇到代码、表格、工单对话就会掉。代码里的标识符和表格里的数字,语义信号弱,字符信号强,cross-encoder 未必比 BM25 更懂。这时候要么换领域模型,要么在重排前保留一路关键词分数做加权。
还有一个和上下文有关的细节:最相关的片段不要全堆在中间。长上下文里存在「lost in the middle」,开头和结尾的内容更容易被使用。把重排后的第一条放在最前面,把次优的放最后,比按分数顺序平铺更稳。
top-k 也不是越大越好。/AI/02/ 里算过一笔账,检索资料建议占窗口的 30% 到 40%。五个 800 token 的片段就是 4k,十个就是 8k,再加上系统提示和工具定义,很快就吃掉一半预算。更糟的是干扰项:十个片段里只有两个相关,模型反而更容易抓错重点。
重排也不是必需品。语料只有几百个片段、top-k 本来就只有五条、又对首字延迟敏感时,加一层 cross-encoder 的收益可能抵不过延迟。这种情况下用 RRF 融合加一点规则加权就够:标题命中的加分,更新时间新的加分,来自 FAQ 的加分。规则加权的好处是可解释,出了问题能定位到具体规则;坏处是要手工维护,文档类型一变就失效。先用规则跑出基线,再决定要不要上模型,比一上来就堆组件务实。
重排在表格类查询上还有个已知短板。用户问「上季度华东区的退款率」,相关片段里是一张表,表头是「区域、季度、退款率」,数据行是「华东、Q3、3.2%」。cross-encoder 对数字和表头的敏感度远低于自然语言,很容易把这张表排在一段泛泛而谈的文字后面。解决办法是在切片时把表头拼进每一行,或者给表格单独做一路关键词召回,别指望语义模型理解表格结构。
六、元数据:没有它,检索在业务里没法用
很多 demo 的向量库里只存三样东西:id、向量、文本。上线第一天就会发现问题。
用户问「这个功能怎么用」,Agent 答得挺像回事,但你没法告诉他这句话出自哪篇文档、哪个版本。用户追问「那 2.3 版也是这样吗」,系统答不上来,因为片段里没有版本信息。客服主管想核查一条回答,只能把整个知识库翻一遍。
元数据就是给每个片段挂上「身份证」。
1 | { |
这几个字段各自解决一类问题。
来源与链接让回答可以带引用。用户点一下就能回到原文,信任度和可核验性完全不一样。
时间与版本解决时效。价格、政策、接口签名都会变,检索时按 updated_at 降权,或者直接过滤掉过期版本,比让模型自己判断「这条可能过时了」可靠得多。
章节路径解决片段脱离上下文的问题。片段开头带上「账号与安全 > 登录问题 > 账号找回」,模型就知道自己在哪一节,指代和语气都不会跑偏。
权限必须在召回前过滤。多租户系统里,如果先召回再按 tenant 剔除,top-k 会被无权文档占满,召回率骤降;更糟的是无权内容已经进了 prompt,模型可能复述出来。正确做法是把权限条件下推到索引查询里,让它参与召回。
文档类型决定权重。FAQ 适合直接答,规范文档适合解释,API 文档适合给参数。同一个问题,三类文档都命中时,应该优先给 FAQ 的结论,再用规范补充细节。
没有元数据的检索,在 demo 里能跑,在业务里走不远。它不缺「相似」,缺的是「这条相似的东西能不能用、该不该用、出自哪里」。
七、评估:别用感觉验收
「感觉准了」是 RAG 项目最危险的一句话。你只会去看自己想到的 case,而线上失败的长尾你根本想不到。
离线评估的做法很土,但必须做:从真实日志里抽 100 到 300 条查询,人工标注每条查询对应的相关文档(或片段)id,形成一个小而固定的评测集。之后每次改切分、换模型、调 top-k,都在这套集合上跑一遍。
| 指标 | 回答什么问题 | 局限 |
|---|---|---|
| Hit Rate@k | 前 k 条里有没有至少一条相关 | 不关心排第几,也不关心漏了多少 |
| Recall@k | 所有相关片段被找回了多少 | 需要标注全部相关项,成本高 |
| MRR | 第一条相关结果排得多靠前 | 只奖励第一条,忽略其余 |
| nDCG@k | 相关性有分级时,排序质量如何 | 计算复杂,分级标准要统一 |
| 答案正确率 | 最终回答对不对 | 受生成模型影响,定位不到检索问题 |
| 引用准确率 | 引用的片段是否真的支持结论 | 需要人工或强模型判定 |
检索指标和答案指标要分开看。检索 recall 高但答案错,问题在生成或 prompt;检索 recall 低但答案对,多半是模型在用先验知识编,这种「对的幻觉」最危险,因为它在评测集上看起来没问题。
评估还要分桶。把所有查询混在一起算平均,会掩盖结构性失败。至少按这几类分开:精确术语(错误码、产品名)、口语描述、多跳问题(需要组合两篇文档)、否定与排除条件、跨版本文档。分桶之后经常能看到,平均命中率 70%,但口语类只有 35%,而口语类恰恰占了线上流量的一半。
除了按类型分,还可以按难度分。简单查询是「一个词就能定位」,中等是「需要改写或同义匹配」,困难是「需要多跳推理或跨文档组合」。三类分别设目标:简单类应该到 90% 以上,中等类 70% 左右,困难类能到 50% 就算不错。给困难类设一个不切实际的指标,团队会把时间花在长尾上,而简单类的回归没人发现。线上流量里长尾占比小,但失败成本高,评估里要单独留样本,不能因为它少就忽略。
最后是消融。一次只改一个变量:只换切分、只加 BM25、只加重排,各跑一遍,记录指标变化。同时改三样,涨了也不知道是哪样起了作用,掉了更不知道该回退什么。
用大模型做裁判可以降低标注成本,但它有自己的偏好:偏爱长答案、偏爱措辞流畅的片段、对数字不敏感。自动评分只能做粗筛,关键结论仍要人工抽检。
评测集本身也要维护。业务在变,三个月前的查询分布和现在不一样,一直用老集合会让指标虚高。我的做法是每个月从线上日志里抽一批失败样本,人工标注后补进集合,同时淘汰一批已经不再出现的查询。集合规模不用大,两三百条足够,关键是稳定、可复现、覆盖真实分布。线上还可以埋一层弱反馈:用户点没点引用、有没有追问、有没有转人工,这些信号不精确,但能帮你发现评测集之外的盲区。
八、什么时候不该用 RAG
RAG 不是默认选项。它引入了一条完整的工程链路:切分脚本、嵌入服务、向量库、索引同步、权限过滤、重排服务。每一环都要维护,每一环都会坏。
先算一笔简单的账。一份 30 页的内部规范,大约 15k token。每次问答整段塞进上下文,按输入 2 元/百万 token 算,一次 0.03 元;用检索方案,top-5 约 4k token,一次 0.008 元。单价上看检索便宜四倍,但向量库、嵌入、索引同步的固定成本和人力成本还没算。如果这个场景一天只有几十次调用,省下的钱不够付维护成本。
| 场景 | 建议 | 理由 |
|---|---|---|
| 语料小于窗口的三成 | 直接整段塞,配合缓存 | 链路短,全局理解更好,不丢跨段关系 |
| 语料远大于窗口,问题局部 | RAG | 只能检索,别无选择 |
| 需要跨全文总结、找矛盾 | 长上下文或分层摘要 | 检索只能看到片段,看不到全局 |
| 高频重复问题 | 答案缓存 + RAG 兜底 | 大部分请求命中缓存,成本极低 |
| 精确匹配为主(错误码、SKU) | BM25 为主,向量辅助 | 语义模型对字符串不敏感 |
| 文档每天更新 | RAG + 增量索引 | 整段塞会一直命中旧缓存 |
一个常被忽略的判断依据是问题形态。「这份合同里有哪些对乙方不利的条款」需要通读全文、跨段推理,检索切得再准也只能给你几个片段,模型看不到条款之间的关系。这类问题要么整段塞,要么先做分层摘要再问答。反过来,「退款要几天到账」是典型的局部事实问题,RAG 的主场。
还有一种情况是权限复杂。如果文档的可见范围细到字段级,检索层要做的过滤逻辑会非常重,反而不如按权限预先把语料分组,每组一个独立索引,查询时先选组再检索。这不是 RAG 的问题,是权限模型的问题,但会被算到 RAG 头上。
常见的坑
- 把 RAG 当万能药。 它只解决「知识不在模型参数里」,不解决推理能力、数据实时写入、权限设计。
- 文档更新不同步。 源文档改了、删了,索引还是旧的;Agent 会非常自信地引用已经失效的内容。
- 把向量库当数据库。 拿它存业务状态、做事务、做聚合统计,最后发现一致性、备份、迁移全是坑。
- 换 embedding 模型不重嵌。 新旧向量不在同一空间,检索结果接近随机,而且不会报错。
- 只评估检索,不评估答案。 检索引擎指标漂亮,最终回答仍在编,问题被掩盖在下一层。
- top-k 开得太大。 为了「不漏」塞二十条,上下文被噪声占满,准确率反而下降。
- 片段丢了标题路径。 模型不知道这段属于安装还是排障,回答张冠李戴。
- 权限过滤写在生成之后。 无权内容已经进了 prompt,打码也来不及。
- PDF 直接按字符切。 页眉、页脚、目录、页码全进了索引,召回一堆无意义片段。
- 忽视否定句。 「不支持退款」和「支持退款」在向量空间里几乎是邻居。
- 只用一种查询说法做测试。 真实用户的口语、错别字、缩写,一个都没覆盖。
检查清单
- 先用 100 到 300 条真实查询建离线评测集,有标注再谈优化。
- 切分按文档结构优先,长度兜底,表格与代码块不切开。
- 每个片段保留标题路径、来源、更新时间、版本、权限字段。
- 混合检索用 RRF 融合,不直接相加两路原始分数。
- 召回 50 到 100,重排 20 到 50,最终入上下文 3 到 8 条。
- 权限过滤下推到召回阶段,不做生成后打码。
- 建立索引重建与删除同步机制,文档变更要能追到片段。
- 评估分桶看:精确术语、口语、多跳、否定、跨版本各算一遍。
- 每次只改一个变量做消融,记录指标变化。
- 语料小于窗口三成时,先试整段塞入,别急着上向量库。
- 回答要求带引用,方便人工核验与追责。
RAG 这个词容易让人把注意力放在「向量」上,好像选对一个 embedding 模型就万事大吉。真正做过一轮完整上线就会知道,向量只是中间的一小段,前后都是脏活:文档怎么清洗、怎么切、带什么字段、召回后怎么筛、权限怎么下推、效果怎么量。
这套链路的每一环都不难,难的是它们串在一起,任何一环松动都会表现为「答得不太对」,而你不会知道是哪一环。所以离线评测集比任何单点技术都重要,它是你唯一能定位问题的仪表盘。
最后一个判断:如果语料不大、更新不频繁、问题需要全局理解,直接塞进上下文往往比搭一套 RAG 更准也更省心。工程上的成熟不是「什么都有」,是知道什么时候不用。
系列大纲与全部篇目见:Agent 原理与开发。
延伸阅读
- 上下文窗口与上下文工程 —— 检索资料该占多少预算,以及干扰项为什么会让模型变笨。
- LLM 和 Agent 的核心术语和原理 —— RAG 在整套 Agent 体系里的位置,以及它和记忆、技能的分工。
