LLM 和 Agent 的核心术语和原理
刚开始用 AI 编程工具时,很容易撞上两个问题:
- Cursor、Antigravity 里同样能选 Claude 模型,为什么大家普遍觉得 Claude Code 配合 Claude 模型的效果更好?
- Qwen、DeepSeek 这类国产模型也能接进 Claude Code,用起来和官方模型到底差在哪?
这两个问题指向同一件事:模型(LLM)和智能体(Agent)不是一回事。最终效果 = 模型本身的能力 × 围绕模型搭出来的工程体系。
打个比方,LLM 是引擎,Agent 工程是整辆车。引擎决定马力上限,但操控、刹车、悬挂、安全配置同样决定车好不好开。任何一环拉胯,体验都会打折。
- Qwen、Claude、DeepSeek、GPT —— 这些是 LLM。
- Claude Code、Codex、Cursor、Antigravity、OpenClaw —— 这些是 Agent(不限于编程场景)。
下面按「模型 → 工具 → 循环 → 工程增强」的顺序,把常见术语串成一条线。只讲原理,不贴具体 API 调用。
一张术语全景图
| 层次 | 核心术语 | 要解决什么问题 |
|---|---|---|
| 模型基座 | token、概率预测、temperature、Context / Context Window | 文本是怎么被生成出来的 |
| 对齐与推理 | Base / Instruct、SFT、RLHF、CoT、思考强度参数 | 从「续写」变成「回答问题」,并把推理做扎实 |
| 行为约束 | System Prompt、角色标签(system / user / assistant) | 规定人设、风格和安全边界 |
| 工具能力 | Function Calling / Tool Use、指令遵从 | 让只会输出文本的模型拥有「手脚」 |
| 工具标准化 | MCP(Model Context Protocol) | 一次写工具,各处 Agent 都能用 |
| 智能体 | Agent Loop、ReAct | 把单步问答变成多步任务 |
| 上下文工程 | Skills、渐进式披露、RAG、Auto Memory、Compaction | 在有限的窗口里决定塞什么、怎么塞 |
| 可靠性 | Harness Engineering、Hooks | 用确定性程序给概率模型兜底 |
整条链路的关键词其实只有两个:文本和上下文。记住这一点,后面所有术语都不再神秘。
一、LLM 的本质:逐 token 的概率预测
大语言模型的全部工作原理可以压缩成一句话:根据已有文本,预测下一个 token 出现的概率。
token 是模型处理文本的最小单位,一个英文单词大致一个 token,一个汉字约 1~2 个 token。粗略理解成「输入输出的文本」即可。
输入「今天天气」,模型会算出下一个字的概率分布:「真」30%、「不」20%、「很」15%…… 选一个输出,把它拼回输入,再预测下一个字,如此反复,直到生成完整回复。这个过程叫自回归。所以你在聊天窗口里看到的「一个字一个字往外蹦」不是打字机动画,那就是模型真实的工作方式。
一定会有人疑惑:只靠猜下一个字,怎么能写出通顺又有逻辑的长文?答案是规模效应。参数量到几百亿、上千亿,训练数据覆盖海量语料后,这种统计预测会准到让人误以为它「理解」了你在说什么。但它做的仍是模式匹配,不是理解——就像把全部棋谱背下来的人,未必懂围棋哲学,棋力却可能超过大多数人。
由此引出两个高频参数/概念:
温度 temperature:控制选字时的随机性。设为 0 时永远挑概率最高的 token,输出最确定,适合写代码、抽取结构化数据;调高后会更愿意选低概率 token,更有创意也更不可控,适合文案、脑暴。
上下文 Context:模型每次预测时能看到的所有文本——你这次的问题、之前的历史消息、系统给的背景设定,全都拼在一起。
所谓「它记住了你的名字」,其实只是「我叫小明」这句话还在上下文里,模型每次回答都重新读了一遍全部内容,看起来像记忆而已。
上下文容量有限,这个上限叫 上下文窗口(Context Window)。主流模型目前大致 200k ~ 1M token,看着很大,但在 Agent 场景里消耗极快。超出窗口的早期内容通常要被压缩(Compaction):让模型把前面几十轮对话总结成一段摘要,保留结论、丢掉细节,腾出空间。信息必然有损耗,这就是长对话「失忆」的原因。
实践上最有效的一条:一个会话(Session)只处理一个问题,新问题就开新会话,拿到一个干净的上下文窗口。
二、从「接话」到「答问」:Base、Instruct 与思维链
开源模型常同时发布 Base 和 Instruct 两个版本,这个差别恰好解释了 LLM 是怎么变成助手的。
- Base 模型:纯补全引擎。输入「中国的首都是」,它续写「北京,位于华北平原……」。
- Instruct 模型:把输入当作一个需要响应的指令,回答「中国的首都是北京」。
转变靠两步:SFT(用大量「指令-回答」数据做微调) + RLHF(人类反馈强化学习,让模型对同一问题生成多个答案、由人打分排序后再调整)。我们日常用的 ChatGPT、Gemini、Claude 等助手全是 Instruct 模型;直接拿 Base 模型聊天会很别扭,因为它只会接话,不会回答问题。
思维链 CoT(Chain of Thought) 则是另一个关键发现:让模型把推理过程写出来再给答案,准确率明显高于直接蹦答案。
比如「3 个苹果,买了 5 个,吃了 2 个,还剩几个」,直接输出数字容易错;先写「3 + 5 = 8,8 - 2 = 6」再答 6 就稳得多。原因是每一步中间结果都会成为后续推理的输入,等价于给自己打草稿。后来的推理模型(o1/o3、DeepSeek R1、Claude extended thinking)又加上了自我检查与修正:先给答案,再回头验证,发现不对就改——本质是用更多计算量换准确率。
这里还有一条值得记的演进脉络:早期厂商同时发布「对话模型 + 推理模型」两套,开发者按任务挑模型,但一个 Agent 任务里既有简单文件读写又有复杂调试,中途换模型很不现实。2025 年下半年起,行业基本统一到 单一模型 + 思考强度参数 的范式,只是各家名字不同(reasoning_effort、effort、thinkingLevel…):调高就多推演几轮,调低就直接答、省 token。对应用开发来说,从维护两套调用逻辑变成一套,复杂度降了一大截。
三、System Prompt:模型的「人设说明书」
模型能力讲完了,怎么控制它的行为?靠 System Prompt:对话开始前注入的一段指令,被放在上下文最前面,用户在界面上看不到,但模型每轮生成都能读到。
它有三个来源:厂商预设的默认指令、开发者通过 API 设定的规则、以及用户自己填的偏好(例如 ChatGPT 的「自定义指令」——「我是后端开发,回答简洁,示例用 Go」,本质就是被追加进 System Prompt)。
第二个用途是安全规则。训练阶段的安全对齐(RLHF)让模型学会拒绝明显有害的请求,但策略会随政策频繁调整,总不能每改一次就重训一遍;把细粒度的规则写成文本放进 System Prompt,改一行就能生效,灵活得多。
至于「忽略之前所有指令」为什么通常无效:送给模型的文本带有角色标签(system / user / assistant),模型在训练中学会了对 system 内容赋予更高的服从权重。这不是硬性权限控制,所以才有各种越狱(jailbreak)技巧与厂商加固之间的攻防。
一句话概括 System Prompt 的价值:定义行为方式,设置不易被覆盖的规则。后面所有「工具描述、流程文档、记忆片段」的注入,都以它为起点。
四、Function Calling / Tool Use:模型只输出「意图」
LLM 有个硬限制:它只能输出文本。问它现在几点,它没有时钟;让它查数据库,它连不上库。像个被关在房间里的大脑,博学但没有手脚。
2023 年 OpenAI 推出 Function Calling(后来改名 Tool Use,Anthropic、Google 各自跟进)后,这个限制被绕开了。关键在于理解下面这条链路,用一个「查订单」的例子:
1)声明工具。 外围程序按厂商要求的格式,把工具的名称、用途、参数写进上下文(简化理解,就是放在 System Prompt 附近):
1 | 工具:query_order |
2)模型输出调用意图。 用户问「订单 20261121 发货了吗」,模型不知道答案,但它读到了工具描述,于是不直接回答,而是输出:
1 | { "tool": "query_order", "arguments": { "order_id": "20261121" } } |
3)程序真正执行。 注意:模型没有调用任何接口,它只是吐了一段表达「我想调用」的文本。解析 JSON、查数据库、拿到结果,全是外围程序干的。
4)结果回灌上下文。 把返回值作为一条工具消息追加进去:
1 | { "order_id": "20261121", "status": "已发货", "express": "SF123456" } |
5)模型基于结果作答,「订单已发货,顺丰单号 SF123456」,程序再把这句话交给用户。
整轮的上下文依次是:工具描述 → 用户提问 → 调用 JSON → 工具结果 → 最终回答。全是文本,全在窗口里,没有任何魔法。模型之所以知道该调 query_order,纯粹因为它在上下文里读到了工具描述。
这里真正被考验的是模型的指令遵从能力:说好只输出合法 JSON,会不会夹一句「好的,下面是结果」导致解析失败?说好的参数类型,会不会填错?早期模型(如 GPT-3.5)在这上面很不稳定,Tool Use 只能算勉强可用;随着指令遵从变强,它才可靠到足以撑起 Agent。这也是为什么现在新模型发布都要单独列出工具调用相关的评测指标。
五、MCP:标准化的是接口,不是智能
Tool Use 原理不难,麻烦在工程适配:同一个工具,在不同厂商 API 里的声明格式不一样——OpenAI 把定义嵌在 function 里、参数字段叫 parameters,Anthropic 是扁平结构、叫 input_schema,Gemini 又是另一套。更麻烦的是,日常我们用的是 Claude Code、Cursor 这类 Agent 工具,而不是直接调模型 API,给它们加自定义工具总不能把每家格式都适配一遍。
这很像当年手机充电线各搞一套协议的日子。MCP(Model Context Protocol,模型上下文协议) 就是 AI 工具领域的 USB-C:Anthropic 于 2024 年 11 月提出,规定了工具如何描述、如何被发现、如何被调用。按 MCP 写一次 Server,任何支持 MCP 的 Agent 在配置里注册一下就能用。
角色上大致分三层:Host(Claude Code / Cursor 这类 Agent 应用)、Client(应用内负责连接的一层)、Server(真正暴露 tools / resources / prompts 的一方)。工具定义通常由函数签名和文档字符串自动生成,开发者不用手写 JSON schema。
务必记住:MCP 没有引入任何新的 AI 能力。它只是把「怎么描述工具、怎么传调用」标准化了,底层依旧是 Tool Use 那一套——描述进上下文 → 模型决定调用 → 程序执行 → 结果回灌。
六、Agent = LLM + 工具 + 循环
一次「提问 → 调一次工具 → 回答」能做的事有限。真实任务往往是多步的:读文件看结构 → 定位 bug → 改代码 → 跑测试确认。一次工具调用搞不定。
Agent 的核心思路朴素到有点反高潮:把上面那套 Tool Use 放进一个循环里。
1 | context = [system_prompt, tool_descriptions, user_task] |
Claude Code、Codex、Cursor 这些编程 Agent,本质都是这个循环,外加一批编程工具:读写文件、执行命令、搜索代码、跑测试。循环中的「思考 → 行动 → 观察结果 → 再思考」在学术上叫 ReAct(Reasoning + Acting),和人类解决问题的节奏没什么两样:先看看情况,试一下,看结果,再定下一步。
循环带来一个绕不开的副作用:每一轮的思考和工具结果都会追加进上下文,窗口持续膨胀。于是两件事变得格外重要:
- 窗口大小与压缩策略——窗口太小,Agent 跑几轮就被截断,前面的约束悄悄消失;长程任务中多次压缩的信息损失,是「一错再错」的常见根源。
- 工具调用的准确率——一旦模型调用错工具或读错文件,大量无关结果被灌进上下文,不仅浪费 token,还会把后续判断带偏。
所以 Agent 的「智能」来自两半:模型推理能力决定能不能想出正确的下一步,工具决定能不能把想法变成实际行动。LLM 是大脑,工具是手脚,循环是驱动力,合起来就是 Agent。
七、上下文工程:有限窗口里塞什么
Agent 知道「能做什么」之后,还得知道「该怎么做」,以及「从哪里拿到私有知识」「怎么把经验带到下一次」。这几件事看起来五花八门,其实是同一个动作的不同变体。
Skills:把流程沉淀成文档
复杂任务里,让模型自由摸索不如按一套验证过的流程执行稳。这就像给聪明的新员工一份成熟 SOP:他也能自己琢磨,但照流程做更快更可靠。Skills 就是把你常用的操作流程写成文档,直接交给 Agent 按部就班执行——和把重复代码抽成公共函数是一个思路。
以 Anthropic 官方的 PDF Skill 为例,一个 Skill 通常长这样:
1 | skills/pdf/ |
SKILL.md 开头的 name / description 告诉 Agent「什么任务该用我」,正文写清每个步骤和脚本用法。妙处在于:Agent 只需知道脚本的用途然后去执行,不需要把脚本源码读进上下文理解一遍;脚本是事先验证过的,比让模型临时现写可靠得多。
与之配套的是 渐进式披露(Progressive Disclosure):启动时只注入所有 Skill 的名字和一句话简介(几十个也就占很少 token),模型判断相关了再加载正文,需要时再读参考文档或调脚本。原理没变(还是往上下文塞文本),靠按需加载把成本压了下来。
RAG:让模型用上你的私有知识
模型只见过训练语料,问它「我们公司 XX 产品怎么收费」只能瞎编。整份知识库塞进上下文不现实,关键词搜索也不行——用户问「忘记密码怎么办」,文档写的是「账号找回流程」,一个字都不重合。
RAG(检索增强生成) 用 Embedding 模型解决:把文本映射成语义向量,语义相近的文本向量距离也近。事先把文档切片编码存进向量库;提问时把问题也编码,检索出最相近的片段,塞进上下文,模型就能基于资料作答。本质上仍然是「往上下文里加文本」,只是这段文本是检索来的。
Auto Memory:跨会话的信息延续
前面建议「一会话一问题」,代价是原会话积累的上下文全部丢掉。但有些信息值得跨会话保留,大致两类:
- 用户维度:偏好详细中文注释、常用技术栈、不喜欢过度抽象的代码;
- 项目维度:本地怎么起服务、测试环境怎么部署、日志在哪看、数据库怎么连。
手动维护一份「入职手册」当然可行,但没人愿意每次踩坑后还去整理文档。Auto Memory 把这件事自动化了:每轮对话后由 Agent 识别哪些信息有跨会话价值,写进记忆文件;新会话启动时自动注入到上下文开头。各家实现不同,本质完全一致:沉淀文本 → 下次加载。
Compaction:用摘要换空间
窗口见底时,把早期对话压成摘要。它和前三者方向相反(做减法),但同样属于上下文管理。要注意:压缩必然丢细节,重要约束最好放进记忆文件或 System Prompt,而不是指望摘要保留。
八、Harness Engineering:给概率模型上缰绳
模型再强也是概率模型,改代码可能漏看关键文件,也可能只凭文件名臆测内容就动手。长程任务里这个问题会被放大:几小时的工作必然经历多轮压缩,早期定下的约束、踩过的坑、改到一半的状态,都可能在某次压缩后消失。
Harness Engineering 就是围绕模型搭建的兜底工程机制。社区那句 Agent = Model + Harness 很贴切:Harness 原意是马具,模型像精力旺盛但容易跑偏的马,缰绳和马鞍把力气约束到正确方向。它不是某项具体技术,而是一种贯穿始终的工程思想,常见两类做法:
- 事前约束:例如 Claude Code 的 Edit 工具在代码层强制要求「待替换内容必须与文件原文完全一致,且只出现一次」,模型凭印象改文件就直接报错。
- 事后反馈:Agent 写完代码自动跑测试 / lint,挂了就把错误信息回灌上下文让它自己修;这可以由 Hooks 在 Agent 想停下来时触发预设脚本实现。
共同原则非常值得抄进笔记:凡是能用确定性程序检测的事,就不要交给模型自己判断。模型的判断是概率性的,编译、测试、格式校验才是工程上真正可靠的保障。
顺带一提交互层的创新,比如 2026 年初火过的 OpenClaw:底层同样是 LLM + 工具 + 循环,编程能力比不上原厂打磨过的 Coding Agent,但它把 Agent 接到了飞书、Telegram、Slack 等 IM 上,在手机上发条消息就能远程派活,还能通过 ACP 或 CLI 调用 Claude Code / Codex 来干重活,自己只负责传话。它的价值在换了一套交互界面,而不是模型能力;随后厂商 App 也陆续支持手机远程控制电脑端 Agent,说明「接入 IM」本身壁垒不高。这类项目热度会起落,但「底层专业 Agent + 上层轻量入口」的分层思路值得留意。
九、回到贯穿始终的那句话:一切都是上下文
把前面的术语全部翻译成「往上下文里加了什么」,整个体系就闭合了:
| 术语 | 落到上下文里的实际内容 |
|---|---|
| System Prompt | 开头的人设、风格与安全规则 |
| CoT / 思考 | 模型写给自己看的草稿文本 |
| Tool Use | 工具描述 + 调用 JSON + 工具返回结果 |
| Agent Loop | 一轮轮不断追加的思考与观察 |
| MCP | 统一格式的工具描述 |
| Skills | 操作手册,按需渐进加载 |
| RAG | 从外部知识库检索到的资料片段 |
| Auto Memory | 跨会话沉淀的偏好与项目规范 |
| Compaction | 用一段摘要替换早期原文 |
在 Claude Code 里跑 /context,能直接看到 System Prompt、System tools、MCP tools、Memory files、Skills、Messages 各占多少 token,以及还剩多少 Free space——它们对应的概念上面全都讲过,本质上都是窗口里的文本。
这也解释了为什么「上下文工程」值钱:模型能力是固定的,往上下文里塞什么、怎么塞、塞多少,直接决定 Agent 的表现。同一个模型,配一份写得好的 Skill 和一批预置脚本,能高效完成复杂任务;塞满无关信息,可能连简单问题都答不好。从 Function Calling 到 MCP、Skills、渐进式披露,演进主线始终是同一个问题:如何在有限窗口里高效组织信息,把概率模型的能力榨出来。
现在可以回答开头两个问题了:
- 同一个 Claude 模型,不同工具效果不同——差在 Agent 工程:prompt 打磨、工具设计、上下文管理、以及成本约束。原厂掌握模型,舍得让 Claude Code / Codex 先读够信息再动手;依赖 API 计费的第三方工具往往倾向于少塞上下文、尽快出结果,复杂任务就容易欠考虑。
- 同一个 Agent 换不同模型,效果也不同——差在模型自身的指令遵从、推理和工具调用能力,这一层是 Agent 工程补不回来的。
几条能立刻用上的建议:一个会话只处理一个问题;复杂任务给流程文档而不是靠模型自由发挥;把验证交给确定性的测试与 Hooks;警惕无关工具结果污染上下文;选模型时别只看通用跑分,也看指令遵从和工具调用指标。
最后一点感受:AI 时代的机会不只在训练模型的人手里。怎么设计工具、怎么写 Skill、怎么管上下文,都是实打实的工程问题;而且模型越强,围绕它做的工程优化越能放大价值。
参考资料
- LLM 和 Agent 的核心术语和原理 · labuladong —— 本文按其知识框架重新梳理与表述,代码示例和组织结构为整理后重写。
