模型选型与推理参数
接上一篇,假设你已经把上下文管好了:窗口不爆、信息精准、干预克制。这时候还剩一个变量——模型本身。
同一份 prompt、同一套工具,换成另一个模型,效果可能天差地别:有的模型工具调用规规矩矩,有的总在 JSON 前后加一句「好的,我这就查」;有的能连着改十个文件不忘约束,有的改到第三个就开始自作主张。
很多人把这归结为「模型强弱」,然后去看排行榜。但排行榜上的分数和你手里的任务,往往不是一回事。这篇讲两件事:参数到底在调什么,以及选型应该怎么做。
一、先认清哪些旋钮真的有用
各家 API 的参数表都长得挺长,但真正影响日常效果的其实只有几个:
| 参数 | 作用 | 常用取值 | 什么时候别动它 |
|---|---|---|---|
temperature |
采样随机性,越低越保守 | 0 ~ 1(部分模型支持到 2) | 结构化输出、工具调用 |
top_p |
核采样,只从累计概率前 p 的词里选 | 0.9 ~ 1.0 | 与 temperature 二选一调 |
top_k |
只从概率最高的 k 个词里选 | 20 ~ 50(部分厂商不支持) | 大多数场景可以不管 |
max_tokens |
输出长度上限 | 按任务给足 | 别贴着实际长度卡 |
stop |
命中即停止的字符串 | 特定格式场景 | 与工具调用混用时慎用 |
frequency_penalty / presence_penalty |
抑制重复 / 鼓励新话题 | 0(默认) | 代码与工具调用场景 |
seed |
尽力复现的随机种子 | 评测时固定 | 生产环境别依赖它 |
两个常见误解先说掉。
temperature = 0 不等于完全确定。 理论上它每次都选概率最高的 token,但实际推理里有浮点误差、批处理顺序、GPU 并行规约等不确定性,加上服务端可能做负载均衡到不同硬件,同一个请求跑两次仍可能不一样。所以别把「可复现」寄托在 temperature=0 上,评测要多次取样看方差。
temperature 和 top_p 不要一起调。 两者都在削概率分布的尾巴,一起调会让效果难以归因。工程上的通行做法是:固定 top_p = 1,只调 temperature;只有当你要限制「绝不选长尾词」时,才单独动 top_p。
二、temperature 不是「聪明程度」
这是最容易被误用的一个旋钮。它不改变模型知道什么,只改变采样时的冒险程度。
- 调到 0:几乎总选最可能的词。适合抽取字段、写代码、生成 JSON、走固定流程。
- 调到 0.7 左右:愿意选次优词,表达更自然。适合写文档、写文案。
- 调到 1 以上:明显发散,容易跑题,但也可能撞出意外的好点子。适合头脑风暴,不适合生产。
再往深一层,有个容易被忽视的副作用:高 temperature 会降低工具调用的准确率。工具调用要求参数名、参数类型、枚举值严格对齐 schema,一旦采样发散,模型可能把 order_id 写成 orderId,或者给一个 schema 里没有的字段。这类错误在自然语言里看不出来,在解析时直接报错。
所以成熟的 Agent 通常对整个会话用低温,需要创意时再让特定子任务用高温——而不是全局调高,指望模型「更聪明」。
至于 frequency_penalty,它在长文本创作里能压住重复句式,但在代码和工具调用场景几乎只有坏处:它会让模型避免重复出现同一个标识符,结果变量名前后不一致。默认 0,别动。
三、思考强度:从「选模型」到「调档位」
上一篇提过这条演进脉络,这里展开说,因为它直接改变了选型的逻辑。
早期厂商同时发布「对话模型」和「推理模型」,开发者按任务挑。问题是一个 Agent 任务里既有简单文件读写,又有复杂调试——总不能中途换模型,换了还得重新适应工具格式。
2025 年下半年起,主流做法收敛到单一模型 + 思考强度参数:同一个模型,用一个档位参数控制「回答前先想多久」。各家叫法不同(reasoning_effort、thinking.budget_tokens、thinkingLevel 之类),机制一致:
| 档位 | 行为 | 适合的任务 | 代价 |
|---|---|---|---|
| 低 / 关闭 | 直接答,几乎不推演 | 格式转换、字段抽取、简单问答 | 复杂推理容易错 |
| 中 | 少量推演 | 常规编码、文档理解 | 平衡 |
| 高 | 多轮自我检查与修正 | 算法设计、疑难 bug、多步规划 | 慢、贵、token 消耗大 |
关键是要理解思考 token 是计费的。一次高强度思考可能产出几千个内部 token,虽然用户看不到,账单照算、延迟照等。所以「无脑开最高档」是很贵的懒惰。
实践上有两条经验:
- 按步骤分档,而不是按会话分档。 规划阶段开高,执行阶段(改文件、跑命令)开低。很多 Agent 框架已经支持每轮动态调整。
- 别用高档位替代差上下文。 信息没给全,想得再久也只能在错误的假设上推演,反而更自信地错。
四、结构化输出与工具调用:真正的分水岭
如果只让我用一个维度判断「这模型能不能撑起 Agent」,我会选指令遵从 + 结构化输出稳定性,而不是通用跑分。
具体看三件事:
第一,能不能严格按 schema 输出。 有的厂商提供「严格模式」(strict schema / structured outputs),在解码层面约束只能生成符合 schema 的 token,理论上不会出现格式错。有的只提供「JSON 模式」,只保证是合法 JSON,不保证字段对。差别在工程上很大:前者可以省掉大量重试逻辑,后者必须写兜底解析。
第二,并行工具调用稳不稳。 一个任务里要同时读三个文件,能不能一次输出三个调用请求?能并行就少一轮往返,长任务能快一大截。做不到就只能串行,轮数翻倍,上下文也跟着膨胀。
第三,工具描述的理解力。 描述写得含糊时,好模型会挑最接近的那个工具并在参数上做合理推断;差一点的模型会硬调、乱填,或者干脆不调直接编答案。后者最危险——它看起来完成了任务,实际全是幻觉。
这一层的差距,是 Agent 工程补不回来的。上下文写得再好、Harness 做得再严,模型不肯老实输出结构化内容,就只能靠重试堆成功率。
五、价格不是单价,是结构
算成本时,只看「每百万 token 多少钱」会严重失真。真实的账单由四部分构成:
1 | 成本 = 输入 token × 输入单价 |
两个结构性事实值得记住:
输出比输入贵得多。 常见倍率是 3~5 倍。所以「让模型多想想再多写点」的成本,远高于「多喂点资料」。这也解释了为什么长上下文 + 短输出(比如文档问答)相对便宜,而长输出(比如生成整个文件)很贵。
长上下文是阶梯计价的。 超过某个阈值(比如 200k)后,超出部分单价上浮。这意味着把 500k 的书整本塞进去,可能比切片检索贵一个数量级。
缓存对顺序敏感。 前缀缓存(prompt caching)能显著降低重复输入的成本,但一旦你在开头插了内容,后面的缓存全部失效。所以「稳定内容在前、变动内容在后」这条,既是注意力优化,也是省钱手段。
举个量级感的例子(价格用假设值,只为说明结构):假设输入 2 元/百万 token、输出 8 元/百万 token,一次任务读了 120k 输入、写了 3k 输出,成本约 0.12 × 2 + 0.003 × 8 = 0.264 元。如果因为上下文没管好,多读了 5 个无关文件(30k)并多跑两轮,成本可能翻倍——上下文管理的收益直接体现在账单上。
六、选型该怎么做
我的建议是三层过滤,从上往下走,不要一上来就比跑分。
第一层:任务分层。 把工作拆成几类,分别选型,而不是一个模型打天下。
| 任务类型 | 需求重点 | 典型选择 |
|---|---|---|
| 分类、打标、路由 | 便宜、快、够准 | 小模型完全够用 |
| 字段抽取、格式转换 | 结构化稳定性 | 中等模型 + 严格 schema |
| 编码、调试 | 长程一致性、工具调用 | 强模型,值得花钱 |
| 长文档理解 | 长上下文 + 检索质量 | 长上下文模型,但优先切片 |
| 创意写作 | 表达自然度 | 中高温度的中等模型 |
混合使用是最常见的落地形态:用便宜模型做路由和初筛,把难题交给强模型。这一步往往能砍掉一半以上成本,而效果几乎无损。
第二层:用自己的任务集评测。 排行榜测的是通用能力,你的任务有你的分布。做法很土但有效:从真实工作里攒 30~50 个案例,包含正确输出和失败模式,每次换模型 / 换 prompt / 换参数都跑一遍,记录准确率、平均轮数、平均 token、失败类型分布。
评测集比评测工具重要得多。没有它,所有调参都是凭感觉。
第三层:看工程约束。 延迟能不能接受、有没有数据出境限制、需不需要私有化部署、超时和限流怎么处理。这些经常比效果更能决定最终选择——一个准确率高 3% 但延迟翻倍的模型,在交互式产品里通常不可用。
七、开源与闭源:差距在缩小,但位置不同
现在的格局大致是这样:
- 闭源强模型:指令遵从、工具调用、长程一致性最好,适合做 Agent 的「大脑」。代价是价格、延迟、数据合规。
- 开源模型(Qwen、DeepSeek、Llama 系列等):可私有化、可微调、单价低,近几年在中文和代码上进步很快。差距主要在复杂工具调用和超长任务的稳定性上。
- 小模型:在窄任务上(分类、抽取、固定格式转换)表现接近大模型,成本低一个数量级。
一个务实的组合:用开源 / 小模型承担量大管饱的部分,把强模型留给需要推理的环节。这比纠结「哪个模型最强」有用得多。
八、四套可以直接用的参数模板
按任务给默认值,比每次现场调省事。
代码与工具调用(Agent 主循环)
1 | temperature = 0 ~ 0.2 |
结构化抽取
1 | temperature = 0 |
长文档问答
1 | temperature = 0.2 ~ 0.3 |
创意写作
1 | temperature = 0.7 ~ 0.9 |
九、几个真实的坑
max_tokens太小导致 JSON 被截断。 报错信息通常是「解析失败」,很容易误判成模型能力问题。- 用
stop截断时,把工具调用的结束标记也截掉了。 结果是一条永远等不到结果的调用。 - 以为
temperature=0就能复现线上 bug。 复现要固定 seed、固定输入、固定模型版本号,三者缺一不可。 - 升级模型版本后不重跑评测。 厂商的「小版本更新」经常改变工具调用的默认行为,尤其是并行调用和参数格式。
- 把
frequency_penalty调高治「啰嗦」。 它治的是词汇重复,不是话多;话多要靠 prompt 和max_tokens。
十、检查清单
- 选型先分层:哪些任务小模型够用,哪些必须上强模型。
- 攒一个 30~50 例的自有评测集,换模型前先跑它。
- Agent 主循环用低温 + 严格 schema,别让采样发散破坏工具调用。
- 思考强度按步骤调,规划高、执行低,别全局拉满。
- 算成本看结构:输出贵、长上下文阶梯计价、缓存吃顺序。
- 固定模型版本号,升级必复跑评测。
模型是上限,工程是下限。选对模型能少走很多弯路,但选对之后,真正决定体验的仍然是上下文怎么管、工具怎么设计、失败怎么兜底——这就是后面几篇要讲的事。
系列大纲与全部篇目见:Agent 原理与开发。
延伸阅读
- 上下文窗口与上下文工程 —— 上一篇,窗口里的取舍策略。
- LLM 和 Agent 的核心术语和原理 —— 本系列的起点。
