接上一篇,假设你已经把上下文管好了:窗口不爆、信息精准、干预克制。这时候还剩一个变量——模型本身。

同一份 prompt、同一套工具,换成另一个模型,效果可能天差地别:有的模型工具调用规规矩矩,有的总在 JSON 前后加一句「好的,我这就查」;有的能连着改十个文件不忘约束,有的改到第三个就开始自作主张。

很多人把这归结为「模型强弱」,然后去看排行榜。但排行榜上的分数和你手里的任务,往往不是一回事。这篇讲两件事:参数到底在调什么,以及选型应该怎么做。

一、先认清哪些旋钮真的有用

各家 API 的参数表都长得挺长,但真正影响日常效果的其实只有几个:

参数 作用 常用取值 什么时候别动它
temperature 采样随机性,越低越保守 0 ~ 1(部分模型支持到 2) 结构化输出、工具调用
top_p 核采样,只从累计概率前 p 的词里选 0.9 ~ 1.0 与 temperature 二选一调
top_k 只从概率最高的 k 个词里选 20 ~ 50(部分厂商不支持) 大多数场景可以不管
max_tokens 输出长度上限 按任务给足 别贴着实际长度卡
stop 命中即停止的字符串 特定格式场景 与工具调用混用时慎用
frequency_penalty / presence_penalty 抑制重复 / 鼓励新话题 0(默认) 代码与工具调用场景
seed 尽力复现的随机种子 评测时固定 生产环境别依赖它

两个常见误解先说掉。

temperature = 0 不等于完全确定。 理论上它每次都选概率最高的 token,但实际推理里有浮点误差、批处理顺序、GPU 并行规约等不确定性,加上服务端可能做负载均衡到不同硬件,同一个请求跑两次仍可能不一样。所以别把「可复现」寄托在 temperature=0 上,评测要多次取样看方差。

temperature 和 top_p 不要一起调。 两者都在削概率分布的尾巴,一起调会让效果难以归因。工程上的通行做法是:固定 top_p = 1,只调 temperature;只有当你要限制「绝不选长尾词」时,才单独动 top_p。

二、temperature 不是「聪明程度」

这是最容易被误用的一个旋钮。它不改变模型知道什么,只改变采样时的冒险程度。

  • 调到 0:几乎总选最可能的词。适合抽取字段、写代码、生成 JSON、走固定流程。
  • 调到 0.7 左右:愿意选次优词,表达更自然。适合写文档、写文案。
  • 调到 1 以上:明显发散,容易跑题,但也可能撞出意外的好点子。适合头脑风暴,不适合生产。

再往深一层,有个容易被忽视的副作用:高 temperature 会降低工具调用的准确率。工具调用要求参数名、参数类型、枚举值严格对齐 schema,一旦采样发散,模型可能把 order_id 写成 orderId,或者给一个 schema 里没有的字段。这类错误在自然语言里看不出来,在解析时直接报错。

所以成熟的 Agent 通常对整个会话用低温,需要创意时再让特定子任务用高温——而不是全局调高,指望模型「更聪明」。

至于 frequency_penalty,它在长文本创作里能压住重复句式,但在代码和工具调用场景几乎只有坏处:它会让模型避免重复出现同一个标识符,结果变量名前后不一致。默认 0,别动。

三、思考强度:从「选模型」到「调档位」

上一篇提过这条演进脉络,这里展开说,因为它直接改变了选型的逻辑。

早期厂商同时发布「对话模型」和「推理模型」,开发者按任务挑。问题是一个 Agent 任务里既有简单文件读写,又有复杂调试——总不能中途换模型,换了还得重新适应工具格式。

2025 年下半年起,主流做法收敛到单一模型 + 思考强度参数:同一个模型,用一个档位参数控制「回答前先想多久」。各家叫法不同(reasoning_effort、thinking.budget_tokens、thinkingLevel 之类),机制一致:

档位 行为 适合的任务 代价
低 / 关闭 直接答,几乎不推演 格式转换、字段抽取、简单问答 复杂推理容易错
中 少量推演 常规编码、文档理解 平衡
高 多轮自我检查与修正 算法设计、疑难 bug、多步规划 慢、贵、token 消耗大

关键是要理解思考 token 是计费的。一次高强度思考可能产出几千个内部 token,虽然用户看不到,账单照算、延迟照等。所以「无脑开最高档」是很贵的懒惰。

实践上有两条经验:

  1. 按步骤分档,而不是按会话分档。 规划阶段开高,执行阶段(改文件、跑命令)开低。很多 Agent 框架已经支持每轮动态调整。
  2. 别用高档位替代差上下文。 信息没给全,想得再久也只能在错误的假设上推演,反而更自信地错。

四、结构化输出与工具调用:真正的分水岭

如果只让我用一个维度判断「这模型能不能撑起 Agent」,我会选指令遵从 + 结构化输出稳定性,而不是通用跑分。

具体看三件事:

第一,能不能严格按 schema 输出。 有的厂商提供「严格模式」(strict schema / structured outputs),在解码层面约束只能生成符合 schema 的 token,理论上不会出现格式错。有的只提供「JSON 模式」,只保证是合法 JSON,不保证字段对。差别在工程上很大:前者可以省掉大量重试逻辑,后者必须写兜底解析。

第二,并行工具调用稳不稳。 一个任务里要同时读三个文件,能不能一次输出三个调用请求?能并行就少一轮往返,长任务能快一大截。做不到就只能串行,轮数翻倍,上下文也跟着膨胀。

第三,工具描述的理解力。 描述写得含糊时,好模型会挑最接近的那个工具并在参数上做合理推断;差一点的模型会硬调、乱填,或者干脆不调直接编答案。后者最危险——它看起来完成了任务,实际全是幻觉。

这一层的差距,是 Agent 工程补不回来的。上下文写得再好、Harness 做得再严,模型不肯老实输出结构化内容,就只能靠重试堆成功率。

五、价格不是单价,是结构

算成本时,只看「每百万 token 多少钱」会严重失真。真实的账单由四部分构成:

1
2
3
4
成本 = 输入 token × 输入单价
+ 缓存命中输入 × 缓存单价(通常大幅折扣)
+ 输出 token × 输出单价(通常是输入的数倍)
+ 思考 token(多数厂商按输出计价)

两个结构性事实值得记住:

输出比输入贵得多。 常见倍率是 3~5 倍。所以「让模型多想想再多写点」的成本,远高于「多喂点资料」。这也解释了为什么长上下文 + 短输出(比如文档问答)相对便宜,而长输出(比如生成整个文件)很贵。

长上下文是阶梯计价的。 超过某个阈值(比如 200k)后,超出部分单价上浮。这意味着把 500k 的书整本塞进去,可能比切片检索贵一个数量级。

缓存对顺序敏感。 前缀缓存(prompt caching)能显著降低重复输入的成本,但一旦你在开头插了内容,后面的缓存全部失效。所以「稳定内容在前、变动内容在后」这条,既是注意力优化,也是省钱手段。

举个量级感的例子(价格用假设值,只为说明结构):假设输入 2 元/百万 token、输出 8 元/百万 token,一次任务读了 120k 输入、写了 3k 输出,成本约 0.12 × 2 + 0.003 × 8 = 0.264 元。如果因为上下文没管好,多读了 5 个无关文件(30k)并多跑两轮,成本可能翻倍——上下文管理的收益直接体现在账单上。

六、选型该怎么做

我的建议是三层过滤,从上往下走,不要一上来就比跑分。

第一层:任务分层。 把工作拆成几类,分别选型,而不是一个模型打天下。

任务类型 需求重点 典型选择
分类、打标、路由 便宜、快、够准 小模型完全够用
字段抽取、格式转换 结构化稳定性 中等模型 + 严格 schema
编码、调试 长程一致性、工具调用 强模型,值得花钱
长文档理解 长上下文 + 检索质量 长上下文模型,但优先切片
创意写作 表达自然度 中高温度的中等模型

混合使用是最常见的落地形态:用便宜模型做路由和初筛,把难题交给强模型。这一步往往能砍掉一半以上成本,而效果几乎无损。

第二层:用自己的任务集评测。 排行榜测的是通用能力,你的任务有你的分布。做法很土但有效:从真实工作里攒 30~50 个案例,包含正确输出和失败模式,每次换模型 / 换 prompt / 换参数都跑一遍,记录准确率、平均轮数、平均 token、失败类型分布。

评测集比评测工具重要得多。没有它,所有调参都是凭感觉。

第三层:看工程约束。 延迟能不能接受、有没有数据出境限制、需不需要私有化部署、超时和限流怎么处理。这些经常比效果更能决定最终选择——一个准确率高 3% 但延迟翻倍的模型,在交互式产品里通常不可用。

七、开源与闭源:差距在缩小,但位置不同

现在的格局大致是这样:

  • 闭源强模型:指令遵从、工具调用、长程一致性最好,适合做 Agent 的「大脑」。代价是价格、延迟、数据合规。
  • 开源模型(Qwen、DeepSeek、Llama 系列等):可私有化、可微调、单价低,近几年在中文和代码上进步很快。差距主要在复杂工具调用和超长任务的稳定性上。
  • 小模型:在窄任务上(分类、抽取、固定格式转换)表现接近大模型,成本低一个数量级。

一个务实的组合:用开源 / 小模型承担量大管饱的部分,把强模型留给需要推理的环节。这比纠结「哪个模型最强」有用得多。

八、四套可以直接用的参数模板

按任务给默认值,比每次现场调省事。

代码与工具调用(Agent 主循环)

1
2
3
4
5
temperature = 0 ~ 0.2
top_p = 1
penalty = 0
max_tokens = 给足(别贴着实际长度)
思考强度 = 规划阶段高、执行阶段低

结构化抽取

1
2
3
4
temperature = 0
严格 schema = 开启(支持的话)
max_tokens = 按字段量给 1.5 倍余量
失败处理 = 程序侧校验 + 一次重试,别让它自由发挥

长文档问答

1
2
3
temperature = 0.2 ~ 0.3
上下文 = 切片检索优先,别整本塞
引用要求 = 明确要求「只依据给定片段作答」

创意写作

1
2
3
temperature = 0.7 ~ 0.9
top_p = 0.95
penalty = 轻微 frequency_penalty,压重复句式

九、几个真实的坑

  • max_tokens 太小导致 JSON 被截断。 报错信息通常是「解析失败」,很容易误判成模型能力问题。
  • 用 stop 截断时,把工具调用的结束标记也截掉了。 结果是一条永远等不到结果的调用。
  • 以为 temperature=0 就能复现线上 bug。 复现要固定 seed、固定输入、固定模型版本号,三者缺一不可。
  • 升级模型版本后不重跑评测。 厂商的「小版本更新」经常改变工具调用的默认行为,尤其是并行调用和参数格式。
  • 把 frequency_penalty 调高治「啰嗦」。 它治的是词汇重复,不是话多;话多要靠 prompt 和 max_tokens。

十、检查清单

  • 选型先分层:哪些任务小模型够用,哪些必须上强模型。
  • 攒一个 30~50 例的自有评测集,换模型前先跑它。
  • Agent 主循环用低温 + 严格 schema,别让采样发散破坏工具调用。
  • 思考强度按步骤调,规划高、执行低,别全局拉满。
  • 算成本看结构:输出贵、长上下文阶梯计价、缓存吃顺序。
  • 固定模型版本号,升级必复跑评测。

模型是上限,工程是下限。选对模型能少走很多弯路,但选对之后,真正决定体验的仍然是上下文怎么管、工具怎么设计、失败怎么兜底——这就是后面几篇要讲的事。

系列大纲与全部篇目见:Agent 原理与开发。

延伸阅读