模型选型与成本治理：从「都用最强的」到按任务分级

为什么「统一用最强模型」是成本陷阱

模型能力是分层的：旗舰模型擅长长链推理、复杂代码、多约束指令；轻量模型在分类、抽取、格式转换、短问答上往往已经够用。而两者的单价差距可以达到十倍甚至更多。

Anthropic 当前的价格页与 OpenAI 的 [API pricing](https://developers.openai.com/api/docs/pricing) 都把自家模型分成若干档位；以 Anthropic 公布的 [pricing](https://claude.com/pricing) 为例，Opus、Sonnet、Haiku 三档面向的是不同强度的任务，单价差异明显。把每天的几十万条简单分类也交给旗舰模型，是最容易被忽视的浪费。

把任务分级落到代码里

1. 把系统里的 LLM 调用按「任务类型」列出来（分类 / 抽取 / 摘要 / 生成 / 推理 / 代码）。
2. 为每类任务选一个默认档位，写进配置，而不是散落在各处的模型名。
3. 为每类任务准备 50~200 条固定评测样本，包含典型的难例。
4. 先用默认档位跑基线，再尝试降级，对比准确率/格式合规率。
5. 只有在质量损失低于阈值时才保留降级；否则回到上一档。

阶梯式路由：先便宜后贵

一个实用的模式是「先便宜后贵」：先用轻量模型处理，遇到以下信号再升级到旗舰模型——

• 输出无法解析（JSON 坏了、字段缺失）。
• 模型自己声明不确定，或置信度低于阈值。
• 触发了业务侧的质量校验（例如生成的 SQL 无法执行）。
• 请求的复杂度指标超阈值（输入长度、引用文档数）。

这样大部分流量停在便宜档，只有真正困难的部分才付费到旗舰档。注意把升级次数计入监控：升级率长期偏高，说明选型该重新评估了。

跨厂商切换前要确认的事

不同厂商对同一任务的输出风格、工具调用格式、拒绝策略并不一致。在把某类任务从 A 厂商切到 B 厂商之前，至少要确认：

• 结构化输出：JSON mode / 严格 schema 的支持程度是否一致。
• 工具调用格式：参数结构、并行调用、错误回传方式。
• 上下文长度与截断行为：超长输入是报错还是静默截断。
• 内容策略差异：同一段输入在一个模型上被拒绝、另一个正常。

在同一个网关里做分级

Admesh 对外保持 OpenAI 兼容协议，模型以 namespace/model 的形式暴露（例如 anthropic/…、openai/…、deepseek/…）。这意味着任务分级只需要在配置里维护一张「任务类型 → 模型」的映射表，代码里始终只改 model 参数。

由于路由只在同一个 public_model 的通道池内进行，不会把你的 anthropic/xxx 静默换成另一家的模型——分级是你显式选择的，不是网关替你决定的。

查看模型列表接口 →