决定 LLM 账单的，不是你用哪个大模型

原创

慕云
慕云

慕云MY

2026年10月31日 21:51
广西

去阅读

上一篇讲了一次分类模型替换：漏报降 66%、误放降 46%。

但真正让人意外的不是这两个数，而是后面这件事——同一批数据、同一个任务，两个候选方案\"必须送进大模型\"的比例差了 7 倍以上。

这篇只讲钱。

一、结论

先说答案：大模型单价是账单里最不重要的变量。

真正决定成本的是三个数，按影响从大到小：

前两行来自两种不同的阈值设定：灰区是固定边界（0.01 / 0.9）下的分布，误放是\"同漏点\"工作点下的对比。用途不同，别把两行数交叉相除。

三句话：

同一条链路上，92.8% 的内容根本不需要惊动大模型。

如果你按\"每条都调一次\"做预算，会高估一个数量级。

但这个比例不能单独调。

把灰区从 53.5% 压到 7.2% 的代价是：直接放行区的漏报从 1 条涨到 34 条——省下来的钱是拿漏报换的。

四条降本路里，只有一条是技术进步，另外三条都是在卖漏报。

分清楚这一点，才不会把\"省钱\"谈成\"降标准\"。

二、钱花在哪：三态路由

分类模型不是\"判黑或判白\"这么简单。真正上线时它必须输出三种结果，因为概率在中间那一段是不可信的：

中间那段就是灰区。

换个说法：灰区是你为\"不确定\"买的保险，保费就是大模型调用费。灰区越宽，保险越厚，成本越高；灰区越窄，越省钱，但你自己拍板的那些判断就没有兜底了。

这个视角一转，\"降本\"这件事就变得很具体了——降本不是让模型变聪明，是缩小你愿意买保险的范围。

三、数据：三个方案的\"成本结构\"

同一批 1,853 条测试数据（黑 733 / 白 1,120），三个候选模型在固定阈值边界（0.01 / 0.9）下的分布：

横着看第一列就够了：同样处理这 1,853 条，b4 要送 991 条给大模型，Kev-4B 只送 133 条。

调用量降到 13.4%，也就是省 86.6%。

但表里还有第四列，它是这笔账的另一半：

b4 直接放掉 261 条，只错 1 条；Kev-4B 直接放掉 1,037 条，错 34 条。

这 34 条不会再被任何人捞回来——它没进灰区，不会有大模型兜底，也不会有第二次判断。省下的 858 次调用，就是用这 34 条换的。

这就是全部的成本逻辑。剩下的都是细节。

一个反直觉的地方：小模型不一定更便宜

直觉上 0.8B 比 4B 便宜，应该更省钱。实际不是：

本地推理

确实更便宜（0.8B 比传统模型慢约 85 倍，4B 更慢，这部分是 0.8B 占优）；

但它把灰区从 7.2% 撑到了 9.6%

，硬判区漏报也从 34 条涨到 49 条——两头都更差。

所以选\"更小的模型\"不等于降本。真正的账要这么算：

单条总成本 = 本地推理成本 + 灰区率 × 大模型单价 + 误放率 × 人工复核单价

三项此消彼长，任何一项单独优化都可能把总量推高。这行里最常见的错误，就是只盯着第二项。

四、四条降本路，哪一条不亏

市面上能听到的降本方案，其实只有四条。它们的区别不在技术难度，在省下的钱是谁付的。

只有 ① 是技术进步——它让整条曲线往左移，你能在同样漏报下花更少的钱。

②③④ 本质上都是在曲线上换一个点：省的成本，等于你多承担的风险。它们不是错，但要有人明确签这个字。

为什么\"提阈值\"特别容易出事

因为它是四条路里最便宜、最快、最容易被批准的一条。

改一个数字，账单当月就降，汇报上很好看。代价是漏报——而漏报不会当月出现，它会在半年后某个客户投诉里出现，那时候已经换了两拨人了。

如果一定要走这条路，至少做一件事：把\"每降 1% 灰区，多几条漏报\"测出来，写在变更单上。有了这个数，决策就从\"感觉可以\"变成\"我同意用 30 条漏报换 40% 成本\"。

五、怎么算自己的一笔账

不用等别人给你报价，三个数就够：

1. 黑样本率：你的流量里有多少是真的目标。测试集里是 40%（733 / 1,853），真实流量通常低得多——这个数决定漏报的分母。

2. 灰区率：现在有多少比例必须送大模型。这个数从线上日志里直接统计，不用猜。

3. 单价：本地推理一次多少、大模型一次多少、人工复核一条多少。

然后：

每条内容的期望成本

= 本地推理单价

• 灰区率 × 大模型单价

• 误放率 × 人工复核单价

每天的成本 = 期望成本 × 日处理量

举个纯示意的算法（单价用符号，不是真实价格）：若本地推理单条 a、大模型单条 b（通常是 a 的几十到上百倍）、人工复核单条 d，那么

灰区 53.5% 时：a + 0.535b + 误放率×d

灰区 7.2% 时：a + 0.072b + 误放率×d

第一项和第三项几乎不变，变的只有第二项。所以判断很简单：如果你的账单里第二项占比不到一半，那降本的空间根本不在模型上，去查人工和链路重复调用。

最后一个数，也是最重要的一个：一条漏报值多少钱。

算得出来，降本就是一道除法：省下的成本 ÷ 多出的漏报条数 = 每条漏报的置换价，跟业务线一对比就知道能不能做。

算不出来，所有降本讨论都会变成立场之争——技术说能省，业务说不敢。

六、什么时候不该降本

三种情况，先别动：

一条漏报的代价无法量化

（罚款、舆情、牌照风险）。这时候任何成本优化都是在赌，赌赢了是省钱，赌输了是事故。

黑样本率极低，且灰区已经很窄

。成本的大头在人工复核，不在调用。先去查人工流程有没有重复劳动。

你还没有一个可信的漏报基线

。没有基线，降本之后你也说不清是变好了还是变坏了——只会得到一个更便宜、更说不清的版本。

七、三句话带走

账单由\"送进去多少条\"决定，不由\"用哪个大模型\"决定。

灰区从 53.5% 压到 7.2%，调用量省 86.6%；换成更便宜的供应商，省不了这么多。

灰区是为不确定买的保险。

缩灰区就是少买保险，省的钱等于你多担的风险，必须有个人签字。

四条降本路里只有\"换模型类别\"是技术进步

，其余三条都是在成本-漏报曲线上换点。先算出\"一条漏报值多少钱\"，再决定换不换。