本地化大模型跑长任务注定是一场万里长征
马甲九五二七
马甲九五二七
马甲三号
2026年11月18日 02:26
江苏
去阅读
我一直有个判断,token 迟早会变成水电煤一样的必需消费品。
在那之前,AI 已经实实在在改变了不少行业。网络安全算一个,只是红利大头在进攻方。防御方被 SaaS 模式困住,数据出不了内网,敏感内容不敢上云,于是纷纷转向本地部署加小模型。
可惜绝大多数产品,停在问答机的水平。
问答机释放不了生产力,于是开始有人怀疑 AI 的投入产出比。矛头其实偏了。卡住的不是 AI,是问答。
本地 To B 场景真正的生产力变革,判据只有一条,模型能在本地自主解决长任务。自己接活,自己干几个小时,自己交付结果。
也有人觉得,攒点算力、把模型 run 起来,问题就解决了。
这只是万里长征第一步。
01
run 起来,为什么还不算完
不妨反过来想,SaaS 模型为什么跑得动长任务?
多数人以为差距在模型本身。我们在自家网关上跑了几个月长任务之后,看法变了。云端厂商在服务端做了大量配套机制。
▪ KV cache,上一轮说过的话,下一轮不必重算
▪ 上下文超长,自动压缩、分区
▪ 输出复读,自动检测、纠偏
▪ 工具调用格式错了,自动矫正
▪ 失败,自动重试
一个能力,要么做在服务端,要么做在客户端。SaaS 选的是重服务端、轻客户端。客户端只管发请求,服务端容错极强,还向下兼容。
麻烦在于,这套机制不会跟着模型权重一起开源下来。
水面上的那一小块,才是开源能拿到的
本地化从来不是 run 一个模型就完事,而是要在自家网关和客户端里,把整套协作配套机制重建一遍。
这就是标题里「万里长征」四个字的分量。
02
三层坎,每层都付过学费
坎不是一个,是一串。先挑最硬的三层说,每一层都有生产日志里的真实案例。
模型这层,犯浑的根源不是知识不够,是不知道在正确的时机调用知识。
一个 125B 级的 Flash 模型,会反复去读一个不存在的文件,会干着干着忘了目标,会对不同的问题输出一模一样的回答。知识里明明有算法,执行起来却不知道用。
最典型的一次,是排序网络最小化。它自主选择的解法,是逐个枚举 2 的 17 次方种输入,变量数膨胀到五千万,Python 直接卡死。四个会话,前后四天,零进展。
可你直接问它,这道题有什么数学性质可以压缩搜索空间,它答得头头是道。0-1 原理、等价类、权重类压缩,全都懂。
差的,只是没人问它这一句。
后来我们在网关加了「认知脚手架」。检测到模型在硬枚举,就自动注入这个问题。同一个模型,6 分 43 秒写出等价类编码,变量数从五千万压到五万。
同一个模型,差的只是有没有人问对问题
所以这一关的解法,不是等更大的模型,而是在正确的时刻,问出正确的问题。
客户端这层,harness 缺的是兜底。
驱动模型的任务工具,默认假设模型行为可靠。长任务里,这个假设站不住。模型有三种病,每一种我们都付过学费。
它会停。
一次威胁研判任务里,模型输出了一千多字的状态固化总结,就结束了回合。任务停在那里 40 分钟,等人点「继续」。更糟的是,点了之后,它一字不差又输出了同一块。
它会撞死。
同一个不存在的文件,模型连续读了 28 次。每轮带着 8 万 token 的上下文从头重算,85 秒一轮,纯预填充就烧了半小时 GPU,才被人工发现。
它会复读。
逐字复读,是不可恢复的上下文污染。日志里有实录,两条纠偏指令同时送达,模型照样逐字重复。这时候继续催,只会污染得更深。唯一正确的动作,是把状态落盘、开新会话。
所以兜底就是三种保险。停了,自动续推,不卡死等人点继续。失败设上限,同一命令连败几次就强制换路径。发现复读,立即落盘交接、换会话。
开源客户端可以自己改,DSH 哪里不行改哪里。商业客户端只能提改进需求,慢慢等。
服务端这层,配套机制自己也会犯错。
本地网关要重造缓存、压缩、故障判定这一整套,而建设期的机制,自身就带着 bug。我们的断路器,曾用「文本包含 error」判定工具失败,把「3 warnings, no errors」这样的健康输出记成连败。累计 234 次假失败,喂给断路升级链反复注入建议,把模型越劝越糊涂。
防线拿错了输入,比没有防线更糟。
没展开的坑还有一串,也全是真事。后台任务死了没人通知,worker 对着早已死掉的求解进程静默等了 86 分钟,界面还显示「深度求索中」。客户端压缩触发时,把任务描述整段剪掉,模型从此忘了自己要干什么,无限循环「摸清现场状态」。工具调用格式,偶发回退成纯文本。
这篇只挑我们觉得最痛的一处展开。
记忆。
03
最痛的一处,记忆
大模型记忆的核心问题,不是存不下,而是注错。检索回来一段不相关的旧上下文,注入进去,比不注入更糟。
实战下来,有三条经验。
第一,目标锚永不离开上下文。Claude Code 的 todo list,我们用 system 加首条 user 消息做的锚,是同一个思路。与其事后从库里「找回」目标,不如让目标根本不出去。检索式的目标恢复,只能当兜底,不能当主路径。
前面「压缩剪掉任务卡」那个事故,修法就是这一条。锚区内的消息,任何压缩、清除操作不得触碰。
第二,压缩质量,高于压缩之外的记忆系统。Claude Code 的 auto-compact,约在 92% 时触发,摘要加保留近期。Anthropic 的长任务指南,讲子代理分区、给上下文留呼吸空间。两家隐含的判断是一致的。上下文够大时,失败模式从「装不下」,变成注意力稀释和目标漂移。对策是分区和锚,不是外挂记忆库。
第三,文件是记忆的第一载体。CLAUDE.md、scratchpad、我们的 notes.md 和 HANDOFF.md。agent 自己写的文件,胜过系统自动提取注入的记忆。执行类任务要的是精确,检索噪声是净伤害。
有个细节值得一提。上面那块被拦下的千字状态固化,按指令写进文件之后,恰好成了新会话的完美交接材料。新会话读完直接续跑,零次「接不上」。
落到工程上,记忆系统分三层建。
三层各解决一类失败,互为兜底
L0,工作记忆稳定化。在上下文内做,价值最大。技术本质是「稳定」,不是「检索」。注入位置审计,把历史是被谁改坏的,逐处定位修掉。纪元制,上下文修改从每轮增量改成按纪元批量,纪元内字节冻结。再加上显式目标锚头、尾部只追加。
最有说服力的,是同一个会话的修复前后对照。那个 8 小时 46 分、上下文峰值 160K token 的任务,修复上线前每轮 85 秒,缓存反复全量失效。上线后,同一个会话,缓存命中 93%,每轮 8 秒。
没换模型,只是把上下文伺候稳定了
L1,任务记忆文件化。跨会话、任务域。把交接文件升级成一等公民。网关注入指令,要求 agent 按固定模板写 HANDOFF。新会话检测到交接特征,提示 agent 先读磁盘状态,再动手。上线首日就有实录,注入之后,下一个响应就恢复了工具调用。
L2,长期记忆。跨会话、语义域。诚实判定,few-shots 类新问题任务的召回收益趋近于零,已经按任务类型门控。高价值路径,是「事故到规则」的进化环路,每天自动跑。向量检索升级暂不投入。我们实测过,精确标识符主导的语料上,向量那条腿是负收益。
04
走到哪了,往哪走
几周前,我们做过一次 72 小时长任务实测。10 个会话,9 个死于上下文退化。唯一一个从头活到尾的,靠的是架构级的上下文分区。常规 harness 的 4 个会话,累计烧掉 92.7 小时,八成轮次的首字延迟超过 60 秒。
现在的进度,按三段交代。
服务端基本走完。缓存、断路判定、认知脚手架、记忆三层、自愈机制,都在生产上跑了。真实长任务里,全天 25 次行为退化,自愈了 16 次。
客户端,能自己改的 DSH 已经改了,商业客户端在等厂商。模型,在等下一代开源旗舰。
最直观的对比,是同一个客户端、同一个模型。长任务从跑两步就停,到跑出了 8 小时 46 分、270 个请求、带着合法验证证书收尾的完整交付。
长期目标只有一句话,把 SaaS 模型的完整能力搬到本地。
不是 run 一个模型,是 run 一整套服务这个模型的配套机制。
走完这一小段,我们反而更确定了。路很长,但每一站的收益,都实测可见。
下一篇,展开服务端这段具体怎么走。一天的完整实测记录,包括一个会话,怎么从死亡螺旋里复活。
下一篇:本地模型跑长任务(下)
瓶颈不是存不下,是注错
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。











评论