AI取证实战第31期：把大模型装进不联网的办案电脑
原创
小谢
小谢
小谢取证
2026年10月21日 12:38
辽宁
去阅读
AI 取证实战
第 31 期 · 本地大模型离线部署
把大模型装进不联网的办案电脑
美亚柏科 Qiko 3.0 AI 引擎 · 模型选择 / 部署 / 五个实战场景
当前即使AI时代更新迭代很快，但即使这样可能也很多小伙伴由于工作繁忙原因没有用上AI或是没有很好用上AI。例如：不知本地大模型如何部署和应用。又因为大多数的办公环境是在不能够上网的计算机。这期就带来一期使用美亚柏科的Qiko 3.0AI引擎部署本地大模型并应用日常工作的实操教学。（文末给出Qiko3.0取证智能体的内测资格。Qiko3.0取证智能体的使用可以看AI取证实战第23期：Qiko3.0取证智能体赋能电子数据取证初体验）
本地部署大模型的好处：
先认识这几个模型
文里会反复出现三个模型名字，先把它们分清楚，后面选模型就不会乱。
Qwen3.6-35B-A3B
阿里通义实验室今年 4 月开源的稀疏混合专家模型，总参数 350 亿，但每次推理只激活其中 30 亿。这种结构的好处是底子按 35B 算、开销按 3B 算，内存够大就能跑得动，显存小一点也不至于卡死，所以它适合只有大内存、没有大显存的机器。文中 64G 内存的方案跑的就是它。
Qwen3.8-Flash-Next
8 月底开源的多模态混合专家模型，主模型 1250 亿参数，另外挂着 510 亿的 N-gram 嵌入参数，每个 token 只激活 60 亿，原生支持 26 万 token 上下文。能力比上一个明显强一档，代价是对内存的要求也高得多，单机 128G 跑起来会有点吃力，两张 128G 内存的机器才比较稳。
Qwen3.8-27B
270 亿参数的原生多模态稠密模型，没有 MoE 那种“总参数大、激活少”的结构，每个参数都要实打实参与计算。稠密模型跑起来更稳、响应更快，部署也简单，量化之后消费级显卡就能跑：24G 显存跑常规量化版本，36G 显存可以上到 Q6 精度，精度越高，模型输出的稳定性越好。
三个都是开源权重，可以完整下载到本地，这也是能在离线机器上跑起来的前提。选模型的思路也就一句话：内存富裕往 MoE 上挑，显存富裕往稠密模型上挑。
话不多说，直接进入实操。
在Qiko3.0 AI引擎的软件界面首页处点击“模型管理”
可以开启“适合本机”的按钮可以过滤“仅显示本地适配较好的模型”进行模型筛选。
跑本地大模型的方案主要有两种：一种是内存足够高，另外一种是显存足够高。
如果是内存足够高的方案，这里的内存高，指的是内存需要在64G及以上可以考虑跑Qwen3.6 35B-A3B。
如果内存更大些，如128G可以考虑跑Qwen3.8 Flash-Next，但可能还会有点卡，所以要两张128G内存跑Qwen3.8 Flash-Next会好点。
如果是显存足够高的方案就可以跑稠密模型，如24G显存可以考虑跑Qwen3.8 27B
当然，有条件的话使用36G显存的可以跑到Qwen3.8 27B的Q6版本。
我自己电脑本地的环境是12G的显存，64G内存，这种配置的情况下优先考虑跑预加载的模型。
所以我下载Qwen3.6 35B-A3B:
点击下载后可以在右上角查看下载进度。
除了在Qiko3.0下载大模型之外，如果要实现完全不联网，可以点击“模型管理”还可以导入本地大模型。
这边选择主模型的.gguf文件即可。
点击打开后即可导入成功：
接下来回到首页来应用一下：
这样就可以实现完全离线部署在本地来赋能不能上网的计算机的一些日常工作。
- 文本对话
可进行文本处理生成。
不到10s生成完成：
也可以完成翻译工作：
支持的语种：
完成：
初次之外亦可创建知识库，可以将历史的讲话稿喂给它，让它延续历史的讲话稿生成。
- 离线 OCR 图片识别
可以应对一些做假章的AJ，检材数据不好在外网进行处理，直接离线进行OCR识别：
选择好文件夹后，点击开始处理：
OCR识别成功：
- 语音转文字
点击下载大模型即可使用。
- 内容分类
点击开始分类：
完成：
- 图文检索
即输入关键词可以匹配到哪张图片的内容上有这个“关键词”。
选择对应的文件夹：
写在最后
这一期做的事其实很简单：在一台 12G 显存、64G 内存的机器上，把 Qwen3.6-35B-A3B 装进 Qiko 3.0，然后断网跑通了文本对话、离线 OCR、语音转写、内容分类和图文检索。
对技术室来说，门槛从来不是模型够不够聪明，而是检材能不能出内网。做假章的案子、涉案手机的截图、需要脱敏的材料，只要数据不能上外网，云端模型再好也用不上。本地部署慢一点、笨一点，但它是真能用的那一个。
边界也要说清楚：离线模型没有联网检索，知识停在训练截止的那一刻；这个量级的模型做文书润色、信息提取、翻译、OCR 校对足够，但遇到需要长链条推理的任务，还是会明显不如云端旗舰。选它是因为数据不出本机，不是因为它比云端强。
如果准备上手，三条建议。先看机器：内存富裕往 MoE 上挑，显存富裕往稠密模型上挑。先跑通再升级：拿小一点的量化版本把流程走一遍，别一上来就下最大的权重。最后按任务配模型：OCR、语音转写这类活对模型要求不高，没必要为了它们上最大的那个。
模型不必最强，数据不出本机才是前提。
最后，Qiko3.0的内测资格一键三连本文章，评论区留下“Qiko3.0”并私信，即可获取Qiko3.0取证智能体的内测资格及Qiko3.0和Qiko3.0AI引擎的安装包。
AI 取证实战 · 第 31 期
美亚柏科 Qiko 3.0 本地大模型实操
敬请各位大佬关注：小谢取证
扫取二维码获取
更多精彩
小谢取证
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论