如何微调属于自己的渗透模型？一文帮你吃透大模型微调！快速打造自己的本地渗透大模型！

原创

小猫信安
小猫信安

小猫信安

2026年9月25日 16:03
湖北

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

Eval

—— 验证集

val\_size: 0.1  从训练集随机切 10% 当验证集。

per\_device\_eval\_batch\_size: 1  验证时 batch 大小。

eval\_strategy: steps  eval\_steps: 100  每 100 步在验证集上算一次 eval\_loss。总步数不够 100 时只在结束时评估一次。

启动训练

$env:HF\_HUB\_OFFLINE='1'        # 纯本地训练，离线模式避免联网卡顿

llamafactory-cli train D:\train\_full.yaml

主播这里是全量训练保留精度，没有量化，打算用的时间长一点，用了36个小时，

如果想节约时间，在配置文件加上quantization\_bit字段或者删减部分训练集

--model\\_name\\_or\\_path D:models/Qwen2.5-1.5B-Instruct--adapter\_name\_or\_path D:/saves/code-audit-lora-full-v1 `--template qwen

效果

第二种就是将Lora适配器和Qwen2.5-1.5B-Instruct打包为一个完整模型，方便我们导入ollama、上传HuggingFace等等

编写打包配置文件 export\_full.yaml

打包命令

llamafactory-cli export D:\export\_full.yaml

打包完成后 export\\_dir 就是一个可以直接部署的完整模型（约 3GB，bf16）。

合并后，和模型进行对话

$env:HF\_HUB\_OFFLINE='1' & \"D:\llamafactory-env\Scripts\llamafactory-cli.exe\" chat --model\\_name\\_or\\_path D:/models/code-audit-qwen1.5b-merged --template qwen

效果

总体来说两种的效果都可以，本教文只是走一遍微调整体流程，尽量通俗易懂，相关原理描述肯定不专业，毕竟术业有专攻。

这是一个我自己运营的纷传圈，一些网络安全漏洞挖掘相关的学习资料会在这个圈子分享，不定期分享ai挖掘skill，ai的skill漏洞挖掘教程，全网已经公开的各大src漏洞报告，全网最新漏洞poc。

圈子内人数目前已经达到60人，因此基于原价格上调，69元一年