文章总结: 本文详细介绍了如何微调自己的渗透模型,包括基础知识、大模型原理、微调方法、具体步骤等,以通俗易懂的方式指导读者进行微调实践。 综合评分: 85 文章分类: 渗透测试,AI安全,二进制安全,CTF,WEB安全,红队,内网渗透
如何微调属于自己的渗透模型?一文帮你吃透大模型微调!快速打造自己的本地渗透大模型!
原创
小猫信安 小猫信安
小猫信安
2026年9月25日 16:03 湖北
在小说阅读器读本章
去阅读
在公众号小说中沉浸阅读
Eval
—— 验证集
val_size: 0.1 从训练集随机切 10% 当验证集。
per_device_eval_batch_size: 1 验证时 batch 大小。
eval_strategy: steps eval_steps: 100 每 100 步在验证集上算一次 eval_loss。总步数不够 100 时只在结束时评估一次。
启动训练
$env:HF_HUB_OFFLINE=’1′ # 纯本地训练,离线模式避免联网卡顿
llamafactory-cli train D:\train_full.yaml
主播这里是全量训练保留精度,没有量化,打算用的时间长一点,用了36个小时,
如果想节约时间,在配置文件加上quantization_bit字段或者删减部分训练集

第二种就是将Lora适配器和Qwen2.5-1.5B-Instruct打包为一个完整模型,方便我们导入ollama、上传HuggingFace等等
编写打包配置文件 export_full.yaml
打包命令
llamafactory-cli export D:\export_full.yaml
打包完成后 export\_dir 就是一个可以直接部署的完整模型(约 3GB,bf16)。
合并后,和模型进行对话
$env:HF_HUB_OFFLINE=’1′ & “D:\llamafactory-env\Scripts\llamafactory-cli.exe” chat --model\_name\_or\_path D:/models/code-audit-qwen1.5b-merged –template qwen
效果
总体来说两种的效果都可以,本教文只是走一遍微调整体流程,尽量通俗易懂,相关原理描述肯定不专业,毕竟术业有专攻。
这是一个我自己运营的纷传圈,一些网络安全漏洞挖掘相关的学习资料会在这个圈子分享,不定期分享ai挖掘skill,ai的skill漏洞挖掘教程,全网已经公开的各大src漏洞报告,全网最新漏洞poc。
圈子内人数目前已经达到60人,因此基于原价格上调,69元一年
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:小猫信安 小猫信安 小猫信安《如何微调属于自己的渗透模型?一文帮你吃透大模型微调!快速打造自己的本地渗透大模型!》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。











评论