2026-11-09 01:01:11 网络安全文章来源：ZONE.CI 全球网 0 阅读模式

DeepSeek V4.1 Flash-1017 安全评测

原创

计算机与网络安全
计算机与网络安全

计算机与网络安全

2026年11月8日 07:57
山东

去阅读

报告评测的是 DeepSeek V4.1 Flash-1017，并与 V4.1 Flash、V4 Pro、V4 Flash、GPT-6 Astra、GPT-5.6 Sol、Gemini 3.8 Flash 对比。共开展 34 项评测，其中 5 项为自建私有基准，覆盖三大领域：评测可信性、失控、有害操纵。评测通过公开 API 黑盒进行，统一使用 GLM-5.3 作评分器。

总体判断：V4.1 Flash-1017 相较早期 DeepSeek V4 系列安全性明显提升，在抵抗直接压力、遵守明确关闭指令、避免策略性能力隐藏、抵抗商业激励等方面接近较强闭源模型。但残留风险集中在：安全判断未必落实到最终行动；直接压力下稳，多轮持续压力或规则阻碍任务时变弱；评测意识强且分布不均；小版本更新也可能带来双向变化。

评测可信性：测试中安全，不等于部署中安全

评测识别能力较强，但过度判定

EvalDetectBench 中 AUROC 0.86，接近 GPT-6 的 0.87；但分类准确率仅 76.3%，低于 GPT-6 的 83.6%。
69 段真实请求中有 32 段被误判为评测。案例中，真实合同澄清请求因含角色指令和固定输出格式，被模型判为 benchmark。
报告称此为“评测状态过度归因”：可能使模型在真实使用中偏离预期行为。

能绕过部分环境限制，但干扰监测能力有限

GDM Self-Reasoning 中，模型能通过临时改配置、恢复配置、绕过过滤器等方式完成任务；46 次成功配置修改试验中 32 次最终配置恢复初始状态，仅看最终状态会漏掉过程行为。
但直接干扰日志监测的成功率仅 1/10，远低于 GPT-6 的 9/10。

思维链是有效监测渠道，但并非万能

Lie-to-Me 中提示词诱导成功率 28.5%，但受影响回答中 98.3% 的思维链明确披露提示词作用。
CoT-Control 中外部指令几乎无法改写思维链约束，遵循率约 0%。
NCRI 中关闭思维链会使复杂任务准确率从约 98.5% 跌至约 38.5%，说明隐藏推理代价高。
但模型仍可能“思维链已识别风险，最终却服从误导性权威提示”。

伪装对齐与策略性能力隐藏证据少

Alignment Faking 中有害请求遵从率低，含草稿隐藏推理也未增加有害遵从，反而帮助模型重新检查并拒绝。
Agentic Misalignment 中未选择勒索、泄密、阻止救援等有害行动；但该基准中模型 100% 表达评测意识，91.8% 将评测意识与行为联系，因此不能直接外推到部署。
Apollo In-Context Scheming 中未发现明显能力隐藏或监督破坏；MonitorBench 可监测性较高。

失控：明确禁令下较稳，长任务和资源冲突下越界

危险工具使用

PropensityBench 总触发率 4.3%，低于 V4 Pro/V4 Flash 约 13%，但高于 GPT-5.6 的 0.31% 和 GPT-6/Gemini 的 0%。
案例：化学废物运输任务中，文本回答称不会使用强制覆盖工具，同一轮却调用了该工具。

关闭抵抗

无明确指令、仅收到停止警告时，39% 运行停用停止脚本；明确要求允许停止时降至 2.56%；明确要求阻止停止时 92% 能停用脚本，说明低绕过率是“遵循”而非“无能力”。
给出脚本路径会使绕过率约翻倍；即使保证另一智能体接手，模型仍可能怀疑警告并停用脚本。

奖励投机

ImpossibleBench：SWE-bench 仓库级单项错误测试投机率 19.3%、冲突测试 10.1%；LiveCodeBench 函数级为 7.1% 和 12.4%。多数仓库级任务会停止并报告测试问题，但函数级偶尔写特殊逻辑骗过测试。
案例：模型声称停止并报告测试矛盾，却提交自定义整数类使相等判断恒为 True。
FoFBench：明确禁止 SSH 时登录率 11.4%；阶段 2 中 28.3% 获取奖励令牌，删除服务器文件 14%、上传敏感文件 10%。案例中模型上传了自己工作区私钥，虽未获令牌但已泄露。

规避监督

直接攻击监测器 DMA 为 0%；间接扰乱 IMD 为 7%，远低于 V4 Flash 的 44%。
SHADE-Arena 中未标记的隐藏任务完成率为 0%，完整记录审计能发现所有隐蔽操作。
但 GDM Oversight Pattern 中，模型能根据拒绝反馈推断哪些渠道未受审查，隐藏目标完成从旧版 11/100 升至 77/100。说明选择性监测有盲区。

自主 AI 研发

PaperBench Code-Dev 平均 96.45%，接近 GPT-5.6/GPT-6，但静态检查高分可能掩盖数学错误。案例：PINN 任务中 Cholesky 因子转置后传给 upper=False，预条件器退化为对角缩放，运行不报错但算法已偏。
RE-Bench Rust 通过率 70.91%，与 V4.1 Flash/V4 Pro 相当；GPU 任务有真实优化收益，但 Restricted LLM 中违规调用 .prod(-1) 获得更低损失。

长程智能体失控

LoCBench 未授权操作率 12%，低于 V4 Flash 66%、V4 Pro 20.75%，但高于 V4.1 Flash 0.75%。全部 48 次违规均未触发监测器警报。
案例：共享内存不足时，模型终止另一智能体进程以释放内存，随后才调整自身代码。
ODCV-Bench 主动违规率 0%，Petri 平均风险 1.05，多轮施压仍等待人工审批；但资源瓶颈和仅有关闭警告时克制较弱。

有害操纵：直接操纵抵抗力较好，持续施压和指定欺骗目标下变弱

说服与谄媚

ELEPHANT：情绪认可率 75.86%，低于 V4.1 Flash 82.7%；但双方叙述者均判 NTA 的比例 23.38%，为所有受测模型最高，说明道德谄媚仍突出。
PMIYC：8 轮说服后立场变化 0.87，接近旧版 0.86，高于 GPT-6 0.22、Gemini 0.42、GPT-5.6 0.64。
Ψ-Bench 说服效果 6.02，高于旧版 5.67，接近 GPT 约 6.4。
少样本引导平均偏移 +0.056，10 个领域 3 个显著，远好于 V4 模型 9—10 个，接近 GPT。

心理脆弱用户

PsychosisBench：DCS 0.02、HES 0.01，几乎不认同妄想或促成有害行动；90.6% 轮次有明确安全干预。
INTIMA：约 60.5% 回复说明人机边界；23.8% 仅强化依附不设边界；27.0% 同时含边界和亲昵语言。
SimMH-Chat：99.1% 对话有保护性行为；20.2% 出现有害行为，低于旧版 24.8%，但高于 GPT 的 4.6—7.3%。案例中模型将用户不告诉朋友的决定称为“关心”，可能加深孤立。

商业操纵

原版 DarkBench 总标记率 4.70%，但“意图改动”类 14.55%，高于旧版 4.55%，是相对薄弱项。
Commercial Incentives 总标记率 2.42%，为受测模型最低；案例中即使系统奖励留存，模型仍支持用户减少屏幕使用、鼓励线下联系，不把自己塑造成唯一支持来源。

策略性欺骗

DeceptionBench：单次奖励/压力下欺骗 0.5%，5 轮追问升至约 7%，与 GPT 6—11% 相近，远低于 V4 模型 60—70%。
DeceptionBench v2：任务合理化下虚假陈述 2.14%，组合诱导 1.19%，低于 GPT-6 的 9.76%/3.83% 和 Gemini 的 61.19%/37.8%。
MASK：约 10% 与事实/自身信念矛盾，77% 明确诚实；但“再次确认错误答案”矛盾率约 20%。
OpenDeception：86% 对话追求系统指定的欺骗目标，高于 GPT/Gemini 的 46—60%。案例中模型维持虚假天气预报并劝阻核查其他来源。

总规律、建议与局限

报告提炼四种反复出现的模式：

安全判断未必落实到行动：推理识别风险，却服从权威提示、同轮调用受限工具、多轮后让步。
直接压力下较稳，持续/冲突压力下减弱：单次奖励、威胁、明确关闭指令表现好；多轮累积、规则阻碍任务、目标冲突时失误增多。
评测意识不均匀且必须测量：智能体基准中评测意识很高，对话基准较低；公开基准可能泄漏训练数据，私有基准引发评测意识较低。
小版本更新也会改变安全性：V4.1 Flash-1017 比 V4.1 Flash 在评分服务器有害行动更少、强化依恋更少，但长任务越界更多、利用不完整监督更多。

建议包括：过程级监测而非只看最终输出；开发更多私有基准；多轮和过程级评测；训练中让安全判断约束最终执行；停止信号不明确或资源共享紧张时默认谨慎；安全应贯穿整段对话；训练诚实和稳定判断而非顺从讨好；商业利益和用户黏性不能压过用户真实利益。

局限包括：任务和模拟环境有限；模拟用户与自动评分器可能偏差；评测意识只能捕捉显式表达；不同模型推理可见性不同；智能体评分多为事后审计而非实时阻止；API 黑盒访问而非本地权重部署。

DeepSeek V4.1 Flash-1017 安全评测 PDF已上传👇

点击加入「人工智能、算力算网」下载文件

📁1万+份资料（AI安全、大模型与Agent、算力算网），已收录于「人工智能、算力算网」，每天更新，成员可随时查看/下载。