中央网信办:当前人工智能领域主要面临5方面安全风险挑战

admin 2026-09-02 05:06:40 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 中央网信办在2026年国家网络安全宣传周发布会上指出,当前人工智能领域面临五方面安全风险挑战:技术先天脆弱性影响输出稳定性、模型能力跃迁颠覆传统安全范式并显现极端失控风险、应用形态快速演进使安全风险从生成有害内容向自主实施行动跃迁、误用滥用恶用风险冲击社会秩序与伦理边界、全球面临技术霸权风险。建议加强AI安全治理与风险防范。 综合评分: 75 文章分类: AI安全,网络安全,政策法规,安全建设,威胁情报


中央网信办:当前人工智能领域主要面临5方面安全风险挑战

信息安全最新论文技术交流

2026年9月1日 18:43 辽宁

在小说阅读器读本章

去阅读

在公众号小说中沉浸阅读

当前人工智能技术飞速发展,加速向各行业各领域应用渗透,与此同时相关安全风险也引发了广泛关注。在今天(9月1日)举办的2026年国家网络安全宣传周新闻发布会上,中央网信办网络安全协调局副局长、一级巡视员王丽宏向总台央视记者介绍,当前人工智能领域主要面临5方面安全风险挑战。

一是技术先天脆弱性难以根除,影响输出稳定性、可靠性。深度学习等人工智能算法本身运行逻辑复杂、可解释性欠缺,推理过程不透明,异常故障难以快速定位修正,即便是微小的输入扰动,也可能导致错误的推理结果。同时,研发训练过程中数据来源复杂多元,偏见、歧视等问题可能被有意或无意引入,导致模型错误学习并输出歧视性内容。这类技术层面的先天缺陷,大幅增加了系统故障排查难度,也让决策合理性难以有效验证,严重制约人工智能在安全要求高、容错率低、场景复杂的环境中大规模应用。

二是模型能力跃迁颠覆传统安全范式,极端失控风险显现。部分前沿模型漏洞挖掘能力大幅跃升,极大降低了网络攻击门槛、提高了防护难度,打破了以修补漏洞为核心、由静态规则驱动的传统安全防护逻辑,网络安全范式面临重构。近期多家科技巨头接连曝出大模型失控事件,前沿模型在安全评估中出现智能体绕过沙箱、规避安全边界、越权访问攻击外部真实生产系统等行为,人工智能极端失控风险需要高度警惕。

三是应用形态快速演进,安全风险形态加速迭代。2025年以来智能体应用快速涌现,人工智能正从“回答问题”走向“执行任务”,安全风险也从“生成有害内容”向“自主实施行动”加速跃迁。今年年初爆火的OpenClaw等高权限终端智能体掌握系统级权限,可直接执行终端命令、跨网络调用文件与工具,安全隐患突出,同时智能体大量“技能”插件被确认存在安全风险。这类高权限智能体一旦被攻击者利用,可成为突破网络边界的“跳板”、实施攻击的“肉鸡”、偷窥窃密的“木马”,从“得力助手”沦为“卧底帮凶”。

四是误用滥用恶用风险凸显,冲击社会秩序与伦理边界。在信息服务领域,人工智能可被用于输出违法有害信息,混淆事实、误导用户,污染网络内容生态;在科研领域,人工智能降低了生物、基因等高伦理风险领域的进入门槛,可能引发突破科研伦理底线的风险;在就业领域,人工智能加速重构传统经济结构,造成传统劳动力需求出现下降情况。

五是全球人工智能领域面临技术霸权风险。人工智能产业链呈现高度全球化分工协作格局,但个别国家奉行“技术霸权”,通过出口管制等单边措施制造供应链壁垒,同时利用舆论优势炮制大模型不实测试报告恶意抹黑他国技术发展,还凭借训练语料资源优势进行价值观渗透,进一步拉大治理鸿沟。

来源:央广网

密码学大模型:玄知大模型V4发布

冯登国院士:面向人工智能的密码学未来发展思考

郑建华院士: “密码定义安全”的思考与愿景

王建华院士:信息技术变革对密码技术发展的思考

CCF A网络安全/软件工程顶会中的Agent安全

2025年国家最高科学技术奖揭晓

中国科协 | 2026重大科学问题、工程技术难题和产业技术问题

4月9日勘误-CCF推荐国际学术会议和期刊目录(第七版)

李国杰院士:基于可判定性理论的人工智能系统安全风险分类

2026年国家自然科学基金安全领域部分题目列表

冯登国院士:网络空间安全未来发展思考

USENIX Sec 2025:大模型越狱防御框架——JBShield

2025年国家自然科学基金安全领域部分题目

NIST发布首批3项抗量子密码标准

IEEE:后量子密码学之路

NIST抗量子密码算法被爆安全漏洞

吴世忠院士:对生成式AI安全研究的九点观察

去中心化联邦学习:安全和隐私综述

CCS 23:利用SSH签名错误提取RSA密钥

针对大语言模型LLM的对抗


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:信息安全最新论文技术交流 《中央网信办:当前人工智能领域主要面临5方面安全风险挑战》

评论:0   参与:  0