文章总结: 天融信李雪莹博士在北京大学网信工作会议上分析大模型应用安全风险,指出提示词注入、模型越狱等七大关键风险具有链式传导特性,并提出覆盖训练部署推理全流程的1+3+X纵深防御体系,强调需以体系化思维平衡安全与效能应对新兴威胁。 综合评分: 78 文章分类: AI安全,解决方案,安全建设,技术标准,应用安全
天融信李雪莹出席北京大学网信工作会议,畅谈大模型应用安全风险与防护之道
天融信
2026年4月30日 15:24 北京
在小说阅读器读本章
去阅读
4月29日,北京大学召开2026年度网信工作会议并开展大模型应用安全风险与防护专题培训。天融信科技集团党委书记、董事长兼CEO李雪莹博士受邀出席,并作《大模型应用安全风险与防护》报告。
当前,人工智能技术快速发展,各类大模型在学校各业务领域获得广泛应用,新技术带来新动能的同时,也伴生着新风险、新挑战,安全防护亦需同步迭代升级。李雪莹谈到:大模型技术已迈向“规模化应用与智能体落地”的关键阶段,安全风险正呈现出“跨层交织、链式传导”的复杂特征,这对安全防护体系提出了更高要求。
天融信科技集团党委书记、董事长兼CEO 李雪莹
大模型安全涉及内容、应用、模型/算法、数据、基础设施五大维度,而当前的核心风险主要聚焦于大模型应用安全。结合OWASP LLM TOP10 2025风险清单,李雪莹系统剖析了提示词注入、模型越狱、RAG安全、插件滥用、数据泄露、模型窃取及基础设施漏洞七大关键风险,并指出这些风险往往通过“链式传导”引发系统性危机。
例如,提示词注入作为攻击者的“首要通道”,可绕过安全策略诱导模型输出恶意内容;模型越狱则使大模型脱离安全约束,执行未授权操作。她特别提醒,智能体的“自主决策”能力犹如“双刃剑”——在提升效率的同时,也显著放大了安全漏洞的破坏力。
在谈及智能体安全分析时,李雪莹以典型开源智能体OpenClaw为例,深入揭示了风险根源。她指出,智能体的“意图误解”与“权限失控”问题尤为突出:用户一句模糊的指令可能被过度解读,导致高危操作;而“权限越界”风险更可能使智能体无视安全约束,甚至持续执行危险任务直至系统中断。她提示,此类问题折射出智能体设计中“效率与安全”的平衡难题,需从架构层面系统性解决。
基于多年的技术深耕,天融信推出了覆盖大模型训练、部署、推理全流程的“1+3+X”大模型应用安全纵深防御体系。其中,“1”个中枢:以大模型安全运营中心为核心,实现风险统一管控与智能调度;“3”大支柱:融合风险监测、安全防护、应急响应能力,构建动态防御屏障;“X”项能力:通过网络、系统、应用、数据、终端层面多种标准化技术安全防护手段,智能化支撑上层安全能力。
该体系针对智能体场景创新设计了行为监测与权限管控机制,有效遏止恶意插件调用与越权操作,为智能体应用筑牢“安全底座”。
演讲最后,李雪莹强调,大模型安全需要以 “体系化思维”破局,既要构建覆盖全生命周期的防御体系,也要平衡安全与效能的关系。面对多模态注入、长上下文攻击等新兴威胁,天融信将持续攻关安全技术,以“安全大模型”守护“大模型安全”,推动技术从“可用”迈向“可信”。天融信愿携手产学研各界,共同构建安全、健康、可持续的AI发展新范式。
进入“十五五”时期,人工智能技术加速迭代、应用融合全面深化。教育部等五部门联合印发的《“人工智能+教育”行动计划》要求,在赋能学生学习、教师教学、学校治理、科学研究等方面,促进人工智能与教育深度广泛融合。大模型安全问题不仅是简单的技术漏洞,更关乎学术诚信、数据隐私、教学质量乃至科研安全。
2025年6月,北京大学党办校办副主任、网信办主任、党办校办第二党支部书记蒋广学一行,曾到访天融信开展党建与业务双融双促专题交流活动。双方聚焦网络攻防态势、AI驱动的威胁检测、应急响应机制优化,围绕AI安全前沿技术、科研成果转化、产学研用深度对接等议题进行了热烈研讨。
<<左右滑动查看更多>>
安全不是选择题,而是高质量发展的必选项。面向未来,我们将发挥各自优势,深化协同、紧密联动,以科技创新赋能教育高质量发展。
近期热点
保持盈利!一图看懂天融信(002212)2025年报
天融信连续11届获CNCERT最高级支撑单位,重点技术领域入选最多!
让智能体“一键上岗”~天融信「安全智能体一体机」抢鲜发布!
唯一双认可!天融信两款产品首批获信通院OpenClaw类智能体安全权威评估
关注天融信了解更多信息
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:天融信 《天融信李雪莹出席北京大学网信工作会议,畅谈大模型应用安全风险与防护之道》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。










评论