媒体专访|知道创宇详解智能体发展逻辑,推动政企AI安全落地

admin 2026-02-10 14:34:03 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 知道创宇详解智能体发展逻辑,提出五位一体AI业务体系覆盖算力、数据、安全、中台、应用五层,核心从AIsafety与AIsecurity双维度构建三层防护:语料清洗与黑语料训练、上线前对标TC260.003及OWASPTop10的全维度测评、上线后通过AI大模型安全围栏实现双向实时检测与拦截。针对AiPy代码Agent的安全保障,采用多Agent交叉验证、权限管控人为干预、沙箱隔离三重机制,并支持内网部署与大模型网关配套使用。大模型网关围绕用、管、防三大维度,实现一站式接入调度、六大统一管控、全链路安全防护。未来3-5年趋势预判:智能体工具调用向深度化演进但权限风险加剧;大模型安全从点防护走向全生命周期标准化;防护从被动防御转向主动攻防与协同共治;合规安全成为核心底线。知道创宇将深耕全生命周期防护、推动标准化落地、聚焦智能体权限与行为治理、构建主动攻防体系。AiPy迭代重点包括精细化权限管控、工具调用安全审计、场景化深度拓展、原生安全能力融合。 综合评分: 82 文章分类: AI安全,安全工具,红队,安全建设,漏洞分析


cover_image

媒体专访|知道创宇详解智能体发展逻辑,推动政企AI安全落地

知道创宇

2026年2月9日 16:23 北京

以下文章来源于信息安全研究 ,作者信息安全研究

信息安全研究 .

《信息安全研究》由国家发展改革委主管、国家信息中心主办,2015年10月创刊发行。

点击蓝字 关注我们

AI 智能体加速渗透政企全场景,大模型规模化落地按下 “快进键”。效率革命的背后,是模型越狱、代码漏洞、权限越界等安全风险集中爆发,AI 安全已从 “加分项” 升级为 “必选项”。

一方面,AI 为安全防护注入智能化动能,大幅提升威胁识别与响应效率;另一方面,大模型数据泄露、模型投毒、合规风险等问题日益凸显,AI 智能体更被预判为未来政企内部核心安全隐患。

当智能体权限持续扩大、大模型安全需求迭代升级,政企如何突破安全瓶颈?如何构建不可复制的技术壁垒?如何实现 AI 高效落地与安全合规的双向奔赴?

知道创宇依托 “五位一体 AI 业务体系”,构建全链路、体系化的AI安全防护能力,并以AiPy为核心载体,推动AI智能体在安全与通用场景合规落地。本期独家对话知道创宇 404 实验室总监隋刚

刚哥将深度解读知道创宇当前技术布局与产品实践,分享未来三大核心布局方向及AiPy四大迭代重点,并预判未来 3~5年AI智能体与大模型安全的四大核心趋势。

刚哥,知道创宇“五位一体AI业务体系”实现了从数据生产到智能应用的全链路覆盖,这个体系在支撑AI安全防护时,有没有什么技术壁垒?

知道创宇的“五位一体AI业务体系”,核心围绕AI算力、AI数据、AI安全、AI中台、AI应用五大层面构建,其中AI安全是体系内的关键核心板块。在AI安全的布局上,我们并未做单一维度拆解,而是从两大核心维度切入:一是AI safety维度,聚焦AI本身的内容安全、行为安全相关问题;二是AI security维度,重点关注AI系统自身的安全性,涵盖模型注入、越狱等各类系统安全风险。同时,我们也从技术赋能视角,落地AI for security/AI for safety实践,一方面用AI赋能传统网络安全工作,实现安全事件的高效响应、日志智能分析、新型漏洞挖掘等;另一方面将AI技术应用于内容安全领域,比如赋能内容风控审核,形成多维度的AI安全能力覆盖。

在AI safety与AI security的核心风险防控上,我们依托“五位一体AI业务体系”中AI数据板块的核心能力,从全生命周期出发打造了三层防护体系,实现AI安全风险的全流程管控。第一,在语料层面,我们凭借完善的安全数据布局,提供专属黑语料用于模型训练,同时为模型提供语料清洗、专业标注等服务,既保障模型训练数据的纯净性,又让模型具备精准识别各类黑数据的能力,从数据源头筑牢安全基础。第二,在模型上线前的测评阶段,我们围绕AI safety、AI security两大维度开展全维度安全测评,其中AI safety类测评对标TC260.003相关标准,AI security类测评参照OWASP Top10最佳实践,全面识别模型上线前的各类高危安全问题,提前规避潜在风险。第三,在模型上线后的运营阶段,我们通过自研的AI大模型安全围栏,实现对模型的全流程实时监控,该围栏可对用户输入、AI输出进行双向安全检测,同步覆盖security与safety两大维度的风险,一旦发现违规输入或输出,将立即进行干预与拦截;同时支持企业自定义安全规则,有效保护企业敏感数据与客户隐私,防止因AI应用导致的信息泄漏。

从语料源头的安全管控,到上线前的标准化安全测评,再到上线后的实时动态监控与防护,我们通过这三个阶段的全链路闭环操作,形成了一套完整的AI安全风险防控体系,能够从根本上有效降低AI应用过程中的各类安全风险,这也是我们在AI安全防护领域的核心实践路径。

有两个疑问,第一个,AiPy深度融合了LLM与Python,同时还需要支持无编程基础的用户能够自动生成代码执行任务,怎么确保代码生成与执行环节的安全性,避免漏洞或权限的越界风险呢?第二个,AiPy既要在安全领域可完成代码审计、漏洞验证等任务,还要在通用场景实现IoT联动、数据分析等功能,这种针对跨场景的特性,如何平衡不同场景的安全等级与易用性?

接下来我分两个层面解答这个问题,一是爱派(AiPy)这类代码Agent生成代码的安全性保障思路,二是金融、政府机构等高敏感数据场景下,企业如何安全可控地使用AI Agent。

先说说AiPy这类代码Agent生成代码的安全保障,我们核心通过多重机制协同防控风险,并非用单一手段解决所有问题,而是结合具体使用场景灵活适配。第一,搭建多Agent交叉验证机制,当某个子Agent完成代码编写后,由另一子Agent开展代码复审,也可采用模型异构审核的方式,即模型A生成的代码交由模型B做专业代码审计,通过交叉验证、能力互补,从编写层面发现并解决各类代码潜在问题。第二,强化代码程序的权限管控,针对代码执行过程中的各类高危操作,设置人为干预环节,避免无监督下的高危操作引发安全风险。第三,采用沙箱隔离运行机制,为代码Agent搭建虚拟机沙盒这类干净的运行环境,让生成的代码在隔离环境中执行,从运行层面规避安全隐患。和传统网络安全防护逻辑一致,代码安全保障也需要根据实际业务场景,组合适配各类手段,做到具体问题具体分析。

再来说金融、政府机构这类高敏感数据场景下,企业如何安全可控地使用AI Agent,AiPy本身就是针对这类高安全要求场景打造的产品,核心通过“专属安全环境+产品配套防护”的双重模式,构建全流程安全防护体系。一方面,AiPy支持企业内网部署使用,可在企业办公终端搭载自主管控的专属模型,所有操作均在企业可控的安全环境内完成,从数据流转源头杜绝敏感数据外泄,保障操作的安全可信。另一方面,AiPy可与我们的大模型网关产品交叉配套使用,形成双重安全保障:大模型网关能对所有模型调用行为、输入输出内容开展全维度安全监测,既覆盖提示词输入中的内容安全风险,也防范系统层面的安全问题;同时网关内置代答小模型,当主大模型出现不合规、高风险回答时,可即时触发代答与答案回撤机制,快速拦截风险输出,避免安全事件扩大化。正是通过企业专属可控环境的搭建,叠加大模型网关的全流程监测、风险拦截,多机制协同配合,最终实现AiPy这类AI Agent在高安全要求场景下的安全、可控使用。

创宇大模型网关与AiPy,二者在技术上是如何联动的呢?要如何破解政企AI落地的安全与合规难题?

当前企业规模化引入AI大模型,不同部门、场景混用外网调用、本地部署等各类模型,核心面临用好、管好、安全可控落地三大核心挑战,对此我们围绕用、管、防三大维度,依托大模型网关打造了一体化的解决方案,具体落地思路如下:

用:一站式接入调度,适配全角色使用需求

针对企业不同模型分散调用、适配性不足的问题,通过大模型网关实现全类型模型一站式接入,无论内网自研模型还是外网商用模型,均可统一纳入网关管理体系。基于网关搭建灵活的路由调度机制,同时配置token配额、访问限速等精细化管控规则,能根据不同部门、不同应用场景甚至不同个人的使用需求,精准匹配适配模型,实现全角色、全场景的模型一站式调取,大幅提升开发者与使用者的操作效率,让各类模型资源能高效匹配业务需求、发挥实际效用。

管:六大统一管控,沉淀企业核心知识资产

面向企业信息化管理者的模型管控需求,以大模型网关为核心打造六大统一的精细化管控体系,即统一模型接入、统一访问控制、统一安全防控、统一观测分析、统一监控审计,通过一个平台实现企业内所有模型的全生命周期高效管控。网关配备完整的观测面板,可清晰呈现各模型在不同业务场景的实际使用效果;同时依托统一的监控审计能力,一方面能有效防范模型滥用问题,完成各类使用行为的事后追溯与审计,另一方面可从海量使用数据中沉淀企业高质量提示词,将隐藏在提示词中的企业场景化know-how进行标准化留存与复用,将零散的使用经验转化为可重复利用的核心知识资产,持续放大模型的业务价值。

防:全链路安全防护,实现安全可控落地

针对模型使用全流程的安全风险,依托网关内置的模型围栏功能构建全维度防护体系,对所有模型的输入、输出环节开展实时检测与拦截,能有效防范各类针对模型的恶意攻击,同时对数据泄露、隐私泄露等高频安全场景进行精准监测与防控,从操作层面降低安全风险。整体安全防护覆盖内容层面、系统层面、数据层面全维度,从模型调用的源头到落地执行的全流程,实现安全风险的闭环防控,保障企业AI大模型应用的安全可控落地。

刚哥,您认为未来3~5年,AI智能体与大模型安全将呈现哪些趋势?知道创宇在AI安全领域的核心布局方向是什么,AiPy会有哪些迭代重点?

未来3~5年,AI智能体与大模型的发展将进入深度落地的关键阶段,同时安全领域也会随技术演进呈现出鲜明的行业趋势,而知道创宇也将围绕行业趋势,锚定AI安全核心方向持续布局,同步推进AiPy的产品迭代。具体来看:

一、未来3~5年AI智能体与大模型安全的核心发展趋势

  1. AI智能体迎来爆发式增长,工具调用能力向深度化、全场景化演进

未来AI智能体的核心能力突破将集中在工具调用层面,从当前熟练操作浏览器、办公软件、邮件系统等基础工具,向企业级专业系统、工业级操作软件、跨平台异构工具群延伸,能完成的任务也将从单一流程操作升级为复杂的多链路、跨场景协同任务,成为企业数字化生产的核心生产力。但伴随能力提升,智能体的操作权限边界会持续扩大,因权限管控缺失、操作逻辑漏洞引发的误操作、恶意利用等安全事件将成为高频风险,比如误删企业核心数据、违规操作业务系统、越权访问敏感资源等问题会愈发突出。

  1. 大模型安全从“点防护”走向全生命周期、体系化的标准化防护

随着大模型在金融、政府、工业等核心领域的规模化落地,单一环节、单一维度的安全防护已无法满足需求,行业将从零散的“点防护”转向覆盖数据采集、模型训练、部署推理、运营监控的全生命周期安全防护。同时,NIST AI RMF、ISO/IEC 42001等国际标准,以及国内生成式AI相关管理办法的落地,会推动企业建立标准化的AI安全框架,让安全防护可度量、可验证、可审计,成为企业落地AI的硬性要求。

  1. 安全防护从“被动防御”转向“主动攻防+协同共治”

面对AI智能体与大模型的复杂安全风险,单纯的被动拦截已难以应对,行业将构建“主动攻防”体系,通过模拟攻击、对抗训练、漏洞挖掘等方式提前发现并修复安全隐患。同时,AI安全不再是单一安全企业的事,而是形成安全厂商、模型研发方、企业落地方的协同共治格局,各方将在安全机制、技术协议、产品标准上达成共识,共同完善事前预防、事中管控、事后溯源的全流程安全体系,实现技术创新与安全防护的同步发展。

  1. 合规安全成为AI落地的核心底线,数据与供应链安全关注度持续提升

随着全球AI监管法规的落地实施,《EU AI Act》、国内生成式AI管理办法等合规要求将成为大模型与智能体落地的硬性门槛,模型的可解释性、数据的隐私合规、决策的可追溯性将成为核心考核指标。同时,大模型与智能体的供应链安全(开源框架、预训练模型、第三方工具)、数据安全(多源数据溯源、防投毒、隐私保护)将成为安全防护的重点,任何一个环节的安全漏洞都可能传导至整个AI系统,引发系统性风险。

二、知道创宇在AI安全领域的核心布局方向

作为兼具安全基因与AI应用能力的企业,知道创宇将紧扣行业发展趋势,围绕“全生命周期防护、标准化体系构建、技术与场景深度融合”三大核心,打造一体化的AI安全防护体系:

  1. 深耕AI全生命周期安全防护,构建“数据-模型-推理-运营”全链路安全能力

依托五位一体AI业务体系的技术积淀,从数据层筑牢安全基础,提供数据清洗、防投毒、隐私保护、溯源审计等能力;在模型层强化鲁棒性检测、后门挖掘、对抗训练等防护;在推理与运营层,通过模型围栏、实时监控、异常拦截等手段,实现对大模型与智能体的全流程安全管控。

  1. 推动AI安全标准化落地,打造适配企业场景的合规安全框架

对标国际国内主流AI安全标准,结合金融、政府、企业服务等不同行业的落地需求,打造可定制、可落地的标准化AI安全框架,让企业的AI安全防护具备统一的管控逻辑、量化的评估指标、完整的审计体系,既满足合规要求,又适配企业实际业务场景。

  1. 聚焦AI智能体安全核心痛点,打造权限管控与行为治理体系

针对AI智能体工具调用、权限扩大带来的安全风险,重点布局智能体的权限精细化管控、行为逻辑审计、操作风险拦截能力,建立智能体操作的权限边界与行为准则,实现对智能体操作的事前授权、事中监控、事后追溯,从根源降低误操作与恶意利用风险。

  1. 构建“主动攻防”体系,实现安全防护的动态迭代

组建专业的AI安全攻防团队,通过持续的模拟攻击、对抗样本生成、智能体漏洞挖掘,提前发现大模型与智能体的安全隐患,同时将攻防成果反哺至防护产品与技术体系,实现安全防护能力与AI技术发展的动态同步,让防护体系始终适配最新的安全风险。

三、AiPy的核心迭代重点

AiPy作为知道创宇面向企业场景打造的AI智能体产品,将围绕AI智能体的安全核心痛点与企业实际落地需求,从安全能力、工具适配、场景化落地三大维度持续迭代,核心方向如下:

  1. 打造精细化、可定制的权限管控体系

针对智能体操作权限带来的安全风险,迭代升级权限分级管控功能,支持企业根据不同岗位、不同场景、不同任务,为AiPy配置最小操作权限,实现“一人一权、一事一权”的精细化授权,同时设置权限操作的二次确认、高危操作拦截机制,从源头避免误操作与越权操作。

  1. 强化工具调用的安全审计与风险拦截

伴随AiPy工具调用能力的持续拓展,同步升级工具操作的全流程审计功能,对所有工具调用行为进行记录、分析、溯源;同时建立工具操作的风险识别模型,对违规操作、异常操作、高风险操作进行实时监测与拦截,比如针对删除核心文件、修改业务数据等操作设置多重防护机制。

  1. 推进工具调用能力的场景化深度拓展

基于企业实际落地需求,持续拓展AiPy对企业级专业工具的适配能力,覆盖办公协同、研发测试、业务运营、安全防护等多场景的专业软件与系统,同时优化工具调用的逻辑推理与协同能力,让AiPy能完成更复杂的企业级任务,成为企业员工的高效协作伙伴。

  1. 深度融合知道创宇的安全能力,打造“原生安全”的AI智能体

将知道创宇在网络安全、数据安全、内容安全的核心能力融入AiPy的产品架构,实现安全能力的原生集成,比如在数据交互环节实现敏感信息自动脱敏,在内容生成环节实现合规检测,在系统操作环节实现安全审计,让AiPy成为兼具高效生产力与原生安全能力的智能体,无需额外适配安全产品即可满足企业的安全使用需求。

整体而言,未来AI智能体与大模型的发展必然是“技术创新”与“安全防护”的双轮驱动,知道创宇也将始终以“让AI安全落地”为核心目标,持续完善AI安全防护体系,通过产品、技术、服务的全方位布局,为企业的AI数字化转型保驾护航,而AiPy也将作为核心产品,成为企业安全、高效使用AI智能体的重要载体。


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:知道创宇 《媒体专访|知道创宇详解智能体发展逻辑,推动政企AI安全落地》

评论:0   参与:  5