文章总结： 本文探讨了企业在应用生成式AI（GenAI）过程中面临的安全挑战，并介绍了一种名为RedKernel的解决方案。文章指出，随着AI技术的普及，数据泄露、提示词注入等新的安全风险日益凸显。为应对这些威胁，RedKernel通过基于行为分析的AI风险运营模式，结合Monitoring和Gateway两种部署方式，实现对员工和智能体行为的统一监控与分析，以检测异常活动并应对不断演变的AI安全风险。 综合评分： 75 文章分类： AI安全,网络安全,数据安全,应用安全,安全建设

从员工到智能体，RedKernel 构建企业 AI 风险全景防线

安在

2026年3月31日 19:40 上海

以下文章来源于云纷科技 ，作者Hardskin

云纷科技 .

专注于安全运营和管理服务

“

至 2024 年下半年，因 AI 数据泄漏造成的经济损失已超过 7,700 万美元（源于IBM）；

到 2027 年，40%的数据泄露将因GenAI 不当使用而引起（源于Gartner）；

据统计，原生 AI 应用数量将在 2030 年增长至当前的 5 倍，突破 12,000 个，而注入 AI 的 SaaS 应用也将从 8,000 个激增至超 60,000 个。

”

随着生成式AI（GenAI）迅速融入业务系统和终端用户交互流程，新的风险挑战也在加速涌现。越来越多企业认识到，AI 不再只是创新工具，更已成为新的攻击面和数据泄露源。在应用大模型的过程中，企业正面临一系列典型的安全问题：

►员工在无审计机制下使用AI处理敏感信息；

►AI提示词被外部操控，误导生成结果；

►AI系统响应内容包含敏感、虚假或误导性信息；

►缺乏对Prompt和Response的追溯与行为分析能力。

►智能体 / OpenClaw 也是用户实体，其行为同样需要纳入监控；

►……

Security For AI

►数据投毒：潜在风险

在AI模型训练中，若引入不准确或有害的数据，可能导致模型错误，甚至出现灾难性结果。因此，企业需要通过数据发现、分类、加密、精确访问控制和持续监控等措施，确保数据的安全性。

►敏感数据泄露：聚合即风险

AI训练的目标是通过海量数据使模型更加准确高效，但这也使得这些数据成为潜在的攻击目标。即使数据在各自的存储位置看似安全，但随着使用场景的变化，风险也在加大。

►提示词注入：应用中的风险

在应用阶段，提示词注入已成为一种常见攻击手段，攻击者通过构造特定提示词改变模型行为，类似SQL注入，给企业带来安全隐患。加强安全防护是必要的。

►……

Security for GenAI

OWASP & MITRE ATLAS

AI安全的关键视角

OWASP for GenAI：一个全球性开源社区，致力于提升 Web 应用与软件的安全性，其发布的 Top 10 是行业广泛参考的安全风险清单。

MITRE ATLAS：由 MITRE 推出的框架，聚焦于 AI 系统的威胁建模与攻击技术分类，帮助安全团队系统性识别与防御生成式 AI 风险。

OWASP for GenAI

MITRE ATLAS

“

真正威胁企业的常是未知风险，业务必然先于

风险控制，基于行为分析的“AI风险运营”应运而生。

”

基于行为分析的“AI风险运营”

“观察-监测-分析-响应”

RedKernel for AI Threat (Monitoring Mode）

企业可采用 Monitoring 模式旁路采集模型输入输出日志，几乎无侵入，便于快速试点部署；核心业务场景亦可通过 Gateway 模式实现集中管控与审计。

检测逻辑支柱

应对GenAI安全，企业不能只依赖基于特征的已知风险检测规则（如投毒代码、提示词注入、LLM漏洞利用等），更需要构建基于行为异常检测的未知检测规则，如频率异常、时间异常、提示词输入异常、关联多数据源高风险值等。

同时，面对 AI 带来的安全挑战，我们也应以 AI 的方式应对，借助基于LLM的语意识别和风险分类（AI for AI Threat），实现对语意/图片/视频分析、意图识别、风险分类、智能调查等。

OWASP TOP AI Threat Detection Mapping

在 RedKernel 中，检测逻辑不再是静态绑定的。我们支持根据具体场景，自由组合上述模块，构建面向不同威胁的检测模型，同时将员工账号与 智能体 / OpenClaw 等用户实体 纳入统一行为分析。

通过这种模块化设计，企业可以更灵活地应对多样化的风险场景，同时让模型的演进与优化更具持续性，也更贴合实际业务的变化节奏。

END

AI确实在提升或革新业务的同时，也把新的攻击面拉进了我们的安全视野。随着AI在企业各类业务流程中的渗透不断加深，场景越来越多样、复杂，安全问题也开始“进化”。我们无法去限制业务对于AI的使用，就如我们不能因安全影响核心业务一样。

但当企业AI应用汹涌袭来，通过“伴生式”智能检测和分析方式，了解异常看到风险，也许是当下企业面向AI安全和风险的解决方案之一；我们的RedKernel for AI Threat就是这样的方案。

END

点击这里阅读原文

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安在 《从员工到智能体，RedKernel 构建企业 AI 风险全景防线》