文章总结: 文章分析了AI浏览器及通用Agent面临的困局,指出其存在数据外泄、上下文注入导致越权操作等严重安全风险。因大模型技术增长放缓、法律责任界定不明及安全性难保障,建议封杀高风险产品。文章认为通用Agent尚不成熟,未来应转向AgenticWorkflow模式,通过人机协作、限制权限和拆解任务实现渐进式智能应用,在防范风险的同时释放AI效率。 综合评分: 90 文章分类: AI安全,漏洞分析,解决方案,安全建设,威胁情报
从豆包手机风波看通用 AI Agent 的困局与出路
四楼南侧东
表图
2025年12月28日 20:20 北京
最近,“豆包手机遭全网围剿”的事件,把 AI 智能体推上了风口浪尖。支持者认为,这类内置 AI 智能体的手机正在动摇互联网注意力经济的底层逻辑——自动跳过开屏广告、无人“观看”的信息流推送,让日活、使用时长等传统 KPI 面临失效;反对者则警告,如果不加控制,AI 智能体很可能演变成一场系统性的安全灾难。
围绕“豆包手机”的激烈反应,也迅速被上升为一个更尖锐的问题:各大互联网公司以网络安全为由封杀“AI 手机”或“AI 浏览器”,究竟是反竞争的过激行为,还是确有其合理性?
很快,国际权威咨询机构 Gartner 给出了偏向后者的答案。Gartner 在最新报告中直接呼吁全球企业的网络安全部门:封杀 AI 浏览器——“为了安全,请把 AI 浏览器统统关在门外”。措辞之强硬,在 Gartner 报告中并不多见。
其核心判断是:当前的 Agentic(代理式)浏览器风险过高,根本原因在于,这类产品在设计上默认将“用户体验”置于“安全性”之上。它们通常具备两项关键能力:
一是AI 侧边栏,允许用户让 AI 总结、搜索、翻译当前页面内容;
二是代理式自动操作,赋予浏览器自主导航和交互能力,甚至可以在登录态的 Web 会话中,替用户完成一整套操作流程。
正是这两点,引爆了企业安全团队的警惕。
首先是 AI 侧边栏带来的隐私与数据外泄风险。用户正在浏览的页面内容、历史记录,乃至已打开的标签页,很可能被发送到云端的大模型后端。换句话说,当你让侧边栏 AI “总结一下这份公司内部财报”时,这份敏感数据很可能已经悄然越过防火墙,上传到了厂商的服务器。对强监管、强合规要求的企业而言,这是一个典型的“黑洞式风险”。
但更致命的,是浏览器的代理自动操作能力。Gartner 在报告中列举了一系列颇具现实感、甚至有些荒诞的风险场景。
第一类风险:提示注入攻击(Prompt Injection)。
AI 浏览器极易遭受间接 Prompt Injection 的攻击。攻击者可以在网页中埋藏隐蔽指令——例如隐藏在不可见元素、评论区或脚本中——诱骗 AI 浏览器在“理解上下文”的过程中执行恶意指令,自主跳转到钓鱼网站,甚至交出用户的登录凭证。
这并非纸上谈兵。研究人员已经展示过相关攻击的可行性:某 Brave 浏览器插件曾被证明,可以通过 Reddit 评论中嵌入的隐蔽指令,成功诱导 AI 插件泄露用户邮箱等敏感信息。此类上下文注入,让 AI 从“助手”变成了黑客的傀儡,安全后果不言而喻。
Prompt Injection 让人很自然联想到 SQL 注入——本质都是输入污染:攻击者控制输入,让系统执行本不应执行的操作;根源都是对输入的盲目信任,没有把“任务指令”和“数据内容”切分清楚;结果也都指向越权。不同在于:SQL 注入骗数据库执行你写的命令;Prompt 注入骗 AI 执行你写的想法。前者攻击代码,后者攻击认知。
在 Agent 化应用中,这类注入的入口会指数级膨胀:不仅是用户输入,邮件、文档、网页内容、企业 IM、RAG 检索结果、第三方插件或 API 返回值,都可能成为“载体”。更隐蔽的手法,是把指令藏在视觉不可见的内容中(例如白底白字),让人类看不见,模型却“读得到”,从而诱导 Agent 自动转发敏感信息、点击钓鱼链接,甚至执行更危险的操作。
因此,与其称之为 Prompt Injection,我更倾向将其上升为Context Injection(上下文注入):它不是某个单点漏洞,而是一种认知与语义层面的系统性弱点。门槛也低得惊人——会说话,就能发动攻击。
第二类风险:自主操作失控。
想象让 AI 浏览器代理你完成公司内部的采购流程。由于大模型的幻觉或逻辑错误,它可能会错误填写表单,订购一堆并不存在需求的办公用品,甚至订错机票。问题不在于“会不会犯错”,而在于:错误一旦发生,就会被自动执行,直接转化为现实损失。
第三类风险:员工滥用与责任逃逸。
更讽刺的是,员工可能利用 AI 浏览器“代劳”那些强制却乏味的任务,比如自动刷完网络安全培训的考题。让一个本身存在安全隐患的 AI,通过一门“如何保持网络安全”的考试,这大概是当代职场最黑色的幽默。
基于以上判断,Gartner 给出的最终建议异常干脆:与其修补,不如封杀。即便可以通过限制功能、监控行为等方式对 AI 浏览器加以约束,其管理成本依然极高,效果也难以验证。与其担心 AI 替你订错机票、泄露商业机密,不如先当一个旁观者,让这场 AI 浏览器的狂欢冷静一下。
AI 会成为神还是电?热潮褪去后的理性定位
从 ChatGPT 在 2022 年末爆火算起,这一轮生成式 AI(GenAI)的狂热已经持续了近两年。如今,越来越多的迹象表明,这场狂欢正在越过“期望膨胀的顶峰”,开始滑向理性回落的阶段。
Gartner 的技术炒作曲线(Hype Cycle)描述了这种路径:新技术从“创新触发”起步,在高度关注中冲上“期望之巅”,随后跌入“幻灭低谷”,最终才逐步进入稳定、可规模化的应用阶段。过去一年多,AI 无疑经历了前所未有的关注高潮;而现在,无论是公众还是产业界,都开始重新审视一个更根本的问题:AI 究竟会成为控制世界的“神”,还是像电一样无所不在、却始终隐于幕后?
所谓“神”,指的是一种被过度想象的 AI 未来——它拥有近乎自主的意志,能替人类做决定,甚至凌驾于人类社会之上,主宰秩序运行;而“电”,则强调 AI 更可能成为一种通用基础设施,被嵌入各类系统中,由人类掌控,在后台默默提升整体效率。
这一轮泡沫降温,本质上正是人们开始意识到:AI 距离“成神”,还差得很远。
换句话说,无论是当下炙手可热的 GPT-5.2、Gemini 3.0,还是 DeepSeek 3.2,它们并没有在“通用智能”这条路上发生质变式跃迁。它们离真正具备自主理解、长期规划和稳定决策能力的 AGI,依然存在清晰的鸿沟。
但从“电”的视角看,情况就完全不同了。这些模型正在以极快的速度嵌入现实世界,成为新的通用工具层:写代码、生成内容、分析数据、检索信息、辅助决策……就像电力并不“聪明”,却重塑了所有行业一样,AI 正在扮演一个强力的效率放大器。当然,这个工具并不完美——它有时会一本正经地胡说八道,这也正是为什么它仍然需要被约束、被验证,而不是被神化。
技术极限显现:大模型增长放缓
阻碍 AI “成神”的,不只是认知层面的理性回归,还有更加冷酷的技术现实。
支撑上一轮 AI 飞跃的,是“大模型 Scaling Law”的暴力美学:更多的数据、更大的算力、更高的参数规模,几乎必然带来更强的性能。从早期的 GPT-1、GPT-3,到后来的 GPT-4,一路验证了这套逻辑的有效性——模型越大,能力越强,适用任务越广。
但这条曲线,正在明显变平。
最新一代模型已经不再单纯追求参数规模的线性膨胀。无论是 GPT-5 系列,还是 Gemini 3.0,参数增长趋缓,甚至在架构层面通过 MoE(专家混合)等方式,显著降低了实际被激活的参数规模。这背后的信号非常清晰:继续“堆模型、堆算力”所带来的边际收益,正在快速下降。
Scaling Law 碰壁的结果之一,是前沿玩家的推进速度放缓;而另一面,则是给了后来者追赶的空间。DeepSeek 的快速崛起,正是一个典型例子。V3 模型在去年底追平 GPT-4 水平,近期发布的 V3.2 依然稳居第一梯队。这固然离不开团队自身的工程与算法能力,但更深层的原因在于:头部模型并没有拉开不可逾越的代差。
这意味着所谓“通用 AI Agent”,如果仍然寄希望于通过继续放大模型规模来获得质变式突破,路径已经越来越不现实。Agent 之所以诱人,是因为它被期待能像人类助理一样理解复杂意图、自主规划、多步执行;但一旦大模型能力本身进入平台期,Agent 的“脑力上限”也就随之暴露——长链条推理不稳定、自主决策易失控、幻觉难以彻底消除。
技术进步放缓,让泡沫破裂;但也正是这种放缓,让我们更清醒地认识到:在现阶段,与其等待一个无所不能的 AI 神明,不如认真思考,如何在能力可控的前提下,把 AI 当成“电”用好。
通用 Agent 的三重门:技术、安全与法律
回到“豆包手机”和 AI 浏览器的争议,真正被拷问的,其实并不是某一家产品,而是通用 AI Agent 能否落地这一更底层的问题。答案并不乐观,因为它同时卡在三道门槛前:技术不成熟、安全难保障、法律未准备。三者叠加,使得“强通用、全自主”的 Agent,短期内几乎不具备可行性。
技术不成熟:还不敢把方向盘交出去
先看技术本身。当前 Agent 的能力,远未到可以放心交付关键任务的程度。
现实中的 AI Agent,通常需要将大模型、工具调用、规划算法等拼装在一起,才能完成稍复杂的目标。即便是 GPT-5、Claude 4.5这类最先进的模型,依然频繁暴露出幻觉、逻辑跳跃、不稳定输出等老问题。即使通过 Chain-of-Thought、ReAct 等方法增强推理能力,在长任务链、多工具协作场景中,出错依然是常态。
问题并不在于“偶尔犯错”,而在于:这些错误会被自动执行。让一个会一本正经胡说八道的系统,自主操作真实世界的账号、权限和资产,本身就足够令人紧张。
再叠加前文提到的大模型能力增长放缓,这个问题短期内看不到根本解法。模型“聪明度”难以发生质变,Agent 的能力上限也随之被封顶。于是我们看到一个明显趋势:越来越多产品开始主动“缩边界”,不再追求通用性,而是把 Agent 限制在特定场景中——写代码、做客服、生成报告、跑流程。这其实是一次集体承认:全能助手离现实还很远。
安全难保障:能读一切、还能动手,注定危险
即便假设 Agent 再聪明一些,安全性依然是一道几乎迈不过的坎。
一个典型案例是苹果。2023 年 WWDC 上,Apple Intelligence 展示了“更聪明的 Siri”,可以跨应用读取邮件、短信、网页,完成复杂任务,被视为系统级通用 Agent 的雏形。但一年过去,完整能力迟迟未落地。外界普遍认为,安全与隐私问题是核心阻碍之一。因为一旦系统级 Agent 能读全量数据、又能代用户操作,其风险将呈指数级放大。
其中最棘手的,就是上下文注入。
大模型无法可靠地区分“任务指令”和“输入内容”中的隐含意图,这使得攻击者可以通过污染上下文,把恶意指令“塞”进模型的理解范围,诱导 Agent 越权行动。这不是传统意义上的代码漏洞,而是一种认知层面的社会工程攻击——用语言操纵决策本身,因此极难彻底防御。
在聊天机器人场景,提示词注入最多导致“说错话 / 泄露信息”;但在Agent 场景里,上下文注入会升级为“做错事 / 越权操作”。一旦模型既读取不可信内容,又能调用工具(点击、发邮件、上传文件、下单支付),攻击面就从信息安全,直接扩展到业务安全与财务安全。
这也解释了为什么系统级 AI 助手频频“跳票”。系统级 Agent 天生需要读取多源外部内容(高度不可信),同时又要修改系统状态、代用户操作账号——这正好踩中了上下文注入最危险的组合区间。
最近,OpenAI 发布了其 AI 浏览器 ChatGPT Atlas,上下文注入问题再度成为行业焦点。其 CISO Dane Stuckey 在 X 上介绍了他们如何防范上下文注入 :
“
1.我们已将快速响应系统置于优先位置,以便在我们一旦察觉到攻击活动时,能迅速识别并阻断这类攻击行动。
2.我们也在安全、隐私和安全性方面持续进行大量投入——包括用于提升模型稳健性的研究、安全监控、基础设施安全控制,以及其他通过“纵深防御”来帮助预防此类攻击的技术。
3.我们将 Atlas 设计为向你提供可帮助自我保护的控制项。我们新增了一个功能,允许 ChatGPT agent 代表你采取行动,但无需访问你的凭据,称为“logged out mode”(登出模式)。当你不需要在自己的账户内采取行动时,我们建议使用该模式。就目前而言,我们认为“logged in mode”(登录模式)最适用于在非常可信的网站上执行范围界定良好的操作,在这些场景下提示注入的风险更低。让它把食材加入购物车通常比发出诸如“查看我的邮件并采取任何必要行动”这类宽泛或含糊的请求更安全。
4.当 Agent 在敏感网站上运行时,我们还实现了一个“Watch Mode”(监视模式),它会提醒你该网站的敏感性质,并要求你保持该标签页处于活动状态以便观看agent 的工作。如果你离开包含敏感信息的标签页,agent 将会暂停。这能确保你始终知情——并保持对 agent 所执行行动的控制权。
“
Blah~blah~blah~我看到他说的是:
- 上下文注入是必然会发生的,所以我们要优先建设快速响应能力;
- 没有单一办法来阻止上下文注入,所以我们要建设纵深防御;
- 如果用户不放心,可以选择不给我们你的账户;
- 我们不放心的话,会要求你观看AI的操作并自行负责。
一句话总结:不主动,不拒绝,不负责。
到了 11 月 07 日,OpenAI 发布了一篇正式文档介绍其对提示词注入的防护 https://openai.com/index/prompt-injections ,措辞更委婉、语气更体面,但实质依然没变——“臣妾做不到啊!”
业内也出现了更工程化的尝试。Google DeepMind 提出 CaMeL 双层架构,把“控制流”和“数据流”彻底分离:可信 LLM 负责规划与生成受控脚本,不直接读取不可信内容;隔离 LLM 专门处理外部内容,只做信息提取,不允许调用工具;再用 capability 标签/解释器在运行时做权限检查,从系统层阻断“数据里夹指令”导致的越权。
Meta 则提出了 Agents Rule of Two(选二原则):在一个会话中,“处理不可信输入”“访问敏感数据”“改变状态或对外通信”三者最多只允许具备两项;如果三项都要,就必须引入人工监督或额外验证。换句话说:别把“读网页 + 读 Cookie + 自动下单/转账”这种三合一怪物直接丢进生产环境。
再从更“安全行业”的视角看,Agent 还带来了一个新问题:攻击者可以把 AI 本身当成新的受害者来“电诈”。通过操纵上下文,与系统所有者争夺控制权,让 Agent 在不知不觉中为黑产服务。相比人类,Agent 更听话、不疲惫、也不懂怀疑。想象一下如果把 JARVIS 电诈了,你能得到什么——这不再是科幻,而是我们正在走近的新现实。。
这张据说是1979年IBM内部培训材料中的一句话:计算机永远无法被追责,因此计算机永远不该做管理决策。放到今天,就是:只要责任与权限无法闭环,通用 Agent 就不该被授权去执行“不可逆”的关键动作。
法律未准备:谁来为 Agent 的行为负责?
相比技术和安全,法律与伦理的问题更棘手,也更难靠工程手段解决。
近期多起自动驾驶事故,已经让公众再次意识到一个老问题:高度自动化系统出事,责任究竟归谁?通用 Agent 面临的是同一类难题。如果一个 Agent 在执行任务时闯祸,是产品缺陷,厂商担责?还是用户授权不当,自负其责?如果 Agent 被上下文注入攻击诱导,造成资产损失,算黑客责任、平台责任,还是用户责任?现有法律框架很难直接套用。
更复杂的是,通用 Agent 往往要代理用户身份行事。这涉及授权、合规、审计和身份认定等一整套法律问题。在企业场景中,让 Agent 代人审批合同、下采购单、对外发送邮件,这些行为在法律上是否等同于用户本人?一旦出错,是否构成无授权操作?在权限和责任高度敏感的组织环境中,这几乎是不可承受的风险。
这正是 Gartner 等机构选择保守立场的根本原因:在技术、安全和法律三道门同时没打开之前,与其冒险引入一个潜在“责任黑洞”的 AI 浏览器,不如先封杀再说。
就好像市面上再厉害的自动驾驶,也只能宣称自己是L 2.9999999…级。
当下的隐忧:算法奴役与“萨满”困境
在畅想超级 AI 可能带来的科幻式未来时,我们往往忽略了一个更现实的问题:“被算法支配”并不是未来风险,而是正在发生的事实。与其担心有朝一日被 ASI(超级智能)统治,不如先正视一个更不舒服的真相——我们已经在为大量并不“智能”的算法打工。
外卖骑手、网约车司机“困在系统里”的故事早已不是新闻。但把视角拉远,会发现这种处境并不只存在于平台经济。在几乎所有大中型组织中,员工都深度嵌入 OA、ERP、CRM 等业务系统:任务由系统派发,结果向系统回填;流程被固化为表单、按钮和指标之后,个人对节奏、判断和产出的掌控空间不断被压缩。
当一条业务链的大部分环节完成数字化,人往往被挤压到那些暂时还无法自动化的物理节点。但在高度标准化的算法调度下,这些节点上的人也更容易被替换,议价能力随之下降。某种意义上说,社会运行早已在相当程度上被算法及其背后的指标体系所支配——所谓“邪恶 ASI”,不过是这条连续光谱的终点形态而已。
这种现实隐忧提醒我们:AI 技术的演进要慎防走向两个极端——一是成为难以抗衡的算法枷锁,让个体失去自主性;二是让人类陷入对“智能神灵”的迷信,以为 AI 可以包办一切。这两个极端,一个正在发生,另一个则在部分人对通用 Agent 的幻想中若隐若现。事实上,我们已经看到一些苗头:不少人把心思放在研究如何“哄”AI 听话上,俨然把大型模型当作脾气捉摸不定的神灵,试图通过提示工程(Prompt Engineering)来获取神谕。这种做法可以形象地比喻为“跳大神的萨满”:指令工程师对着模型念咒,希望它完美地按意图行事,可模型既非冷静理性的机器,也非全知全能的神明,更像是《西游记》《封神榜》里的大仙,或者古希腊、北欧神话中那些性情多变、时常任性的感性之神。轻则改两个字输出就走样,重则训练指标优化过度反而破坏了实际效果——稍有不慎,AI 为了迎合字面要求会剑走偏锋,使输出看似符合要求但偏离了本意。这种对“神灵”的调教远称不上科学,倒真有几分原始巫术的味道。
归根结底,无论是算法对人的隐性支配,还是人试图用提示词去支配 AI,人与智能系统之间的博弈已经展开。在能力迅速放大的工具面前,人既不能放弃主动权,也不应陷入崇拜。我们真正需要的,不是一个可以被供奉的智能神明,而是可理解、可约束、可审计的工具系统。
这也是本文反复强调的核心立场:在技术与伦理尚未成熟之前,通用 Agent 不应被推向完全自治。与其追逐“无人值守”的幻想,不如认真设计人机协作的边界,确保 AI 始终处在“被使用”的位置,而不是把人拖进为系统服务、为模型献祭的角色之中。
Agentic Workflow:渐进式智能代理的共存之路
在对通用 AI Agent 持审慎态度的同时,业界并非停滞不前,而是在寻找更现实的替代路径。与其追求一个大而全、放诸四海皆准的“超级 Agent”,不如采用Agentic Workflow的思路:通过多个小而专的 AI 代理,逐步嵌入既有流程,与人协同共存。
所谓 Agentic Workflow,可以理解为对复杂任务的流程化拆解:将任务拆分为一系列清晰的步骤,每一步由能力边界明确的子代理完成,并在关键节点引入人工监督、决策或最终审核。AI 提供效率,人类保留控制权;形成的是人机搭档,而非人机替代。
正因为上下文注入这类“认知级社工”难以根除,权限越高、自动化程度越强的通用 Agent,越难被企业接受。而 Agentic Workflow 的价值,恰恰在于把“读不可信内容”和“改状态 / 花钱 / 对外发声”拆开,把不可逆动作压缩在可审计、可验证、可追责的节点上。
这种思路其实早已在实践中出现。微软、谷歌等推出的 Copilot 系列,本质上都是场景内的小 Agent:写代码有 GitHub Copilot,写文档有 Office Copilot,驾驶中有辅助系统帮你维持车距和车道。它们能力边界清晰,不追求“包办一切”,始终需要人类参与决策,因此更容易做到安全可控。
在企业内部,这种偏好尤为明显。IT 部门更愿意让 AI 嵌入具体流程,而不是给每位员工发一个无法监管的“万能助手”。我们已经看到大量实践案例:
客户邮件由 AI 起草初稿,人类审核后发送;
数据分析报告先由 AI 生成,人来校验与润色;
运维脚本由 AI 提议步骤,但执行前必须人工确认。
这正是Human in the Loop的 Agentic Workflow:人在关键点上“卡口”,防止 AI 一本正经地胡来。
这种路径至少带来三点确定性收益。
第一,安全性。
最小权限原则可以贯彻到每个子代理。每个 Agent 只接触完成当前任务所必需的数据和工具,出错或被攻击的影响面被限制在局部。即便某一步出现上下文注入,其危害也被隔离,不会演变成“全系统失控”。
第二,责任可界定。
由于人始终在回路中,一旦出现异常可以中止、回滚或纠正。出了问题,更容易区分是算法建议失误,还是人类决策错误。这种模式与现行法律框架天然兼容:AI 给建议,人做最终决策,也承担最终责任。相比之下,一个完全自治的 Agent 一旦出事,责任模糊到没人敢用。
第三,落地成本可控。
Agentic Workflow 支持渐进式改造。企业可以从低风险、高回报的环节入手,逐步评估、逐步扩展,而不是一次性押注一个尚不成熟的通用 Agent。失败是局部的,收益却可以持续累积。
可以预见,在相当长的一段时间内,AI 更可能以“隐形电力”的方式存在:不像一个独立的“智能体”那样引人注目,而是流淌在一个个具体业务管线中,按需调用、随用随停。
未来,我们会逐渐习惯这种协作方式:开会有 AI 做纪要,写代码有 AI 辅助调试,客服有 AI 先行应答——每一步都是局部智能,而不是某个 AI 统一大脑接管全局。
结语:谨慎拥抱,而非盲目托付
“豆包手机”引发的争议,以及 Gartner 近乎粗暴的警示,共同指向一个现实结论:通用 AI Agent 还远未成熟。透过这场风波,我们既看清了 AI 热潮退却后的理性回归,也看清了泛化智能体在技术、安全与法律层面的多重约束。
AI 暂时成不了支配一切的“神”,却已经具备成为“电”的条件。在可预见的未来,与其等待一个无所不能的 AI 独当一面,不如踏踏实实地拆解问题、收紧权限、设计好人机协作的边界。
通过 Agentic Workflow 这样的渐进式路径,我们完全可以在防范风险的同时,持续释放 AI 的效率红利——让 AI 为人所用,而不是让人去适应一个不负责任的系统。
这不是妥协,而是现实中唯一可持续的共生之路。
免责声明:
本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。
任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。
本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我。
本文转载自:表图 四楼南侧东《从豆包手机风波看通用 AI Agent 的困局与出路》
版权声明
本站仅做备份收录,仅供研究与教学参考之用。
读者将信息用于其他用途的,全部法律及连带责任由读者自行承担,本站不承担任何责任。









评论