重新思考战略前沿的人工智能

admin 2026-07-06 05:06:25 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: 本文探讨人工智能在国家安全领域的战略转型,指出AI核心已从技术赋能转向重塑人机协同认知范式。文章强调高风险决策需保留人类主导,批判过度依赖算法基准的弊端,主张设计评估应从技术中心转向人机交互中心,通过参与式设计将AI无缝融入作战指挥与情报分析流程,确保人机协同决策的高效性与可信度。 综合评分: 85 文章分类: AI安全,解决方案,安全建设


cover_image

重新思考战略前沿的人工智能

原创

所长007 所长007

蓝军开源情报

2026年7月2日 09:46 湖南

在小说阅读器读本章

去阅读

关注▲蓝军开源情报▲和10万+情报研究员,一起成长

【导读】

2026年5月22日,美国《小型战争杂志》发表防务评论文章《重塑战略前沿的人工智能》。该文指出AI的战略核心已从单纯的“技术赋能”转向深刻重塑“人机协同智能”的认知范式。

文章强调,在面临高度不确定性的高风险冲突环境中,重大战略与战术决策绝不能完全脱离人类主导。针对当前防务界过度依赖算法基准测试的弊端,作者呼吁军事系统的设计与评估必须实现从“以技术为中心”向“以人机交互为中心”的战略转型。在实战应用中,防务部门需通过参与式设计将AI无缝融入现有作战指挥与情报分析流程,确保人机协同决策的高效性与绝对可信度。

本文选自《安全与防务》“新兴之声”系列,该系列旨在重点介绍塑造战略、安全和防务领域思想的新一代学者和实践者。该系列汇集了博士候选人和青年研究人员的观点,这些观点均立足于21世纪复杂的地缘政治现实。该文集探讨了一种“韧性网络”,它将诸如地方外交和农业安全中固有的关键基础设施等常被忽视的领域与国家安全的核心联系起来。这些文章共同强调了在日益复杂的全球环境中,采用适应性强、多学科交叉的方法构建韧性的重要性。

本文《重新思考战略前沿的人工智能》英文原文6页。扫码文末二维码,加入蓝军开源情报知识星球会员,免费下载本文原文及5000字完整译文。需要报告请加微信:19118805880(微信同号)

关键词:人工智能;决策;国防科技;人机协作;国家安全;可信赖的人工智能

这是蓝军开源情报的第 638期分享

编译 l 所长007

来源 l 蓝军开源情报(ID:Lanjunqingbao) 转载请联系授权(微信号:Lanjunqingbao2081)

一、从人工智能到人机智能

人工智能作为一项战略前沿技术,通常被置于技术层面进行定义,主要体现在算法能力、规模和速度等方面。然而,人工智能的战略影响并非主要在于其“人工性”,而在于它如何改变我们对个人和组织层面“智能”的认知。

人工智能在当今我们对智能的思考中占据如此重要的地位,可以追溯到第一次世界大战和第二次世界大战时期关于自主(或“无人”)系统的概念,这些系统使人们能够更快、更精确地工作。

诺伯特·维纳在20世纪40年代创造了“控制论”一词,指的是生物系统和人工智能系统之间相互作用的回路,正是这些回路使得这种协同能力成为可能。

20世纪50年代,保罗·菲茨列举了哪些类型的物理和认知任务“人类更擅长,机器更擅长” ——这份清单至今仍经常被用于自动化系统的设计中,并以“MABA-MABA”的简写形式出现。然而,早在1960年,JCR·利克利德就推测,人工智能的进步将带来“人机共生”,届时“人类和计算机紧密合作……将成为人类历史上最具创造力和最激动人心的智力活动”。

换句话说,人类和机器能够共同达到超越个体潜能的智能水平这一理念并非新鲜事。真正改变的是相关系统的性质。“人工智能”越来越多地与算法模型联系在一起,而这些模型的内部运作机制对于预期使用者而言却难以理解。

随着人工智能系统更深入地融入决策过程,最终用户——例如无人机操作员或执法人员——对决策的生成方式拥有的直接控制权越来越少,即便他们仍然要对决策结果负责。

这就造成了所谓的“责任鸿沟”,但这种表述方式可能会掩盖问题的本质。问题不仅在于人工智能系统本身不透明,更在于人们将其视为独立于人类决策之外的存在,而事实上,它们与人类决策密不可分。

不出所料,人们越来越担心这些局限性会导致系统完全脱离人类决策环节,转而采用完全自主的系统。然而,法律和伦理方面的约束——尤其是在国家安全和战争等安全攸关的领域——阻碍了重大决策的完全自动化。因此,挑战不在于如何避免人类参与,而在于人类与人工智能共同决策的意义所在——以及我们如何确保这种决策以可信赖的方式进行?

二、从信任到人工智能系统中的可信度

在人因工程领域,设计可信度通常包含两个方面。首先是创建在特定任务中高度可靠的自动化系统。其次是训练用户正确使用自动化系统,使其了解系统的运行方式以及可能出现的故障原因。因此,长期以来,“用户对自动化系统的信任程度如何?”这一问题足以评估人机协作决策的可信度。

如今,如何让用户对人工智能建立适当的信任仍然是跨学科领域一个重要且快速发展的关注点。例如,像美国国防高级研究计划局(DARPA)的可解释人工智能项目这样的大型研究项目,致力于开发算法干预措施,以便为用户提供关于人工智能决策逻辑的启发式信息。

另一方面,人因工程和心理学研究人员则不断涌现出大量指标和方法,用于理解人们对人工智能的信任。因此,一些重要的人工智能设计指南强调通过透明度来提升用户信任的重要性(例如,谷歌的《人与人工智能指南》)。

然而,大量证据 表明,透明的人工智能设计虽然可以提升用户信任度,但并不能真正提高决策质量。在国家安全和国防应用中,漏洞往往会被高精度攻击所利用,因此,不必要的信任与不信任一样危险。

如果系统过于轻易地被信任,那么它受到的审查就会减少,从而更容易导致错误在为时已晚之前未被发现。1984 年美国海军“文森斯”号驱逐舰袭击伊朗航空 655 号航班和2006 年“爱国者”导弹误伤事件等历史事件凸显了过度信任系统所带来的灾难性风险,因为这些系统的设计方式存在缺陷。

弥合人工智能系统设计者现有工具和指标与国家安全领域特定可信度需求之间的差距至关重要。在快速、数据密集型决策成为常态的时代,仅仅关注如何实现适当的依赖性已远远不够。

人工智能在这一新常态中扮演着核心角色,因此,我们现在对“可信度”的理解更多地体现在决策前人类和人工智能输入之间紧密相连的互动关系中。

换言之,可信度不再是单个用户对机器可靠性态度的副产品,而是整个群体的属性——这也是“人机协作”成为国家安全研究核心组成部分的原因。因此,如果我们想要构建可信的人工智能系统,就必须从其结果的基本组成部分——交互——出发,对其进行设计和评估。

三、从以人为中心和以人工智能为中心转向以交互为中心

将交互作为设计和评估的基本单元,需要我们转变开发和评估人工智能系统的方式。与将以人为中心的设计和以人工智能为中心的设计视为两种独立的范式不同,以交互为中心的方法将二者明确联系起来,并理解设计决策在实践中是如何做出的。这可以通过将以交互为中心的设计和评估理解为一个持续的研发循环来理解。

1.以交互为中心的设计

以交互为中心的设计意味着要超越人工智能系统应该向用户提供哪些信息,或者底层人工智能架构将构成系统本身的问题。许多当前可信赖人工智能的方法,例如可解释人工智能,都基于这样的假设:让用户了解人工智能的推理过程将有助于用户在未来做出更好的决策。

然而,设计决策必须考虑人机交互决策如何在实际运行环境中进行。这需要设计方法发生两项以交互为中心的转变。首先,人机交互本身必须被视为主要的设计成果,而不仅仅是决策发生的机制。其次,设计过程本身也必须是交互的,这样设计理念才能真正基于决策在实践中的展开方式,而不是假设设计意图能够完美地转化为实际应用。

例如,人工智能透明度通常是通过可视化、数值置信度评分或自然语言解释等功能来实现的。数十年的研究表明,人们在解读自动化逻辑的概率估计和解释时,不仅关注不确定性信息本身,还会结合自身的相关专业知识。然而,这些设计选择通常是由开发人员做出的,而开发人员对人工智能流程的认知模型与最终用户的认知模型存在显著差异。

让我举个例子。告诉一个受过训练的人,人工智能对其输出结果有“90%的把握”,这意味着什么?对于机场安检人员来说,在评估行李是否真正安全无害时,这个概率可能太低;漏检的代价是灾难性的。

因此,即使概率很高,他们也可能会标记该物品进行人工检查。相比之下,对于急诊医生来说,同样的估计值对于诊断建议而言可能高得离谱,因为诊断过程中本来就存在不确定性,过度自信可能会很危险。

在这两种情况下,这些解读也会随着用户需要做出的决策数量而改变。问题不仅仅在于用户可能误解数值输出,而在于数值的含义与其出现的上下文密不可分。

人工智能的设计特性在一种情况下可以提高决策质量,而在另一种情况下却可能降低决策质量。目前很少有系统公开遵循现有的设计指南,根据用户与人工智能的交互历史来调整呈现给用户的信息。尽管如此,现在已经有一些政策 框架来降低自适应人工智能设计的风险。

国家安全和国防研究可以借鉴其他安全关键领域的参与式设计传统,在这些领域,可信度不仅取决于技术性能,还取决于人员和技术在现实约束条件下的协同运作方式。

例如,对“智能”医院输液泵的研究表明,安全功能最好与最终用户共同设计,以避免设备设计与现有临床工作流程不匹配。医疗保健领域成功的 参与式 设计 实践较少关注提高设备精度,而更多地关注临床医生与这些系统的交互如何与他们现有的日常工作流程无缝衔接。

这凸显了一个关键原则:如果目标是利用人工智能实现可信赖的决策,系统设计者和利益相关者必须积极协作,以确保最终设计不会损害一线工作人员的利益,也不会让他们长期放弃使用人工智能系统。将参与式设计方法成功应用于人工智能驱动的国防系统,是国家安全决策中人工智能应用战略设计的关键所在。

2.以互动为中心的评估

如果交互是设计的基本单元,那么它也必然是评估的基本单元。然而,目前人工智能系统的评估主要基于模型层面,采用基准指标来比较系统在标准化任务上的性能。

这些基准指标虽然对于追踪算法的进步至关重要,但却无法深入揭示基础模型的改进将如何影响人机协作单元在真实决策环境中的行为。尤其值得注意的是,这些指标很少能捕捉到模型误差如何与人类认知偏差叠加,以及这些综合效应如何随时间推移影响决策。

许多基础模型的进步都源于提高准确性或计算效率等技术目标。虽然这些改进可能在传统的人机交互指标(例如提高人工智能推荐的可靠性)方面带来增量收益,但它们对实际应用场景中决策质量的影响往往是间接的,且难以理解。

这种差距在高风险领域尤为显著:在基准测试中表现良好的系统,在不确定性、时间压力和信息不完整等情况下部署时,仍然可能导致糟糕的决策。

例如,2021年8月,美国在喀布尔发动的一次无人机袭击——旨在消除迫在眉睫的ISIS威胁——导致十名平民丧生,其中包括七名儿童。造成这一悲剧的原因是,在快速反应的情报和监视过程中,一辆车被错误识别。

这场悲剧凸显了失败不仅可能源于数据错误,还可能源于在时间压力下对信息的解读和处理方式。随着人工智能辅助目标定位的日益普及,人们越来越需要评估指标来捕捉此类系统如何影响操作人员的观察、优先级排序和行动。

与此同时,在真实的人机交互环境中评估人工智能系统所需的基础设施成本高昂且难以扩展。受控的人体实验能够提供关于人机交互方式的宝贵见解,但这些实验耗费大量资源,且往往远远落后于算法创新的步伐。

提高这些评估的精确度,例如通过更逼真的模拟、更大的参与者群体或纵向研究,会进一步增加这些成本。因此,评估工作常常与基础模型的开发脱节,从而限制了它们及时为设计决策提供信息的能力。

推进以交互为中心的评估方法,通过明确关注人机协同认知过程,可以应对这些挑战。首先,它将促进评估方法的发展,这些方法能够补充纯粹的算法基准,并纳入基于观察到的交互数据的衡量指标。

这些指标包括:用户和人工智能如何沟通和解读彼此的见解;它们如何快速有效地检测和干预潜在的推理错误;以及决策质量如何在连续的人机交互中演变。近期国家安全研究领域的努力表明,可扩展的方法正朝着这个方向发展。

例如,DARPA 的“人工智能社交智能助力成功团队”和“人机团队探索模型”项目探索了基于模拟的环境,用于在各种人机协作场景中进行协调和社交推理。这些项目提供了一个模型,可以利用人工智能技术的进步(例如大型语言模型)来测试其对实际人机协作工作的后续影响。

推进以交互为中心的评估还能促进人工智能研究人员和系统评估人员之间的协调。鉴于高保真度人机交互评估的成本和复杂性,评估模型性能的每一次增量改进既不现实也没有必要。

然而,我们需要确定基础模型进步可能对实际人机交互决策产生显著影响的阈值——无论是在受控的实验室研究中,还是在更贴近自然的实际应用环境中。

美国空军的“人机协作决策优势冲刺”活动提供了一个模型,展示了如何构建以交互为中心的评估,从而将商业人工智能开发人员和应用研究人员聚集在一起,并指导未来作战技术的开发。

建立这些评估阈值将有助于更具战略性的资源分配,确保实证研究在最有可能产生具有实际应用价值的进展的领域开展——无论是在基础人工智能研究还是在现有应用的部署方面。

四、结论

作为国家安全和国防的战略前沿,人工智能的根本在于提升在当今充满风险和冲突的环境下“智能”的含义。这归根结底在于人工智能最终必须做出的贡献:做出更值得信赖的决策,这些决策不仅要高效有效,还要符合伦理道德,既支持国家安全人员,也要支持他们所服务的民众。

如今的人工智能系统已将我们带到了利克莱德所说的“人机共生”时代的边缘。因此,使这种共生关系成为可能的互动必须成为创新的重点,而不能仅仅作为其隐性副产品。

值得庆幸的是,数十年的研究和开发已经为实现这一变革奠定了坚实的基础。我们必须继续努力,将算法创新与现实世界的影响相结合,构建一个未来:人机协作的决策能够构建而非危及全球安全。

获取资料目录:19118805880(微信同号)

👇👇

加入蓝军开源情报星球会员免费下载3000+资料**

👇👇

原价999元! 星球试运营期间199元! 试运营结束,恢复原价!

扫码了解、加入

👇👇


免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:蓝军开源情报 所长007 所长007《重新思考战略前沿的人工智能》

评论:0   参与:  0