文章总结： 本文借18世纪科学林业导致森林死亡的比喻，深入探讨AI编程带来的系统性风险。指出AI生成代码虽高效却缺乏人类深度理解，导致责任归属真空与隐性知识流失。作者援引多位思想家观点，警示模型同质化将引发相关性失效与全局崩溃，呼吁通过极端压力测试与多样性制衡构建韧性，并强调决策者需承担风险共担责任。 综合评分： 88 文章分类： AI安全,安全建设,安全开发

18世纪的幽灵与2026年的代码

原创

EMERGENTSIGNALS EMERGENTSIGNALS

安全喵喵站

2026年3月5日 08:31 中国香港

编者注：

本文的推演基于一场”虚拟圆桌”——借助提示词专家李继刚设计的结构化对话框架，我们让 11 位跨越半个世纪、代表不同技术哲学与生死的思想家，围绕”AI 编程自动化”的议题展开了一场高强度的即时交锋。这些立场均基于他们真实发表的著作与论文合成。

查尔斯·佩罗（Charles Perrow）已于 2019 年去世，埃莉诺·奥斯特罗姆（Elinor Ostrom）已于 2012 年去世，而纳西姆·塔勒布（Nassim Taleb）和山姆·奥特曼（Sam Altman）在现实中大概也不会在同一张桌子旁坐上超过十分钟。但在思想的旷野上，他们可以相遇。

18世纪的幽灵与2026年的代码

18 世纪的普鲁士林务官们曾无比骄傲。

他们发明了一种被称为”科学林业”的管理方法：将混乱的天然森林连根拔起，替换为整齐划一的人工林。单一树种，行列对齐，便于清点，便于机械化伐木，更便于出口创汇。第一代人工林的木材产量呈现出指数级增长，国王们对此极为满意。这种模式随后被载入教科书，向整个欧洲输出。

然后，第二代森林长出来了。

由于失去了天然林的多样性，土壤中缺少了分解落叶的真菌；由于没有了灌木层，鸟类无处筑巢；失去了天敌的制约，害虫开始肆虐。最终，第二代人工林迎来了大面积的枯死。德语中诞生了一个专门的词汇来描述这种现象：Waldsterben——森林之死。

政治学家詹姆斯·斯科特（James C. Scott）在其著作《国家的视角》中，用这段历史揭示了一个冰冷的原理：当我们试图用简洁、高效的标准化方案去改造一个复杂系统时，往往会轻易抹杀掉那些”看似无用”却维系着系统生存的关键暗门。 他将这种迷信效率与秩序的狂热称为”极端现代主义”（High Modernism）。

今天，AI 编程工具正在重写软件工程的基本假设。越来越多企业将核心业务逻辑交由大语言模型生成。而与此同时，LinkedIn 上的意见领袖们还在为”程序员会不会被取代”这种幼儿园级别的问题兴奋地互相点赞，VC 们忙着在每一份路过办公桌的 BP 上贴”AI Native”标签。没人在问那个唯一重要的问题。

真正致命的问题是：当庞大的代码库被 AI 高效生成，而不再被任何人类真正理解时，我们将面临怎样的系统性崩溃？

为了推演这个问题的终局，我们在虚拟圆桌旁聚集了 11 个大脑——从坚定的乐观主义者 Andrej Karpathy 到悲观的复杂系统学者 Charles Perrow，从图灵奖得主 Yann LeCun 到黑天鹅理论鼻祖 Nassim Taleb。

他们几乎没有达成任何共识。这倒是整场推演中最诚实的部分。

效率的诱惑与追责的真空

对于 AI 编程的新范式，前 OpenAI 研究科学家 Andrej Karpathy 提出了一个极具传播力的词汇：Vibe Coding（直觉编程）。在他看来，未来的程序员不再是枯燥的”人机翻译官”，而是意图的持有者——你只需描述你想要的”感觉”，AI 负责将其具象化为可运行的代码。

这幅图景极具诱惑力——就像庞氏骗局对那些入场够早的人极具诱惑力一样。早期参与者确实赚到了：Demo 炫酷，原型飞快，老板们龙颜大悦。但庞氏骗局的本质不是”前面的人没赚到钱”，而是”后面的人注定要为前面的人买单”。

UML 之父、软件工程精神祖师之一的 Grady Booch 毫不留情地打断了这种浪漫主义叙事，他抛出了一句让全场重回现实的定论：“能跑通，不等于正确。”

但”能跑通”和”正确”之间隔着一道深渊。早在 1972 年，戴克斯特拉（Edsger Dijkstra）就说过一句至今无人反驳的话：“测试只能证明缺陷的存在，永远无法证明缺陷的不存在。” 图灵奖得主高德纳（Donald Knuth）接过这条线索：代码的正确性归根到底是一个数学问题，而 AI 不做证明，它只做统计上的最佳猜测。换句话说，你的核心交易系统正在由一个”差不多先生”来写，而你对此心安理得。

这就引出了一个工程界尚无答案的问题：当 AI 自动生成的微服务导致生产事故，谁负责？生成代码的模型？写提示词的初级工程师？拍板采购的 CTO？Booch 问了一圈，没人接话。这倒不奇怪——在一个人人都急着邀功的行业里，追责从来都是最后一个被设计的功能。AI 伦理学者 Kate Crawford 说得更直白：这不是漏洞——这恰恰是权力结构想要的结果。没有人想承担责任，所以最终无人负责。责任被设计性地蒸发了。

就在争论陷入僵局时，詹姆斯·斯科特抛出了那个令全场陷入沉思的词：Mētis。

Mētis：被”优化”掉的暗默知识

Mētis 是一个古希腊词汇，被斯科特用来描述一种难以言传的”暗默知识”：那是一种只能通过亲手实践、不断试错才能沉淀下来的直觉与经验。它写不进操作手册，也无法通过标准化的 API 调用来传递。

老练的渔民能嗅出暴风雨的前兆，资深的工匠能凭肉眼判断金属锻造的温度。在软件工程中，最顶级的代码中也蕴含着这种东西。高德纳将其称为”内在逻辑连贯性”——每一个极其微小的架构决策背后，都有着千丝万缕的权衡，它们相互呼应，构成了一个充满韧性的系统。

AI 正在”优化”掉孕育 Mētis 的土壤。

我自己就在亲历这件事。我注意到越来越多的代码审查变成了走过场——只要自动化测试通过，就没人再细看逻辑。Code Review 正在名存实亡。但你不能怪审查者——当他面对的是一段由 Claude 生成的、看起来比他自己写的还要干净的代码时，他能说什么？“我虽然看不出问题，但我直觉觉得不对”？在一个迷信可量化指标的行业里，这种话说出来只会让自己显得无能。

于是所有人都选择了闭嘴。测试全绿，上线。

假设一位初级工程师利用 AI 生成了一段支付回调逻辑，结构清晰，测试全绿。然而，代码中可能隐藏着一种绕过传统锁机制的、极其罕见的并发竞态条件。没有人会在审查时发现它，因为代码”看起来毫无破绽”。几个月后系统崩溃，修复这个 Bug 可能需要耗费整整两周——并非因为技术有多复杂，而是因为当初写下这段代码的”模型”，早已不记得它做出那个设计决策的理由。你去问 GPT-4 为什么三个月前写了那行代码，它会用一种礼貌而空洞的口吻告诉你它”很乐意帮忙解释”——然后给你一个全新的、同样自信的错误答案。

当新一代工程师失去了在屎山代码中摸爬滚打、排查诡异 Bug 的机会，他们便失去了积累系统级 Mētis 的唯一途径。十年后，我们面对的将是一个由模型生成的、无人能彻底理解的庞大系统，以及一批从未真正进行过深度架构思考的”提示词操作员”——他们最熟练的技能是在 ChatGPT 输入框里写”请帮我优化这段代码”。

面对这一指控，Karpathy 反驳道：现代飞行员也早就不再手动操控所有仪表，但他们通过飞行模拟器建立起了新型的 Mētis。萨利机长在哈德逊河上的奇迹迫降，正是依靠这种现代训练体系。

这个类比漂亮，但经不起推敲。斯科特指出了两者致命的区别：飞行员积累的是”已知系统边界内”的应急能力——波音 737 的故障模式是有限的、可枚举的。而 AI 编程所需的”系统级模拟器”至今仍未被发明。你怎么模拟一个你自己都不理解的系统？用 AI 来模拟 AI 的故障模式？这不是解决方案，这是套娃。

你以为的黑天鹅，其实是”相关性失效”

接下来轮到《黑天鹅》作者纳西姆·塔勒布（Nassim Taleb）。他不谈认知，直接谈风险。

塔勒布提出了一个冷酷的论断：大语言模型训练数据的深层同质化，意味着 AI 生成的代码共享着人类看不见的盲区。

GPT、Claude、Gemini 架构各异，但它们吞噬着相同的开源语料库，沉淀出相似的设计偏好。这就像一条街上所有餐厅都从同一家供应商进货——一旦源头出了问题，不是一家关门，而是整条街同时停业。在金融交易中，这叫”相关性失效”：相关性不需要达到 100% 就足以引发崩盘。当不同公司的系统都依赖于具有相似盲区的模型时，下一次危机不会是孤立的 Bug，而是全局性的同步失效（Correlated Failure）。你引以为豪的高可用架构在此毫无意义——备份系统会在同样的边缘场景下，与主系统手拉手一起倒下。灾难面前，它们连死法都一样。

一直沉默的查尔斯·佩罗（Charles Perrow）用他的”正常事故理论”完成了最后的闭环：“灾难不是’如果’，而是’何时’。” 当系统变得极度复杂且紧密耦合时，组件级别的安全防护（如给 AI 加护栏）不仅无济于事，反而会产生虚假的安全感，让人们毫无顾忌地把油门踩到底。安全感本身就是最危险的加速器。

达里奥·阿莫代伊开始背诵他公司的安全手册，像一个站在 90 层楼、大火已经烧穿楼板的人，一字一句地朗读逃生指南。多层防御。人工签字。第三方审计。听起来很让人安心——直到你想起来，卖你汽油的和卖你灭火器的，是同一家公司。

尚未写完的答案

在这场令人窒息的推演中，诺贝尔经济学奖得主埃莉诺·奥斯特罗姆（Elinor Ostrom）带来了唯一的一丝微光。

她用毕生研究证明：公地悲剧并非不可避免。只要满足足够透明的监控（不需要洞悉所有黑箱，但必须看到行为结果）、强制的行为测试以及多节点制衡，自治系统依然可以存活。

折射到当下的工程实践中，这意味着：对 AI 代码引入远超人类代码的极端压力测试；将开源模型（如 LeCun 所坚持的）作为多样性制衡的手段，避免单一模型的垄断性盲区。这些都是正确的方向——如果有人愿意为此买单的话。但现实是，压力测试要花钱，多样性制衡要花时间，而季度财报等不了。

然而，在圆桌的最后，塔勒布抛出了那个让全场陷入死寂的问题：

“山姆（Altman），达里奥（Amodei），你们个人的核心数字资产——银行账户、医疗记录、信托协议——现在运行在 AI 生成的代码上吗？如果不是，为什么？”

Skin in the Game（风险共担）。做决策并推动技术狂奔的人，是否在承受相应的代价？

没有人回答。或许是因为不知道如何诚实地作答。

这大概是整场圆桌最有信息量的时刻——不是谁说了什么，而是谁在该说话的时候闭了嘴。在一个人人都在兜售AI未来的行业里，沉默才是最昂贵的答案。

我们正身处第一代 AI 森林繁荣生长的时期，木材产量惊人，财报数据耀眼。但愿这一次，当代码世界的 Waldsterben 阴影浮现时，我们不仅是砍树的人。

第二代森林的种子，已经在机器的轰鸣中播下。

【术语表】

Waldsterben——德语，字面意思是“森林死亡”。在19世纪欧洲科学林业推广大规模单一树种种植之后，第二代森林因土壤真菌消失和生物多样性崩溃而大规模死亡。该术语后来成为描述由生态单一化导致系统性崩溃的标志性概念。

Vibe Coding——由Andrej Karpathy于2025年初提出的术语，用于描述一种以自然语言表达意图和“感觉（vibe）”为核心的编程方式。程序员不再逐行编写和调试代码，而是由AI将意图转化为可运行的程序。Karpathy本人后来也承认，他只在凌晨3点之后使用Vibe Coding；白天仍然处于传统工程模式。

Mētis（μῆτις）——古希腊语，意为实践智慧或狡黠技艺。这是荷马史诗中奥德修斯的核心特质。James C. Scott在《Seeing Like a State》中借用这一概念，用来描述一种只能通过长期实践积累、无法明确表达、也无法编码为规则的知识——与可以被编码和形式化的“技术知识”（techne）相对。

Skin in the Game——纳西姆·塔勒布2018年同名著作中的核心概念。当决策者与承担后果的人相互分离时，激励结构必然发生扭曲——这是金融危机、专家失误以及反复发生的技术事故背后的结构性根源。

原文链接：

https://emergence3.substack.com/p/when-code-is-no-longer-understood?r=1vjx08

话题讨论，内容投稿，报告沟通，商务合作等，请联系喵喵 [email protected]。

免责声明：

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景，旨在提升网络安全防护能力，具有明确的技术研究属性。

任何单位或个人未经授权，将本文内容用于攻击、破坏等非法用途的，由此引发的全部法律责任、民事赔偿及连带责任，均由行为人独立承担，本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布，若存在版权侵权或其他异议，请通过邮件联系处理，具体联系方式可点击页面上方的联系我。

本文转载自：安全喵喵站 EMERGENTSIGNALS EMERGENTSIGNALS《18世纪的幽灵与2026年的代码》