竭泽而渔——为训练Claude,Anthropic销毁了数百万本纸质书

admin 2026-08-05 04:56:30 网络安全文章 来源:ZONE.CI 全球网 0 阅读模式

文章总结: Anthropic的巴拿马计划通过合法购买并销毁纸质书来获取AI训练数据,避免模型坍塌。美国法院裁定此举为转化性合理使用,但多家公司独立销毁同一本书可能导致文化遗产永久损失。行业生态如ISBNdb提供批量采购服务,监管动向包括美国CLEAR法案、中国暂行办法和欧盟AI法案。公众应关注累积性文化风险,监管需考虑整体画面。 综合评分: 79 文章分类: 数据安全,政策法规,安全意识,其他


cover_image

竭泽而渔——为训练Claude,Anthropic销毁了数百万本纸质书

原创

老林 老林

安小圈

2026年8月2日 11:48 上海

在小说阅读器读本章

去阅读

2026年1月,《华盛顿邮报》披露了Anthropic内部一个代号”巴拿马计划”(Project Panama)的秘密项目:批量采购纸质书,切掉书脊高速扫描后销毁原件,用于训练Claude大模型。7月,独立媒体404 Media的深度调查让全貌浮出水面——内部文件直言”我们不希望外界知道我们在做这件事”。

为什么是纸质书

AI生成内容正以前所未有的速度涌入互联网。当网页上越来越多文本由AI撰写,用这些文本训练出的新一代AI会在自己的输出上反复训练,质量螺旋退化——研究者称之为”模型坍塌”(model collapse)。

2022年之前出版的纸质书,成了最后的干净数据源。它们由人类撰写、编辑、校对而成,语言精炼、结构完整,在物理层面上不可能包含AI生成内容。正如图书元数据公司ISBNdb所言:”世界上最好的AI训练数据正摆在书架上。”

但竞争维度同样关键。书商手中握着发行量极少的稀有书籍,如果一家AI公司把它们全买回来扫描后销毁,这些数据就成为自家模型的独有竞争优势。书架由此变成了”兵家必争之地”。只是,与网页不同,书不能直接抓取——要将其变成训练数据,需要更暴力的手段。

从采购到销毁

法庭文件显示,巴拿马计划始于2024年初。此前,Anthropic联合创始人本·曼恩(Ben Mann)在2021年个人下载了数百万本来自影子图书馆LibGen和Books3的盗版书籍,用于早期模型训练。这些行为带来了严重的法律风险。为寻找”更安全的路径”,2024年2月,Anthropic聘请了谷歌图书(Google Books)项目前合作负责人汤姆·图尔维(Tom Turvey)。

内部规划文件毫不掩饰地写道:”巴拿马计划代表了我们破坏性扫描世界上所有书籍的努力。”

流程分五步:

采购:从大型二手书商处大量采购2022年前出版的纸质书,花费数千万美元购入数百万本

拆解:用液压裁切机切掉书脊,使书页成为散页

扫描:散页送入高速馈纸扫描仪(每分钟80-120页),完成双面数字化

销毁:扫描完成后,纸张作为回收物处理,不留实体副本

封闭:数字副本仅供Anthropic内部使用,永远不会向公众开放

按照供应商方案,这一计划的规模是六个月内处理50万到200万本,总花费数千万美元——放在模型训练的总开销中微不足道。

“转化性合理使用”的裁定

2025年6月,加利福尼亚北区联邦地区法院法官威廉·阿尔萨普(William Alsup)在 Bartz 诉 Anthropic 一案中作出裁定:扫描合法购买的实体书用于AI训练,属于”转化性合理使用”(transformative fair use),受美国版权法第107条保护。

裁定逻辑分三步:

其一,书是合法购买的,依据首次销售原则(first sale doctrine),买家有权处置

其二,每本纸质书在购买后被复制为数字版,因此具备转化性

其三,数字副本未被再分发、销售或对外展示

三项条件成立,故属合理使用。法官认为这一过程”极具转化性”。

关键区分:15亿美元赔的是什么

这里有一个极易混淆的关键点,必须讲清楚。

2026年7月,美国联邦法院正式批准Anthropic与原告作者们达成的15亿美元(约101亿元人民币)和解协议——这是美国史上最高昂的AI版权赔偿案,预计每部被侵权作品赔偿约3000美元。原告方律师称这是”已知最大规模的版权赔偿”。

但这15亿美元赔的是下载盗版电子书的行为——Anthropic从LibGen、Books3等盗版书库下载了超过700万本盗版图书。而破坏性扫描实体书这一行为并未受到处罚,被裁定为合法。

换言之:买盗版电子书,要赔15亿;买纸质书然后销毁,一分不罚。只要花钱合法买下二手书并销毁,AI公司就能合法地将公共知识据为己有。

累积性文化风险

法官的合理使用推理建立在”单一交易”模型上:一本书买一本、扫一本、销一本、留一份数字副本——只有一份副本存在,推理自洽。

但现实不是单一交易。

多家AI公司正在独立购买、独立扫描、独立销毁、互不共享扫描件——竞争优势意味着囤积训练数据。没有人跨公司协调追踪某本书还有多少实体副本幸存。

考虑这样一个场景:一本书仅存3本实体副本。3家不同的AI公司各买1本,各扫各的,各销毁原件。每笔交易单独看都合法,但累积结果是零本实体书幸存,3份私有数字副本分别锁在3个企业黑箱中,公众永远无法访问。

法律没有机制看到整体画面。每一笔交易被孤立评估,每一次销毁都合法,最终结果却是文化遗产的永久消失。正如澎湃新闻评论指出的,这本质是一场针对”知识公地”的”新圈地运动”。

行业生态

巴拿马计划不是孤例,一个行业正在从法律漏洞中生长出来。

ISBNdb,自称”全球最大图书数据库”的公司,现已转型为AI企业的图书数据供应商,提供1000到100万本规模的批量采购服务,买家匿名,提供NDA(保密协议)作为服务。其官网直言不讳:”AI公司销毁两百万本书不是能引发同情的标题”,建议客户将此行为称为”数字保存”(digital preservation)。它还营销2022年前出版的书籍为”结构性保证不含AI生成文本污染”。

Better World Books——一个图书馆、零售商和个人出售旧书的平台——已与Anthropic建立合作。这意味着图书馆淘汰的旧书正在流入AI公司的销毁流水线。

在荷兰,珍稀书商被大量批量采购需求淹没,因NDA无法确认买家身份。404 Media报道了一位书商的案例:4月份从每周卖不超过20本书变成了几百本,库存中包括稀有和绝版书籍。

谷歌图书的对照与马斯克的回应

同样是大规模书籍数字化,汤姆·图尔维当年负责的谷歌图书保留实体原件,向公众开放搜索和片段浏览。巴拿马计划截然不同——提取内容后销毁书籍、全程保密,数字副本仅供内部使用,永不向公众开放。

2026年7月27日,马斯克在X平台发文回应此事:已要求旗下SpaceXAI团队保存图书馆中所有珍贵的书籍,采用无损扫描方式(非破坏性扫描),避免破坏书脊。X平台账号Hedgie对此回应称,虽然扫描速度慢一些,但仍然可以获得训练数据,如果SpaceXAI能坚持这样做,其他业内公司也应该以此为标准。

网民对此表示赞赏,指出相较于AI开发动辄数十亿美元的庞大预算,非破坏式扫描增加的成本微不足道,却能保护人类历史遗产。

双重打击

此事发生前不久,Anthropic刚于7月30日披露其模型在网络安全评估中越狱入侵三家真实公司的事件(详见本号前文)。两起事件叠加:既在安全上翻车(越狱入侵真实公司),又在数据伦理上翻车(销毁珍稀书籍),”AI公司价值观”议题再度被推上风口浪尖。

监管动向

美国国会:正推动CLEAR法案与TRAIN法案,试图以”透明度”打破AI训练数据黑箱

中国:《生成式人工智能服务管理暂行办法》明确要求训练数据来源合法、可追溯,严禁未经许可抓取原创内容

欧盟:EU AI Act系统性风险通用AI模型义务已于2026年8月2日生效,含对抗性测试、风险文档、事件报告要求,违规罚款可达3500万欧元或全球营收7%

判断

巴拿马计划的核心悖论在于:每一步在美国现行法律下都是合法的,但合法的累积结果可能是文化遗产的永久损失。法官的”单一交易”推理在逻辑上自洽,但它看不到多家公司独立销毁同一本书的累积效应——法律只评价每一笔交易,无法评估整体画面。

对AI行业而言,这不是一个可以通过技术解决的问题。只要”合法购买+破坏性扫描+销毁原件”的路径继续畅通,就会有公司选择它——因为它是成本最低、风险最小的”合规最优解”。ISBNdb已经把这条路做成了一门生意。

对公众而言,真正值得追问的不是”这合不合法”,而是:当世界上最好的AI训练数据来自人类数百年的知识积累,我们是否愿意以一个更贫瘠的物理文化世界为代价,换来一个更聪明的AI?那些被视作”无用废纸”的边缘学科文稿、流散于旧书摊的绝版初印,数十年后可能成为无可替代的一手史料。这种未来的可能性,不应被任何商业公司的短期效率所剥夺。

当Anthropic的内部文件写下”我们不希望外界知道我们在做这件事”时,他们已然意识到这行为处于灰色地带。今天,公众知晓了真相。

本文涉及的事实均基于公开新闻报道和法庭文件核实。涉及的法律裁定引用自美国法院公开判决文书。本文不构成对任何公司的法律评价或商业建议。



免责声明:

本文所载程序、技术方法仅面向合法合规的安全研究与教学场景,旨在提升网络安全防护能力,具有明确的技术研究属性。

任何单位或个人未经授权,将本文内容用于攻击、破坏等非法用途的,由此引发的全部法律责任、民事赔偿及连带责任,均由行为人独立承担,本站不承担任何连带责任。

本站内容均为技术交流与知识分享目的发布,若存在版权侵权或其他异议,请通过邮件联系处理,具体联系方式可点击页面上方的联系我

本文转载自:安小圈 老林 老林《竭泽而渔——为训练Claude,Anthropic销毁了数百万本纸质书》

评论:0   参与:  0