Anthropic, the Pentagon, and the Future of Autonomous Weapons - 主题精读稿

前言：当 AI 公司与五角大楼闹翻，自主武器的未来走向何方

这期 Odd Lots 播客在美伊战争爆发的节点上，邀请了曾主导五角大楼自主武器政策制定的 Paul Scharre，深入讨论了 AI 在战争中的角色、Anthropic 与国防部之争的本质、以及自主武器走向失控的风险。核心矛盾不在于军方是否要造"终结者"——目前没有人想这么做——而在于一个更根本的问题：当商业科技公司掌握了改变战争形态的技术，谁有权决定这项技术能被用来做什么？ 从闪崩类比到 Stanislav Petrov 的"直觉"，从巡飞弹的简史到道德责任的稀释，这场对话揭示了一个正在加速逼近的未来：人类可能在不知不觉中被推出决策回路。

一、AI 与战争中的自主性：定义之争与企业责任 (01:17 - 04:12)

Anthropic 与美国国防部的公开决裂，发生在美伊战争爆发前几天。这场争论的焦点并不是 AI 能否用于战争——Anthropic 的技术事实上已经在为美军服务——而是 AI 在多大程度上可以脱离人类控制，自主执行武器系统的决策。

"自主武器"这个概念本身就缺乏统一定义。从完全自主的"终结者"式杀人机器人，到辅助人类做出战略决策的 AI 工具，中间存在一个巨大的灰色地带。美军的导弹防御系统在来袭导弹面前自动拦截，大多数人对此并无异议；但当 AI 开始介入目标选择和打击规划，问题就变得微妙得多。这场争论的核心是"程度"而非"有无"——而恰恰是对这个程度的界定，各方毫无共识。

更深一层的问题是信任。即便国防部声明其政策不允许监控美国公民，Anthropic 显然并不完全相信这一承诺。政府主张：任何合法用途都应被允许，私营公司无权设限。科技公司则坚持自己有责任防止技术被滥用。这不仅是技术问题，更是关于政府权力与企业自主权的根本张力。

二、AI 在现代战争中的角色：目标选择与数据处理 (04:12 - 11:39)

五角大楼当前使用 AI 的方式可以分为两大类。第一类是已经存在十多年的窄域 AI（Narrow AI），主要做图像分类——这正是军方最初的 MAVEN 项目的核心，用机器学习图像分类器筛选无人机视频和卫星图像，识别建筑物、人员、车辆。这是相当成熟的技术。

第二类是近期才浮出水面的重大变化：Anthropic 的 AI 工具正在被美军用于协助对伊战争的作战规划。 这是完全不同类型的 AI 应用——大语言模型（LLM）、AI 编码助手、AI 智能体（Agent），它们被用来帮助情报分析员处理美军掌握的海量数据。

这些 AI 工具的接入方式是通过 Palantir 开发的 Maven 智能系统（Maven Smart System）。这个系统将卫星图像、地理定位数据、信号情报等各种数据源整合在一起。大语言模型的价值在于：它让人类能够与这些海量数据对话。 分析员可以指示 LLM 在卫星图像和其他情报之间寻找交叉点，帮助定位移动目标——比如伊朗的机动导弹发射车。随后，AI 还能将目标位置与美军各基地的可用飞机和弹药进行匹配，辅助生成打击方案。

但这并不是把所有数据塞进一个上下文窗口然后说"AI 你来搞定"。人类分析员仍然在向 AI 提出非常具体的问题，AI 的角色更接近一个极其高效的搜索和交叉比对工具。

三、人类监督的真实性：效率与伦理的平衡 (11:39 - 15:25)

这引出了一个关键问题：在当前的 AI 辅助情报体系中，人类决策者的角色有多"真实"？

If the human is not meaningfully engaged and they're just kind of rubber stamping some kind of decision, then that's not really what we're looking for.

这是 AI 在军事应用中最重要的失败模式之一。表面上看，人类仍然"在回路中"（in the loop），但如果人类只是在走过场式地"盖章"批准 AI 的输出，那就不是真正意义上的人类决策。这一担忧由来已久——远在 LLM 出现之前，关注自主武器的人就已经在警告这种风险。

Paul Scharre 根据他亲眼见过的 MAVEN 系统演示判断，目前人类在这个流程中的参与度是比较高的，分析员确实在审视 AI 的输出并给出相当具体的指导。但美军误炸学校的事件暴露了更深层的问题。那所学校曾是伊朗军事设施的一部分，后来被改建为学校——然而国防情报局的目标数据库从未更新这一信息。

这个案例的核心教训不是"AI 犯了错"，而是"输入 AI 的数据本身就是错的"。 当军事行动涉及数以千计的目标时，每一条情报的审核深度都至关重要。AI 原则上可以帮助改善数据审核，但前提是人类必须有意义地参与其中。

四、从"意外的机器人革命"到 AI 伦理困境 (15:58 - 19:50)

Paul Scharre 在 2011 年前后主导了五角大楼关于武器自主性的政策制定，这项政策至今仍在执行。那时大语言模型尚不存在，但军方已经在伊拉克和阿富汗战争中经历了一场"意外的机器人革命"——部署了数千台空中和地面机器人（空中无人机和地面排弹机器人）。军方开始思考：这些东西未来会走向哪里？更多的自主性显然有价值，但自主到什么程度？法律和伦理的边界在哪里？

AI 与传统军事技术有一个根本性差异：它不是军方发明的，而是从商业领域引进的。 隐形技术诞生于秘密国防实验室，几乎没有民用场景；AI 则恰恰相反，它的商业应用远比军事应用广阔，军方只能从外部"进口"。

这种倒置直接导致了前所未有的摩擦。Google 参与 MAVEN 项目被曝光后，大批员工签署公开信抗议，Google 最终退出了该项目。这与 Anthropic 的情况不完全相同，但反映了同一种深层矛盾：AI 社区的一部分人对自己的技术应如何用于战争的看法，与军方的看法存在显著分歧。

五、政府为何无法自研 AI：人才、资本与规模困境 (19:50 - 22:38)

美国政府每年在国防上花费数千亿美元，为什么不能自己开发 AI？

首先是人才。AI 领域的人才竞争极其激烈，军方根本买不到这些人。其次是资本动员能力。过去几年，私营企业能够调动巨额资本建设数据中心、训练 AI 模型，这很大程度上是因为 AI 的商业应用规模远远大于国防应用。对许多科技公司而言，国防部门实际上是个"小客户"——被公开讨论的 Anthropic 合同金额是 2 亿美元，对这些 AI 公司来说并不算大数目。

这造成了一个悖论：政府连一个好用的医保网站都做不出来（Joe Weisenthal 特意提到了 healthcare.gov 的前车之鉴），指望它开发世界级的 LLM 更是不切实际。这在军事史上是前所未有的局面。洛克希德·马丁不可能发明一项技术然后拒绝让政府使用——因为它存在的全部理由就是为政府制造技术。但当国防技术来自商业公司，一切规则都变了。

六、谁来定规则：Anthropic 与五角大楼之争的本质 (22:38 - 28:22)

这场争论中最令人意外的一点是：关于自主武器，所有当事人都说军方目前无意制造全自主武器。 任何实际使用过大语言模型的人都知道，用它写封邮件都得反复检查——让它做生死攸关的决定，远远谈不上可靠。

Like in no way, shape or form are they reliable enough to make life and death decisions.

真正的争端在于"谁来定规则"。五角大楼 2026 年 1 月发布的新 AI 战略明确要求：未来与 AI 公司的合同应允许军方将 AI 工具用于"任何合法用途"。这与科技公司的立场产生了正面冲突——许多公司出于对 AI 风险的担忧，制定了各种使用限制政策，比如禁止用 AI 发起进攻性网络攻击（而这恰恰是政府可能想做的事情）。

当 Anthropic 退缩后，OpenAI 立刻举手表态愿意接手。这是否意味着一场"安全竞次"（race to the bottom）——最不在乎安全的公司反而能拿到合同？Paul Scharre 认为，对政府而言，最理想的状态是能够使用所有最优秀的模型，因为不同模型各有所长，多供应商竞争也更健康。而且，如果 AI 科学家告诉你"这项技术还不可靠，不要这样用"，你应该听取这个意见。 AI 社区和军方之间的健康对话在这场争端中严重受损，这对双方都是不幸的。

在技术层面，AI 公司有三种方式对模型施加控制：一是训练模型本身拒绝特定请求；二是在输入和/或输出端设置分类器进行审查；三是监控用户使用行为。但如果模型托管在军方自己的云基础设施上，公司可能无法有效执行这些控制措施。合同细节至关重要——因为它决定了公司在多大程度上能确保技术按其原则被使用。

七、AI 发展的加速与自主武器的演进方向 (27:50 - 33:13)

当 AI 只有 OpenAI 一家时，它可以掌控开发节奏。但当赛道变得极度拥挤——OpenAI、Anthropic、Gemini，加上来自中国的大量开源模型——发布速度急剧加快，纯粹出于商业竞争的压力，每一家都在加速。更棘手的是国际维度：美国可能对技术设置安全护栏，但俄罗斯或中国未必在乎。

Paul Scharre 认为当前的趋势确实在将我们推向自主武器的方向，而五角大楼明确希望为未来保留这一选项。自主武器可能以三种形式演进：

第一种是 AI 系统的多模态化和通用化。 最先进的 AI 系统正在整合越来越多的数据类型，能力越来越通用。这可能导致人类被逐渐推出决策回路——AI 不再只是执行狭窄的任务，而是能够整合更多数据、承担更复杂的长期任务。在编码领域，AI 能处理的任务长度正在指数级增长。

第二种是 AI 智能体网络。 多个 AI 智能体分别处理不同数据、执行不同任务，其综合效果可能是人类虽然"名义上"在审视目标，但实际上并未进行有意义的批准。

第三种是具身 AI 与机器人学的结合。 这可能是装载了板载自主能力的无人机或弹药，使用精简模型（distilled model）在边缘端低算力设备上运行，或者是混合系统——部分机器学习、部分手工编码的专家系统——直接在战场上搜索和攻击目标。类似于伊朗发射的低成本无人机，但具备巡飞和自主识别目标的能力。

八、巡飞弹与非预期升级的风险 (33:13 - 36:33)

具备一定自主能力的巡飞弹（loitering munitions）并非全新事物。早在 1980 年代，美国海军就有一种"战斧反舰导弹"（与目前使用的战斧巡航导弹不同），设计用于飞行搜索模式并猎杀苏联军舰。以色列也有 Harpy 无人机，专门针对雷达系统进行巡飞攻击。但这类巡飞弹从未被各国军方大规模使用。

更大的担忧在于：当自主系统与自主系统交互时，会发生什么？

Paul Scharre 用金融市场的"闪崩"（flash crash）作为思考模型。不同的算法在市场中交互，产生了无人预料的涌现行为。金融市场的应对方式是安装"熔断机制"——价格波动过快时自动暂停交易。但战争中没有裁判可以叫暂停。

这一风险在网络空间尤为突出。自主进攻性网络行动需要自主防御来对抗，防御端也需要以机器速度运行。不同自主系统之间的怪异交互可能导致冲突升级——即使在大规模射击战已经开打的情况下，仍然需要担心地理上的升级（将新的国家卷入冲突），或者攻击与核指挥控制相关的敏感设施。

九、AI 与战争伦理：精确打击与道德责任的稀释 (36:33 - 39:10)

AI 在战争伦理中的角色具有两面性。

积极的一面：假设有一个 AI 系统能审视所有目标数据，识别出某次打击是否处于学校、医院或关键民用基础设施的一定距离内，并发出警告——"这次打击需要更高级别的审批"或"应该使用更小、更精确的弹药"。在大量目标需要在短时间内打击的军事行动中，这种 AI 监督可能显著减少平民伤亡。

消极的一面同样严峻：当人类在这个过程中的参与度下降，两种后果都令人不安。 一是人类会犯更多遗漏性错误；二是人类对战争中发生的杀戮感到更少的道德责任感。

On the other hand, if we fought a war and nobody felt morally responsible for the killing that occurred, that doesn't seem good either and that could lead to more suffering and civilian casualties in war.

这里存在一个深刻的道德悖论：一方面，参战军人因战争经历而患上 PTSD，似乎是可以减轻的痛苦；另一方面，如果打了一场仗而没有人为其中发生的杀戮承担道德重量，那将可能导致更多的暴行和平民伤亡。Tracy Alloway 将此与科幻小说《安德的游戏》（Ender's Game）相类比——主角以为自己在玩模拟游戏，实际上却在毁灭真实文明。国防部对这场冲突的公开展示方式，确实带有"电子游戏"的质感。

十、战争中的"熔断机制"：合作的可能与安全竞次的困境 (39:10 - 40:37)

在战术层面设计类似金融市场熔断机制的保护措施，在技术上是可行的——可以在己方军事系统中设置安全阈值，甚至与敌方进行某种程度的合作。但最大的挑战是如何避免安全竞次。

这种竞次在商业 AI 领域已经在发生——各公司争先恐后地推出产品。在军事领域，这个问题更加棘手：各国投资军事力量恰恰是因为担心对手可能做什么，都想抢占先机。在冲突中实现合作并非不可能——各国确实曾同意将某些武器排除在外，化学和生物武器就是例子。但这类案例极为罕见，达成共识极其困难。核心困境始终是：如何找到与敌人合作的方式，来规避最大的危险？

十一、未来战争形态：人类士兵 vs. 自主机器人 (40:37 - 43:38)

战争中技术的长弧线始终指向一个方向：敌对双方之间的距离越来越远。 从第一个人捡起石头扔向另一个人开始，到弓箭、步枪、洲际弹道导弹，机器人将是这一趋势的下一步演进——在不让自己身处险境的情况下发现和打击敌人。

但"未来战争只是机器人打机器人、没有人类参与"的愿景并不现实，原因有三。

第一，军队仍然需要人员前沿部署来执行对机器人系统的指挥控制。美军目前可以从本土远程操控无人机，但那是在相对无对抗的环境中。面对更复杂的对手，通信链路可能被干扰——乌克兰前线就在大规模使用电子干扰。此时需要人员就近部署，因为短距离的加密通信更容易实现。

第二，控制领土需要人类的物理存在。你最终必须让人走出车辆、实际占领和管理区域。

第三个原因更为黑暗：为了让战争结束，必须有人类付出代价。 如果只是机器在被摧毁，交战双方可能永远无法达到愿意求和的地步。这是一个令人不安的现实——战争可能在很长时间内都需要涉及人类及其代价。

十二、直觉、语境与人类决策的不可替代性 (43:38 - 49:05)

1983 年，苏联军官 Stanislav Petrov 坐在值班终端前，预警系统报告有五枚美国弹道导弹正在飞来。他选择不按下按钮。事后他说自己有一种"肠道里的奇怪感觉"。他知道苏联刚部署了一套新的卫星预警系统，而他也清楚苏联的新技术在初期往往不太可靠。他随后联系了早期预警雷达站——没有探测到任何来袭导弹。结果证实系统确实故障了：它把阳光在云层顶部的反射误识别为导弹发射。

如果换成 AI 来做这个决定，它会怎么做？ 答案是：它会按照被编程或训练的方式执行。当今更通用的 AI 系统确实能整合更多信息、理解更好的上下文。但它仍然不知道一场冲突的利害关系有多大，不知道后果在"内脏层面"意味着什么。

Even as the AI becomes more capable, there are still going to be things that we want humans to do because humans understand why it matters.

Joe Weisenthal 进一步引申：即便是看似最没有争议的场景——反导系统自动拦截来袭导弹——也可能出错。那可能不是导弹，而是一架民航客机。在任何这样的场景中，你都需要人类的安全保障、监督和对系统的理解。

这引出了一个关于人类认知本身的深刻洞察：我们知道的远比我们能表达的多。 这对 AI 同样成立——模型做出判断，不一定能用语言完整解释推理过程。但人类也是如此。我们仍然能相当准确地分辨 AI 生成的文本和人类写的文本，但如果被要求写下我们到底看出了什么差异，往往说不清楚。当生死攸关的决策被讨论时，将这种无法被编码的直觉从决策回路中移除，是一件令人不寒而栗的事。