随着灭绝风险争论升温，前人类研究人员呼吁强制人工智能终止开关
核心要点
- 他特别担心的是：终止开关可以很好地应对当今的人工智能模型，但未来以分布式、集群式方式运行的自主系统可能会简单地绕过任何集中式关闭命令。
- 随后，国会于 2026 年 7 月提出了两党共同参与的《人工智能终止开关法案》。
- 人工智能政策研究所 2026 年 6 月的一项调查发现，86% 的美国选民支持保证关闭
辞职、两党法案和 86% 的公众授权都表明人工智能安全对话已经远远超越了理论
雅各布·考克森 (Jacob Coxon) 于 2026 年 9 月 9 日从 Anthropic 辞职。四天后，他在 NBC 新闻中告诉全国，目前先进人工智能系统中内置的开关可能已经过时。
他特别担心的是：终止开关可以很好地应对当今的人工智能模型，但未来以分布式、集群式方式运行的自主系统可能会简单地绕过任何集中式关闭命令。
格洛丽亚 一只你不拥有的股票刚刚移动——而两只你确实依赖它。凯莱财经看到了其他人所忽视的联系。查看连接 →
开发这项技术的人也发出了警报
Anthropic 的联盟负责人 Evan Hubinger 公开估计，人工智能在未来十年内导致人类灭绝的可能性超过 10%。 Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 于 2026 年 9 月 12 日加入了对话，发表了一篇文章，支持放慢人工智能能力开发的步伐，并呼吁对前沿系统进行独立的安全评估。
监管者和立法者不再只是袖手旁观
2026 年 6 月，美国商务部命令 Anthropic 暂停其两款更先进的游戏《神话 5》和《神鬼寓言 5》的外国访问，引发了全球范围内的关闭行动。随后，国会于 2026 年 7 月提出了两党共同参与的《人工智能终止开关法案》。该法案将对前沿人工智能开发实施正式控制，使当局能够限制或完全关闭超过某些风险阈值的系统。
人工智能、科技及其所推动的市场——每日简报。日常的。自由的。加入加密货币、金融和政策领域 34,000 多名读者的行列。电子邮件地址 免费订阅 我们尊重您的隐私。随时取消订阅。
人工智能政策研究所 2026 年 6 月的一项调查发现，86% 的美国选民支持保证关闭最强大的人工智能系统。
考克森在《与媒体会面》中的核心论点直接切入了这个问题。终止开关的作用取决于其到达系统每个实例的能力。当前的人工智能模型是集中托管的，因此关闭相对简单。但从理论上讲，下一代自主代理可以在分布式基础设施中生成自身的副本，从而使任何单点控制变得毫无意义。