顶尖人工智能研究人员呼吁对自动化模型开发进行监督
核心要点
- 来自 OpenAI、Anthropic、Google DeepMind 等公司的 1,100 多名研究人员敦促政府在递归自我改进超过人类控制之前放慢人工智能的进展 超过 1,100 名人工智能研究人员,包括来自 OpenAI、Anthropic、Google DeepMind、Meta 和 NVID

来自 OpenAI、Anthropic、Google DeepMind 等公司的 1,100 多名研究人员敦促政府在递归自我改进超过人类控制之前放慢人工智能的进展
超过 1,100 名人工智能研究人员,包括来自 OpenAI、Anthropic、Google DeepMind、Meta 和 NVIDIA 的首席科学家,签署了一封公开信,要求美国政府建立可能故意减缓或暂停人工智能发展的国际机制。这封题为“为前沿步伐”的信反映了构建这些系统的人们日益达成的共识,即这些系统可能很快就会自行构建。
核心担忧是递归的自我改进:人工智能模型为自己的研究和开发做出贡献,其方式可能会加速超出人类有意义监督的能力。
恐慌背后的数字
Anthropic透露,其旗舰车型Claude目前约占公司研发工作的26%。就在几个月前,这个数字还不到 1%。
学术界也注意到了。对 2026 年 7 月至 9 月期间发表的 arXiv 论文进行的调查发现,有超过 1,250 篇论文专注于人工智能系统的自我改进。
AI 评估者论坛于 2026 年 9 月组织了另一项活动,聚集了 100 多名专家,他们签署了一封信,提倡在每个前沿 AI 实验室中嵌入独立评估者。
人工智能、科技及其所推动的市场——每日简报。日常的。自由的。加入加密货币、金融和政策领域 34,000 多名读者的行列。电子邮件地址 免费订阅 我们尊重您的隐私。随时取消订阅。
研究人员真正想要什么
这封“为前沿步伐”的信并不要求永久停止人工智能的开发。要求更加谨慎:在技术超出其界限之前,给社会足够的时间建立有效的治理结构。
人工智能评估者论坛的信函呼吁第三方评估者具有真正的独立性和访问权。包括 Anthropic 和 OpenAI 在内的一些公司已经承诺接触外部评估人员,但信中认为这些承诺需要机构支持,而不仅仅是自愿善意。
英国人工智能安全研究所于 2026 年早些时候发布的一份报告警告说,如果不主动干预,现有的监督基础将会受到削弱,并认为建立有效治理的窗口正在关闭,而不是打开。
为什么时机很重要
递归的自我完善给监管机构带来了一种特殊的问题。传统的技术监督假设人类正在做出关键的发展决策,并且进展的速度可以让政策能够跟上。如果人工智能系统开始有意义地加速自身能力,那么这两个假设就会同时失效。
