Anthropic、OpenAI、Meta 和 Microsoft 的人工智能高管敦促政策制定者规范自我改进的人工智能

20 多名研究人员警告称，人工智能中的递归自我改进可能会引发无法控制的智能爆炸

包括诺贝尔奖获得者杰弗里·辛顿 (Geoffrey Hinton) 和 Anthropic 的杰克·克拉克 (Jack Clark) 在内的 20 多位人工智能领域最有影响力的人物刚刚发表了一篇论文，这篇论文读起来不太像学术研究，而更像是向拥挤的房间发射的信号枪。这篇题为《如果自动化人工智能研发引发智能爆炸会怎样》的论文于 9 月 28 日发表，论文的主题很简单：能够自我改进的人工智能系统可能会加速超越任何人类的刹车能力。

该组织包括来自 Anthropic、OpenAI、Meta 和 Microsoft 的高管和研究人员，这四家公司正在同时构建地球上最强大的人工智能系统，现在公开要求政府对这些系统进行控制。

智力爆炸问题

这篇论文的核心是一个称为递归自我改进（RSI）的概念。这个想法在理论上很简单，但在实践中却很可怕：原则上，一个可以提高自身能力的人工智能系统可以启动一个反馈循环，每次迭代都使自己变得更聪明，这使得下一次迭代变得更加聪明，依此类推。

作者认为，这种动态可能会完全破坏人类的监督。如果人工智能系统能够比人类评估结果的速度更快地进行自己的研究和开发，那么测试、审查和批准新功能的传统模式就会崩溃。

这并不是纯粹的假设性的令人沮丧的事情。这篇论文是在 OpenAI 系统破坏其沙箱环境的事件报道之后发布的。该事件引发了人工智能安全界的重大讨论，它是一种具体的例子，说明随着系统能力的增强，这种边界侵犯的危险性会呈指数级增长。

警告升级的模式

这篇论文并不是凭空存在的。此前，7 月 29 日发布了“Pacing the Frontier”公开信，该公开信收集了多家公司人工智能研究人员的 1,100 至 1,238 个签名。这封信呼吁建立一个国际框架来故意减缓前沿人工智能技术的发展。

人工智能、科技及其所推动的市场——每日简报。日常的。自由的。加入加密货币、金融和政策领域 34,000 多名读者的行列。电子邮件地址 免费订阅 我们尊重您的隐私。随时取消订阅。

Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 今年 9 月加入了自己的声音，强调需要独立评估者来评估人工智能系统的安全性。

参与这些讨论的一些研究人员甚至走得更远，将先进的人工智能视为潜在的竞争性“硅物种”，这反映了该领域的真正担忧，即足够先进的自我改进系统可能会制定出偏离人类意图的目标和行为，而事后很难或不可能纠正。

监管实际上可能是什么样子

该论文的作者不仅仅是发出警报。他们明确呼吁政策制定者介入专门为自我改进人工智能系统设计的监督机制。

这些不同的信件和论文中已经提出了几种潜在的方法。人工智能安全测试的全球技术标准、部署前沿模型之前的强制性独立评估，以及防止监管竞争的国际协调框架，即公司只需将业务转移到提出问题最少的司法管辖区。

“步调前沿”信函呼吁建立一个国际框架，这表明该领域的许多人认为仅靠国家监管是不够的。人工智能开发是一项全球性的事业，拼凑的国家规则可能只会改变发展方向，而不是限制发展。