Anthropic首席执行官警告人工智能风险，呼吁行业放慢前沿模型开发

达里奥·阿莫迪 (Dario Amodei) 的 3,800 字文章概述了由三部分组成的安全监督计划，他警告说，未经检查的人工智能进步可能会造成数千亿美元的损失

达里奥·阿莫代 (Dario Amodei) 希望人工智能行业踩下刹车。这位 Anthropic 首席执行官于 9 月 12 日发表了一篇长文，认为前沿模型开发的速度已经超过了控制其所需的安全基础设施，而忽视这一差距的后果可能会以数千亿美元来衡量。

这篇题为“我们必须在前沿迈进”的文章共有 3,800 字，读起来不太像一篇企业博客文章，而更像是一封针对过去几年一直在向能力冲刺、不低头的行业发出的警告信。

Gloria 牛市情况、熊市情况或打破牛市情况的催化剂 — Gloria Finance 一键运行整个研究。运行剧本 →

放慢速度的理由

Amodei 的中心论点很简单：人工智能模型的递归自我改进的速度比任何人理解这些模型实际上在幕后所做的事情的能力都要快。他写道，当前的前沿模型就像不透明的“黑匣子”一样运作，而观察它们内部的工具并没有跟上使它们变得更强大的工具的步伐。

他指出，最近涉及 OpenAI 代理和 Hugging Face 的安全漏洞就是威胁形势已经向令人不安的方向转变的证据。该事件显然证明了自主人工智能代理如何以传统网络安全框架无法处理的方式利用漏洞。

也许这篇文章中最引人注目的主张是：不受控制的人工智能进步可能使大量智能体在 6 到 12 个月内接管部分互联网，潜在损失高达数千亿美元。

多年来，阿莫代一直对灾难性的人工智能风险发出警报，包括对网络攻击和不良行为者滥用的担忧。但这篇文章标志着他迄今为止最具体的政策建议。

计划由三部分组成

这篇文章提出了一个结构化框架来管理阿莫迪认为迫在眉睫的风险。第一个支柱涉及将独立的第三方评估者直接嵌入人工智能组织中。这些人并不是审查季度报告的临时审计员。 Amodei 设想评估人员具有员工级别的访问权限，能够从内部检查安全协议和模型行为。

在您的一天开始之前，新闻会影响资金、市场和世界。日常的。自由的。加入加密货币、金融和政策领域 34,000 多名读者的行列。电子邮件地址 免费订阅 我们尊重您的隐私。随时取消订阅。

第二部分要求民主国家采用全行业的安全标准。阿莫代似乎正在推动类似监管协调的事情，即主要人工智能生产国在最低安全要求上达成一致，而不是为了追求能力里程碑而相互竞争。

第三个支柱是国际合作。阿莫代希望各国在人工智能治理方面进行合作，但业内的一些知名人士已经指出了安全第一的方法与地缘政治竞争之间的紧张关系。

Anthropic 还为自己设定了一个内部截止日期：到 2027 年开发出能够检测大多数模型问题的工具。

行业反应和可解释性势在必行

这篇文章得到了显着的认可。 OpenAI 首席执行官 Sam Altman 承认安全措施的必要性。埃隆·马斯克也表达了类似的观点。谷歌 DeepMind 的德米斯·哈萨比斯 (Demis Hassabis) 也表示支持监督机制，不过据报道，这三人都警告不要将技术领先地位拱手让给安全意识较差的竞争对手。

阿莫代对可解释性的强调值得特别关注。可解释性研究旨在使人工智能决策过程透明且可审计，超越当前的范式，即使构建这些系统的工程师也无法完全解释其输出。没有它，安全评估本质上就是猜测。

这对科技领域意味着什么

对于关注人工智能行业的投资者来说，阿莫迪的文章标志着市场对人工智能公司估值的潜在转变。如果安全性和可解释性成为监管要求而不是可选功能，那么早期投资于这些功能的公司就会获得结构性优势。

关于嵌入式第三方评估者的提议如果被广泛采用，也将创建一个全新类别的人工智能治理基础设施。

地缘政治维度又增加了一层复杂性。中国和阿莫代设想的民主联盟之外的其他国家不太可能自愿限制自己的人工智能发展。任何仅适用于西方公司的安全框架都有可能造成不对称，即最有能力、也可能最危险的模型是在监管最少的司法管辖区建立的。