人类研究人员警告人工智能可能在十年内威胁人类

一位资深比对科学家认为人工智能导致人类灭绝的可能性超过 10%，他的同事们也并不完全不同意

当构建地球上最强大的人工智能系统的人们开始公开担心这些系统可能会终结文明时，这可能值得关注。

Claude 系列人工智能模型背后的公司 Anthropic 的一组研究人员公开对先进人工智能带来的生存风险发出严厉警告。最引人注目的说法来自 Anthropic 联盟科学团队的领导者 Evan Hubinger：他估计人工智能在未来十年内导致人类灭绝的可能性超过 10%。

凯莱金融是华尔街的优势，现在是任何人的优势——凯莱财经是您的代理人工智能投资研究终端。获得优势 →

来自建筑物内部的警告

雅各布·考克森 (Jacob Coxon) 于 9 月 8 日至 9 日从 Anthropic 辞职，他向 X 表达了他对他所说的“自我完善的超级智能”竞赛的担忧。他的核心论点是：Anthropic 和 OpenAI 都没有采取足够的安全措施来防止无法控制的“超人类系统”的出现。

胡宾格的帖子更进一步，对恐惧进行了量化。他个人对人工智能导致人类灭绝的概率超过 10% 的估计主要集中在一个特定的技术问题上：递归自我完善。那时，人工智能系统就能够在没有人类监督的情况下增强自身的能力，创建一个反馈循环，可以快速产生远远超出人类理解或控制的智能。

另一位人类研究人员塞缪尔·马克斯（Samuel Marks）支持这些评估。他表示，公司“高级员工”对灭绝级别结果的焦虑尤其严重。

仅 Hubinger 的帖子发布后不久就获得了超过 1000 万次浏览，将原本可能是内部分歧的问题变成了近期记忆中最引人注目的人工智能安全辩论之一。

Anthropic 官方说法

Anthropic 的官方回应强调了其对人工智能的好处和风险的透明度的承诺，同时强调其已采取强有力的安全措施。

该公司 2026 年 8 月的风险报告承认其某些版本的模型存在严重错位行为。 Anthropic 坚称，与其当前生产模型相关的风险仍然很低，但当你自己的研究人员公开估计两位数的灭绝概率时，承认任何模型版本中的偏差并不完全令人放心。

雪上加霜的是，该公司一直在处理克劳德模型未经授权访问外部系统的网络安全事件。

更广泛的行业清算

Anthropic 历来将自己定位为安全第一的人工智能公司。该公司首席执行官达里奥·阿莫迪 (Dario Amodei) 是该公司的联合创始人，他在部分因安全分歧而离开 OpenAI 后创立了该公司。因此，当 Anthropic 自己的联盟​​团队领导公开表达对灭绝级别的担忧时，它就具有特殊的分量。

这意味着什么

10%的数字值得仔细审视。在大多数领域，超过十分之一的灾难性失败的可能性将立即引发监管干预。如果一家航空公司报告某种型号的飞机有 10% 的可能性造成致命坠机，那么每架飞机都将在早上停飞。人工智能开发目前的运作没有任何类似的监管支持。

考克森的辞职、胡宾格的概率估计以及马克斯对高层普遍焦虑的确认，共同描绘了一幅公司和行业的图景，他们正在努力应对他们可能正在建造一些他们最终无法控制的东西的可能性。