前 Ripple 工程师预测人工智能可能会消灭人类

Ripple 前工程师、现任人类学研究员 Evan Hubinger 估计，人工智能 (AI) 在未来十年内消灭人类的可能性超过 10%。

胡宾格在回应前人类研究员雅各布·考克森时发表了上述评论。后者于周三宣布从这家人工智能公司辞职，此前他指责业界领先的实验室在没有充分保障的情况下竞相追求自我完善的超级智能。

“雅各布在这里是正确的——我们确实真诚地相信人工智能可以杀死所有人类！” Hubinger 在 X 上写道：“我个人认为未来十年内这一比例将超过 10%。”

胡宾格强调，他的估计并不是指责 Anthropic 完全忽视了这个问题。

“我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐问题的计划，而且也没有明确的进展，”他说。

这个有点耸人听闻的警告引起了很多关注，因为胡宾格直接致力于解决他所警告的问题。在 Anthropic，他的工作是一致性压力测试，这意味着他目前正在监控人工智能领域的安全技术可能会失败。

“拿我们的生命来赌博”

Coxon 表示 OpenAI 和 Anthropic 的行为都不负责任。

“两家公司的行为都不负责任，”他写道。 “他们正在与自我完善的超级智能赛跑，并用我们的生命进行赌博。”

考克森表示，前沿系统可能很快就会获得在受控环境之外施加有意义影响的能力。

“这些很快就会成为超人系统，可以破解任何东西，在一夜之间彻底改变任何领域，并获得真正的力量和资源，”他说。

考克森表示，主要实验室没有向公众正确披露与人工智能相关的风险。

尽管如此，考克森表示，他仍然乐观地认为主要人工智能实验室可以协调一致以减缓竞争。

就在 OpenAI 和 Anthropic 发布一些最强大的模型几天后，Hubinger 和 Coxon 发出了警告。

OpenAI 于 9 月 3 日推出了 GPT-6 Astra，Nvidia 首席执行官 Jensen Huang 将其描述为超级智能的到来。

与此同时，Anthropic推出了克劳德寓言5.1和克劳德神话5.1。这些是该公司最先进的编码和科学研究模型。

瑞波币和跨账本

在成为从事 AI 对齐工作的知名研究人员之一之前，他于 2014 年 6 月至 2015 年 8 月期间在 Ripple 担任了大约一年的软件工程实习生。

Hubinger 参与了 Interledger 的早期设计，该协议旨在允许支付在不同的账本和货币之间转移。

胡宾格后来转向理论计算机科学和人工智能安全，包括在机器智能研究所工作。

Ripple 对人工智能的立场

据《今日美国》报道，Ripple 首席执行官布拉德·加林豪斯 (Brad Garlinghouse) 表示，该公司一直在“积极”采用人工智能，并预测人工智能可以促进增长。加林豪斯承认，他对人工智能的乐观态度在某种程度上是逆向的。

加林豪斯在 SALT 怀俄明州会议上露面时表示：“我对其中一些观点持相反的观点。”