一个27岁的AI研究员从Anthropic辞职了,因为他担心AI会导致人类灭绝
核心要点
- Tim Urban问: 如果AI有一天开始帮助人类研究更强的AI,会怎么样?
- 所以如果人类上面,还有一个比我们高一两个认知台阶的东西,那可能已经很难理解了。
- 一个足够高阶的超级智能看我们。

从OpenAI和Anthropic辞职的前AI研究员Jacob Coxon警告,目前顶尖AI公司正竞相开发能自我改进的超级智能,这可能在本十年内导致人类灭绝,概率超过10%。文章引用2015年Tim Urban的经典文章《人工智能革命》,指出AI发展已从理论走向现实——GPT-6 Astra能操作陌生软件,OpenAI模型推翻数学猜想,Claude自动验证费马大定理——正沿着一条通向超级智能的指数级曲线加速。作者认为,这场人类最大的赌局只有两个结局:物种永生或加速灭绝。
昨天呢,我在X上看到了一条流量已经过了1亿的帖子。
讲道理,我在X上已经很久很久没有见过这种流量的帖子了。
发帖的人叫Jacob Coxon。
刚刚从Anthropic辞职。
他说,过去三年,他先后在OpenAI和Anthropic做大模型预训练。
然后现在,他不干了。
原因也非常离谱。
因为,他觉得OpenAI和Anthropic正在朝着能够自我改进的超级智能一路狂奔。
并且,拿着所有人的生命下赌注。
他甚至说,真正参与制造这些前沿AI的人里面,有不少人私下里真的相信:
如果事情最后失控,人类可能在这个十年结束之前灭绝。
我第一反应其实是:
这哥们谁啊?不会又是哪个营销号吧。。。
然后就验证了一下,发现人确实是真的。
这哥们今年27岁,英国人,数学出身。
2016年和2017年,他连续进入英国国际数学奥林匹克竞赛队伍,后来进入剑桥大学Trinity College学数学。
2021年,他参与过一篇发表在eLife上的医学统计论文,用贝叶斯方法研究结核性脑膜炎患者的基因型和生存率之间的关系。
2023年左右,加入OpenAI,GPT-4o的官方贡献者名单里,就有Jacob Coxon。
到了GPT-4.5,OpenAI更是直接把他列为了核心贡献者。
然后就是今年。
他从OpenAI去了Anthropic,工作依然做最核心的预训练。
但是没干多久,感觉是在不太行了,没办法违背自己的意志,就把工作辞了,然后在X上发了这些警示。
甚至《华尔街日报》还报道他说,以后这哥们甚至想离开AI行业了,再也不干了。
然后这帖子发出来以后,Anthropic的对齐负责人直接站出来支持Jacob了。
他说,小哥是对的,而且10年内发生的概率,大于10%。
还有另外一个Anthropic里面做安全研究的,也站出来以“个人身份”支持Jacob。
而且按照他的观察:
在AI公司里面,职位越高的人,往往反而越担心这个问题。
甚至刚刚离开Anthropic、之前负责可扩展监督的Joe Benton,也说Jacob对整个行业现状的描述,确实是准确的。
当然,这些依然只是他们对于未来风险的判断。
没人知道10%到底对不对。
不过我在看完他们发的内容,还有看完了很多评论以后,突然感觉到了一种荒诞感。
这个荒诞感源于我在11年前看过的一篇文章。
然后直到今天,都印象极其极其深刻,甚至这篇文章,我最近每年还会再去读一遍,常读常新。
这就是2015年1月Tim Urban写的一个长的丧心病狂的文章:
《The AI Revolution》,翻译过来,就是《人工智能革命》。
它分为上下两章,第一章叫:
通往超级智能之路。
第二章叫:
