Elon Musk 暗示将推出 3 万亿参数的 Grok 模型,并承诺显着提高性能
核心要点
- xAI 的快速模型发布正在将参数计数推向一年前看似荒谬的领域 埃隆·马斯克 (Elon Musk) 9 月 14 日宣布,拥有 2.5 万亿参数的人工智能模型 Grok 4.8 将于本周结束初始训练,进入强化学习阶段。
- 这次更新是在 xAI 发布 Grok 4.6 一个月后发布的,该版本携带 1.5

xAI 的快速模型发布正在将参数计数推向一年前看似荒谬的领域
埃隆·马斯克 (Elon Musk) 9 月 14 日宣布,拥有 2.5 万亿参数的人工智能模型 Grok 4.8 将于本周结束初始训练,进入强化学习阶段。这次更新是在 xAI 发布 Grok 4.6 一个月后发布的,该版本携带 1.5 万亿个参数,这表明该公司的快速发布节奏不会很快放缓。
有趣的不仅仅是 2.5 万亿这个数字。马斯克此前曾表示,Grok 3 和 Grok 4 模型是建立在 3 万亿参数架构之上的,并且由于规模、数据质量和架构设计方面的改进,后续的每个版本都“显着更好”。
Gloria Stocks 在一个应用程序中,加密货币在另一个应用程序中,钱包无处不在?凯莱金融将您的整个投资组合一目了然。一起看看→
从1.5T到10T的缩放阶梯
要了解 xAI 的发展速度有多快,请考虑一下时间表。 Grok 4.6 于 8 月 12 日发布,带有 1.5 万亿个参数。下一个版本 Grok 4.7 原本应该包含大约 2.1 万亿个参数,但出现了延迟。现在,Grok 4.8 正在完成 2.5 万亿的训练,在参数数量和表面准备度方面都超越了陷入困境的 4.7 版本。
这种迭代速度需要强大的计算能力。 xAI 一直依赖 Colossus 2,它的超级集群被称为世界上第一个千兆瓦级训练集群。
xAI 并没有止步于 3 万亿。据报道,该公司同时训练多个基础模型,其变化可能达到 10 万亿个参数。
专有的训练数据管道增加了另一个维度。 xAI 一直从 SpaceX 运营和 Cursor 工程工作流程中提取数据,使其模型能够获得竞争对手无法轻易复制的专业技术知识。
“显着更好”的实际含义是什么
马斯克声称每个新的 Grok 版本都“显着更好”,这取决于他公开确定的三个支柱:规模、数据质量和架构设计。从参数计数来看,比例部分很明显。数据质量的提高可能来自 xAI 扩大对专有数据集的访问。从外部很难评估架构的变化,但 xAI 正在发布不同参数数量的模型,而不仅仅是线性扩展,这一事实表明版本之间进行了有意义的结构实验。
Grok 4.8 现在进入的强化学习阶段是模型通常看到最显着的行为改进的阶段。在这个阶段,原始的、预先训练的模型通过反馈循环得到完善,学习更精确地遵循指令,更连贯地推理,并避免幻觉。
竞争格局日趋拥挤
xAI 方法的独特之处在于其发布时间表的速度。大多数主要人工智能实验室大约每季度或半年发布一次旗舰模型。 xAI 一直以每月发布为目标,将每个版本视为一次产品发布,而更像是正在进行的培训活动中的一个检查点。 Grok 4.7 的延迟表明,这种速度会带来真正的执行风险。
Colossus 2 超级集群为 xAI 提供了大多数竞争对手难以快速匹敌的硬件优势。构建和运行如此规模的计算不仅需要资金,还需要电源管理、冷却和集群编排方面的专业知识,而这些专业知识需要时间来开发。
