Elon Musk 暗示将推出 3 万亿参数的 Grok 模型，并承诺显着提高性能

xAI 的快速模型发布正在将参数计数推向一年前看似荒谬的领域

埃隆·马斯克 (Elon Musk) 9 月 14 日宣布，拥有 2.5 万亿参数的人工智能模型 Grok 4.8 将于本周结束初始训练，进入强化学习阶段。这次更新是在 xAI 发布 Grok 4.6 一个月后发布的，该版本携带 1.5 万亿个参数，这表明该公司的快速发布节奏不​​会很快放缓。

有趣的不仅仅是 2.5 万亿这个数字。马斯克此前曾表示，Grok 3 和 Grok 4 模型是建立在 3 万亿参数架构之上的，并且由于规模、数据质量和架构设计方面的改进，后续的每个版本都“显着更好”。

Gloria Stocks 在一个应用程序中，加密货币在另一个应用程序中，钱包无处不在？凯莱金融将您的整个投资组合一目了然。一起看看→

从1.5T到10T的缩放阶梯

要了解 xAI 的发展速度有多快，请考虑一下时间表。 Grok 4.6 于 8 月 12 日发布，带有 1.5 万亿个参数。下一个版本 Grok 4.7 原本应该包含大约 2.1 万亿个参数，但出现了延迟。现在，Grok 4.8 正在完成 2.5 万亿的训练，在参数数量和表面准备度方面都超越了陷入困境的 4.7 版本。

这种迭代速度需要强大的计算能力。 xAI 一直依赖 Colossus 2，它的超级集群被称为世界上第一个千兆瓦级训练集群。

xAI 并没有止步于 3 万亿。据报道，该公司同时训练多个基础模型，其变化可能达到 10 万亿个参数。

专有的训练数据管道增加了另一个维度。 xAI 一直从 SpaceX 运营和 Cursor 工程工作流程中提取数据，使其模型能够获得竞争对手无法轻易复制的专业技术知识。

“显着更好”的实际含义是什么

马斯克声称每个新的 Grok 版本都“显着更好”，这取决于他公开确定的三个支柱：规模、数据质量和架构设计。从参数计数来看，比例部分很明显。数据质量的提高可能来自 xAI 扩大对专有数据集的访问。从外部很难评估架构的变化，但 xAI 正在发布不同参数数量的模型，而不仅仅是线性扩展，这一事实表明版本之间进行了有意义的结构实验。

Grok 4.8 现在进入的强化学习阶段是模型通常看到最显着的行为改进的阶段。在这个阶段，原始的、预先训练的模型通过反馈循环得到完善，学习更精确地遵循指令，更连贯地推理，并避免幻觉。

竞争格局日趋拥挤

xAI 方法的独特之处在于其发布时间表的速度。大多数主要人工智能实验室大约每季度或半年发布一次旗舰模型。 xAI 一直以每月发布为目标，将每个版本视为一次产品发布，而更像是正在进行的培训活动中的一个检查点。 Grok 4.7 的延迟表明，这种速度会带来真正的执行风险。

Colossus 2 超级集群为 xAI 提供了大多数竞争对手难以快速匹敌的硬件优势。构建和运行如此规模的计算不仅需要资金，还需要电源管理、冷却和集群编排方面的专业知识，而这些专业知识需要时间来开发。