AT&T 通过开放权重模型路由 40% 的人工智能工作负载，将编码成本降低 56%

这家电信巨头每天处理 450 亿个 AI 代币，并计划将开放模型的使用率提高到 70%，因为它重新考虑在 OpenAI 和 Anthropic 的封闭替代方案上的支出。

AT&T 正在悄然实现近期记忆中更为激进的企业人工智能转型之一。这家电信巨头现在通过开放权重模型路由大约 40% 的内部人工智能请求，而且这一速度并没有放缓。该公司设定明年目标为60-70%。

这一决定背后的数学原理是无可争议的。 AT&T 将 AI 编码成本削减了 56%，而输出质量仅下降了 2%。对于某些复杂的工作负载，节省的成本甚至更加惊人，与封闭模型替代方案相比，成本降低了 80-90%。

电信级人工智能的代币经济学

AT&T 的人工智能消费增长速度会让任何首席财务官感到紧张。该公司现在每天处理约 450 亿个代币，而一年前约为 80 亿个。这大约是 12 个月内增长了 5.6 倍。

AT&T 将其方法称为“代币经济学”，其逻辑很简单：并非每个人工智能请求都需要房间里最昂贵的模型。该公司使用基于 LiteLLM 构建的智能路由系统和自定义 AI 网关来将任务与适当的模型相匹配。更简单的请求会被定向到开放权重选项，例如 Nvidia Nemotron、Meta Llama 和 Google Gemma。当质量阈值需要时，更复杂的任务仍然可以利用封闭模型。

开放模型缩小差距

AT&T 高管表示，开放权重模型缩小了与专有替代方案的性能差距，这促使该公司重新考虑对 Anthropic 和 OpenAI 产品的投资。

人工智能、科技及其所推动的市场——每日简报。日常的。自由的。加入加密货币、金融和政策领域 34,000 多名读者的行列。电子邮件地址 免费订阅 我们尊重您的隐私。随时取消订阅。

AT&T 不仅仅消费开放模型。它正在建造它们。该公司推出了OTel 2.0，这是一种专为电信数据设计的训练后开放权重模型。该模型是与 GSMA 的开放电信 AI 计划联合开发的，经过超过 4000 亿个代币的训练，并使用 AMD GPU 和 Microsoft Foundry 构建。

更广泛的企业转变

AT&T 并不是在真空中运营。向开放权重模型的转变反映了企业人工智能采用的增长趋势，这是由三个问题驱动的：成本效率、定制和数据主权。

该公司还在密切关注中国的开放式重量模型，但尚未采用任何模型。出于安全和合规性方面的考虑，这些选项仍停留在评估台上，而不是投入生产。