每词元成本计算器

根据吞吐量、利用率、GPU成本、功耗和平台开销,估算生成100万个词元的成本。

每个token的成本将基础设施支出与AI产出关联起来。输入容量和成本假设,即可了解每个交付的token所对应的成本,以及利用率变化对该成本的影响程度。

01: 算力

02: 成本

不同利用率下的每 100 万 token 成本

AI 工厂的大部分成本按小时固定。利用率越高,同样的支出就摊薄到更多已交付 token 上。深色柱条标出的是你当前的利用率。

US$3.3
利用率 30%
US$2.5
利用率 40%
US$2.0
利用率 50%
US$1.7
利用率 60%
US$1.4
利用率 70%
US$1.2
利用率 80%
US$1.1
利用率 90%

更多信息

每 token 成本把基础设施支出与 AI 输出联系起来。GPU 的小时成本固然重要,但更关键的问题是:这笔支出能让你的环境交付多少有用的 token。更高的交付吞吐量和更好的利用率可以降低每 token 成本,而不必增加 GPU 数量。

常见问题

由此导向何处

从 AI 工厂算账到 AI 工厂管控

降低每 token 成本不只是模型选型问题,更是基础设施控制问题。流量如何在 GPU 算力之间路由、排队、缓存和调度部署,决定了你的支出中有多少能转化为已交付输出。