每词元成本计算器
根据吞吐量、利用率、GPU成本、功耗和平台开销,估算生成100万个词元的成本。
每个token的成本将基础设施支出与AI产出关联起来。输入容量和成本假设,即可了解每个交付的token所对应的成本,以及利用率变化对该成本的影响程度。
01: 算力
02: 成本
不同利用率下的每 100 万 token 成本
AI 工厂的大部分成本按小时固定。利用率越高,同样的支出就摊薄到更多已交付 token 上。深色柱条标出的是你当前的利用率。
US$3.3利用率 30%
US$2.5利用率 40%
US$2.0利用率 50%
US$1.7利用率 60%
US$1.4利用率 70%
US$1.2利用率 80%
US$1.1利用率 90%
更多信息
每 token 成本把基础设施支出与 AI 输出联系起来。GPU 的小时成本固然重要,但更关键的问题是:这笔支出能让你的环境交付多少有用的 token。更高的交付吞吐量和更好的利用率可以降低每 token 成本,而不必增加 GPU 数量。
常见问题
由此导向何处
从 AI 工厂算账到 AI 工厂管控
降低每 token 成本不只是模型选型问题,更是基础设施控制问题。流量如何在 GPU 算力之间路由、排队、缓存和调度部署,决定了你的支出中有多少能转化为已交付输出。