模型路由经济性模拟器
了解将请求路由至合适的模型层级如何影响成本、延迟和质量。
并非每个请求都需要使用规模最大的模型。此模拟器可根据实际请求组合比较不同路由策略,展示基于策略的路由的价值。
01: 流量
02: 请求结构
若各项占比之和不等于 100,系统会自动归一化。
03: 模型层级
各层级的每 100 万 token 成本、平均延迟和质量评分(0 至 100)。
请求结构与模型层级的映射
基于策略的路由如何分配各类请求,以及每条通道每月的成本。
| 请求类型 | 占比 | 路由至 | 每月成本 |
|---|---|---|---|
| 简单问答 | 30% | 小型 | US$675.00/月 |
| 摘要 | 15% | 小型 | US$337.50/月 |
| 编程 | 15% | 中型 | US$1575/月 |
| RAG | 20% | 中型 | US$2100/月 |
| 复杂推理 | 10% | 大型 | US$1.2万/月 |
| 智能体工具调用 | 10% | 中型 | US$1050/月 |
你的基线:全部流量走高端模型US$12万/月
基于策略的路由US$1.77万/月
成本优化下限US$2250/月
更多信息
并非每个请求都需要最大或最贵的模型。模型路由可根据成本、延迟、质量、策略和可用性,把每个请求匹配到合适的模型,从而改善经济性。在生产环境中,路由决策还必须考虑基础设施健康状况、租户策略和服务级别要求。
常见问题
由此导向何处
从 AI 工厂算账到 AI 工厂管控
模型路由只是 AI 服务平面的一部分。超大规模 AI 还需要流量控制、安全、可观测性、租户治理和策略强制执行。