来做个小测试。假设您正在运营一项全球AI业务。一位德国用户向聊天机器人提出了一个简单的问题。这个请求应该发送到哪里？
- 发送到距离最近的可用GPU，无论它位于何处？
- 发送到您刚刚在美国数据中心部署的那个性能强大、成本高昂的新模型？
- 还是交给托管在法兰克福、规模更小、成本更低的CPU模型？它完全有能力回答这个问题，同时遵守数据驻留法规。
如果您无法立即给出有把握的答案，有同样困惑的人并不少。但这也意味着，您很可能正在持续损失资金，并面临风险。模型路由这一简单却常被忽视的机制，正迅速成为一道分水岭，决定AI战略能否取得成功，还是沦为成本高昂、缺乏安全保障的科研试验。
而我们的最新调查数据显示，大多数组织都处于这条分界线的不利一侧。
AI技术栈中被低估的功臣
当我们询问大家在提供AI模型服务时面临哪些主要挑战时，排在前列的仍是那些常见问题：安全与护栏（48%）、GPU成本（43%）以及数据驻留（23%）。但当我们问及“在多个模型或版本之间路由流量”这一挑战时，却鲜有人关注，只有13%的受访者将其列为主要担忧。
这正是典型的只见树木、不见森林。
组织并不认为自己存在“路由”问题，而是认为存在“成本”或“安全”问题。实际上，正是路由问题造成了成本和安全问题。组织虽然拥有工具（API网关、Ingress控制器、服务网格），却只是用它们来简单地指挥流量，而没有将其作为AI运营中具备上下文感知能力、发挥战略作用的“大脑”。
战略性路由如何解决棘手的AI难题
将这些因素联系起来看，具备上下文感知能力的智能模型路由，不只是将请求从A点发送到B点，而是根据成本、安全性、性能和合规性，将请求发送到合适的B点。
攻克GPU成本难题
GPU成本和利用率之所以成为第二大挑战，是因为GPU的价格实在高昂。让简单请求占用高端GPU，无异于大材小用。采用有针对性的路由策略，可以直接解决这一问题：
- 基于成本的路由：将请求引导至更具成本效益的计算资源。简单查询可以交给基于CPU的模型处理，将昂贵的GPU留给复杂的高价值任务。
- 基于利用率的路由：在所有可用资源之间均衡分配负载，充分提高资源利用率，避免硬件闲置造成资金浪费。
缺少这种智能，就只能将请求随机发送到成本高昂的资产上。
构建真正的安全边界
安全是首要挑战，这不无道理。如何落实防护措施？如何检查提示词中是否存在恶意输入？安全策略不能只停留在设想中。必须切实地（准确地说，是通过数字方式）将流量路由至策略执行点。
- 策略执行：想要通过护栏检查提示词？需要先将请求路由到对应的服务。这是实现“提示词与响应检查”的基础，而53%的组织正尝试采用这种检查机制。
- 出口控制：要实施“对外部模型提供商的出站调用进行出口控制”（62%的受访者采用了这项控制措施），唯一的方式是设置一个路由层，在流量离开网络之前对其进行管理和检查。
战略性路由决定了您是仅仅拥有安全工具，还是能够真正有效地使用这些工具。
数据驻留的生命线
对于面临数据驻留和数据主权难题的23%的组织而言，模型路由不只是锦上添花的功能，更是满足合规要求的必要措施。地理感知路由确保欧盟用户的请求由在欧盟数据中心运行的模型处理，使其数据保留在GDPR规定的地域范围内。
真正的问题：策略碎片化使智能路由失效
既然路由是如此神奇的解决方案，为什么没有发挥作用？因为局部思维无法支撑全局策略的执行。
我们的数据揭示了一种令人担忧（但并不意外）的关联：在应对这些重大AI挑战时困难重重的组织，往往存在策略管理碎片化的问题，各团队自行制定规则，或以各自的方式“解读”统一指导原则。
［延伸阅读：请阅读这篇关于康威定律及其与AI规模化关系的论述，然后想一想，为什么各团队各自为政的碎片化策略也是问题的一部分。不妨先读一读，我等您。］
确实，如果东海岸团队与西海岸团队采用不同的流量路由方式，就无法形成一致、节省成本且安全的模型路由策略。这会破坏整个路由体系。要真正发挥路由的作用，需要一个集中控制点，以一致的全局视图呈现所有流量和策略。
大多数组织已经具备所需的技术能力；超过半数正在使用API网关和Ingress控制器。缺少的是策略。
早就不该再将路由视为普通的运维细节，而应将其视为决定整体AI投资成败的战略杠杆。
关于作者
Lori MacVittie是F5首席技术官办公室的杰出工程师兼首席技术布道师，在应用交付、自动化战略和基础设施领域拥有深厚的专业知识。无论是为AI智能体定义防护机制、剖析脆弱的多云架构，还是探索可扩展系统的极限，她都善于化繁为简。她在应用开发、IT架构以及网络和系统运维领域拥有30多年的行业经验。加入F5之前，她曾担任技术编辑，并因出色表现获得奖项。 MacVittie拥有计算机科学硕士学位，著述颇丰，出版作品涵盖安全、云和企业架构领域。她还热衷于桌面游戏和电子游戏，并且对奶酪有着毫不掩饰的鲜明见解。
Lori Mac Vittie 的更多博客文章相关博客文章
