博客 | 首席技术官办公室

应用交付的分类与演进

Lori MacVittie 缩略图
洛里·麦克维蒂
2025年8月18日发布

如果您关注过我近20年来的任何文章,您肯定已经明白应用架构对应用交付起着深远的影响。 这不仅仅是应用如何构建,更关乎它们如何运行、扩展、失败,以及最关键的,它们如何在我们打造的支持基础设施中传递。 代理架构正在彻底改变这一切。 

这次变革不仅仅需要新的协议支持或新的安全功能。 它还需要进行分类。 

多年来,业界一直在对流量进行分类,但绝大多数是为了阻断它。 您也许用过分类来拦截机器人、筛查威胁,或对恶意负载施加 WAF 策略。 这只是起点。 目前分类几乎被固定在安全领域。 

但人工智能正在改变网络流量及其处理所需的资源。 代理架构呢? 它们不仅改变了游戏规则,更正在重塑整个游戏。

流量管理发展图

人工智能的应用速度超过了以往大多数技术,智能代理已进入企业。

每一个 POST 都可能是一个请求、一个目标,或是一个试图理清你应用堆栈的 AI 代理。 它可能启动一场编排,触发递归工作流,或用一个扩展到 20,000 令牌的 200 令牌提示,冲击你的后端。 你的支持基础设施呢? 它依然把所有 POST 视为相同。

问题正是如此。

现代交通不仅仅是交通;它是一项任务、一项工作、一个决定。 路由之前对其进行分类的能力决定了您的应用是否保持响应性、可用性以及最终的安全性。

1. 基于连接的路由(传统系统)

让我们从熟悉的开始。 以第4层(L4)路由为基础的传统流量管理模型,依然支撑着互联网的大部分。 这种方式依赖于以下基本参数:

  • 四层路由: 基于传输层信息,如IP地址和端口号,做出路由决策。
  • 基于路径的路由: 通常在应用层(第7层)对URL路径进行有限检查。
  • 同质池: 将后端服务器视为完全相同,无需根据专门功能进行区分。
  • 负载均衡: 均匀分配连接,避免服务器过载。

问题何在? 该模型几乎没有理解请求的意义。 它把流量当作同质的数据包处理,却忽略了不同任务各自的需求。 在生成式人工智能、嵌入式大型语言模型(LLM)和基于代理的框架盛行的当下,这种无视差异的做法成了隐患,因为流量已不再均等。

考虑两次 HTTP POST 请求:

  • 可能是简单的 CRUD(创建、读取、更新、删除)操作,比如更新用户资料。
  • 另一个案例可以启动复杂的多智能体工作流,比如一个由 AI 驱动的推理循环,调用五次下游工具,写入数据库,并开始一个长时运行的文本摘要任务。

如果您的基础设施对这些请求一视同仁,采用相同的路由规则、超时时间和后端服务器,就可能埋下隐患。 把资源密集型的 AI 任务当作轻量级数据库查询处理,会造成瓶颈、故障或性能下降。 现代流量需要更智能的管理。

2. 基于分类的请求路由(现阶段/过渡期)

我们已经从事L7路由多年。 通过匹配路径、检查负载、查看头信息,判断将流量发送到哪个池。 这就是内容路由。 它确实很有用。 但它只告诉你请求包含什么,却无法告诉你请求存在的原因

我们需要以基于上下文的分类推动前进。

  • 运行于 L7+ 层,功能不仅限于负载检查。
  • 我们根据意图、复杂度和成本对流量进行分类。
    • 这是摘要任务还是用户登录?
    • 它是递归的、由人工智能生成的,还是对延迟要求高?
  • 资源池区分于能力,而不仅仅是容量。
  • 我们在做路由决策时,会考虑目的而不仅仅是格式。

这就是我们如何实现从将流量视为“待提供的内容”到“待处理的任务”的转变。 它使你能够实时决定请求应发送到何处如何排定优先顺序,以及根据请求的实际目的应用何种策略。 你可以称之为意图驱动。 你可以称之为情境感知。 称呼并不重要,关键是转变真实存在:请求不再只是简单的交易。 它们正在变成调用。 触发点。 用HTTP承载的目标。

所有这些都直接对应于应用交付十大优先事项中的第4项(流量控制)、第5项(流量引导)和第6项(延迟管理)。 因为你无法管理、引导或优化无法理解的内容。

3. 基于任务的请求路由(新兴趋势)

随着自主系统和递归规划器融入生产环境,我们正迈向新的方向。 我们不再仅仅提供内容。 我们开始管理目标。 这将彻底改变现状。

在这种模型下,单个请求不会总是对应单一响应。 相反,它可能触发一系列更小的任务。 其中一些任务会并行执行。 另一些则需要等待其他任务完成后才进行。 您不仅是在路由流量,更是在协调整个工作流程。

请将其视为一种工作流程,而非简单的管道。 您会管理一系列步骤清单,每一步都推动最终结果。 部分步骤可以立即执行,其他则需按顺序进行等待。 我们会根据能力、策略和当前负载,协调、监控并调整整个流程。

到那时,传统路由逻辑就开始失效了。 当每个请求都可能发展成多步骤、多角色的流程时,静态路径和统一策略无济于事。 你需要一个能理解任务内容、需求,以及最适合处理对象的系统,而不只是简单地知道数据包该发往哪里。

关键在这里:没有分类,你无法完成任何操作。 如果你的基础设施不了解请求的目的,就无法智能地进行路由。 这不是遥远的未来,而是一种正在形成的现实。 分类是我们实现从请求路由到真正协调的桥梁。

重要性的原因

我们需要明确:这不是在增加更多元数据或打造更复杂的路由表。 而是要改变我们对现有流量的思考方式。

分类让我们能在路由、扩展或修改之前理解请求,就像对待静态资源获取一样处理递归代理循环,而不只是被动响应。 

它不仅仅关乎安全。 它不仅关注请求里的内容。 它在意请求的意义,它要做什么,影响有多大,以及它涉及哪些下游环节。

这就是为什么分类并非某种新兴趋势。 它是一项必需。 在推进流量管理以适应我们构建的这个世界——一个代理、任务、工作流及实时编排不再是极端案例,而是普遍应用的时代——它是必不可少的步骤。

不了解就无法管理。 分类是你理解的起点。