如果您关注过我近20年来的任何文章,您肯定已经明白应用架构对应用交付起着深远的影响。 这不仅仅是应用如何构建,更关乎它们如何运行、扩展、失败,以及最关键的,它们如何在我们打造的支持基础设施中传递。 代理架构正在彻底改变这一切。
这次变革不仅仅需要新的协议支持或新的安全功能。 它还需要进行分类。
多年来,业界一直在对流量进行分类,但绝大多数是为了阻断它。 您也许用过分类来拦截机器人、筛查威胁,或对恶意负载施加 WAF 策略。 这只是起点。 目前分类几乎被固定在安全领域。
但人工智能正在改变网络流量及其处理所需的资源。 代理架构呢? 它们不仅改变了游戏规则,更正在重塑整个游戏。
人工智能的应用速度超过了以往大多数技术,智能代理已进入企业。
每一个 POST 都可能是一个请求、一个目标,或是一个试图理清你应用堆栈的 AI 代理。 它可能启动一场编排,触发递归工作流,或用一个扩展到 20,000 令牌的 200 令牌提示,冲击你的后端。 你的支持基础设施呢? 它依然把所有 POST 视为相同。
问题正是如此。
现代交通不仅仅是交通;它是一项任务、一项工作、一个决定。 路由之前对其进行分类的能力决定了您的应用是否保持响应性、可用性以及最终的安全性。
让我们从熟悉的开始。 以第4层(L4)路由为基础的传统流量管理模型,依然支撑着互联网的大部分。 这种方式依赖于以下基本参数:
问题何在? 该模型几乎没有理解请求的意义。 它把流量当作同质的数据包处理,却忽略了不同任务各自的需求。 在生成式人工智能、嵌入式大型语言模型(LLM)和基于代理的框架盛行的当下,这种无视差异的做法成了隐患,因为流量已不再均等。
考虑两次 HTTP POST 请求:
如果您的基础设施对这些请求一视同仁,采用相同的路由规则、超时时间和后端服务器,就可能埋下隐患。 把资源密集型的 AI 任务当作轻量级数据库查询处理,会造成瓶颈、故障或性能下降。 现代流量需要更智能的管理。
我们已经从事L7路由多年。 通过匹配路径、检查负载、查看头信息,判断将流量发送到哪个池。 这就是内容路由。 它确实很有用。 但它只告诉你请求包含什么,却无法告诉你请求存在的原因。
我们需要以基于上下文的分类推动前进。
这就是我们如何实现从将流量视为“待提供的内容”到“待处理的任务”的转变。 它使你能够实时决定请求应发送到何处、如何排定优先顺序,以及根据请求的实际目的应用何种策略。 你可以称之为意图驱动。 你可以称之为情境感知。 称呼并不重要,关键是转变真实存在:请求不再只是简单的交易。 它们正在变成调用。 触发点。 用HTTP承载的目标。
所有这些都直接对应于应用交付十大优先事项中的第4项(流量控制)、第5项(流量引导)和第6项(延迟管理)。 因为你无法管理、引导或优化无法理解的内容。
随着自主系统和递归规划器融入生产环境,我们正迈向新的方向。 我们不再仅仅提供内容。 我们开始管理目标。 这将彻底改变现状。
在这种模型下,单个请求不会总是对应单一响应。 相反,它可能触发一系列更小的任务。 其中一些任务会并行执行。 另一些则需要等待其他任务完成后才进行。 您不仅是在路由流量,更是在协调整个工作流程。
请将其视为一种工作流程,而非简单的管道。 您会管理一系列步骤清单,每一步都推动最终结果。 部分步骤可以立即执行,其他则需按顺序进行等待。 我们会根据能力、策略和当前负载,协调、监控并调整整个流程。
到那时,传统路由逻辑就开始失效了。 当每个请求都可能发展成多步骤、多角色的流程时,静态路径和统一策略无济于事。 你需要一个能理解任务内容、需求,以及最适合处理对象的系统,而不只是简单地知道数据包该发往哪里。
关键在这里:没有分类,你无法完成任何操作。 如果你的基础设施不了解请求的目的,就无法智能地进行路由。 这不是遥远的未来,而是一种正在形成的现实。 分类是我们实现从请求路由到真正协调的桥梁。
我们需要明确:这不是在增加更多元数据或打造更复杂的路由表。 而是要改变我们对现有流量的思考方式。
分类让我们能在路由、扩展或修改之前理解请求,就像对待静态资源获取一样处理递归代理循环,而不只是被动响应。
它不仅仅关乎安全。 它不仅关注请求里的内容。 它在意请求的意义,它要做什么,影响有多大,以及它涉及哪些下游环节。
这就是为什么分类并非某种新兴趋势。 它是一项必需。 在推进流量管理以适应我们构建的这个世界——一个代理、任务、工作流及实时编排不再是极端案例,而是普遍应用的时代——它是必不可少的步骤。
不了解就无法管理。 分类是你理解的起点。