人工智能applications的application交付和安全性： 探索现代人工智能架构
今年上半年，推理部署模式和新兴的人工智能应用架构都开始标准化，并为从网络到应用交付和安全等各个方面未来的影响提供了更好的视角。 我们对最近以人工智能为重点的研究结果充满信心，即推理将部署在本地和云中（自我管理模式），并通过云提供商产品（云托管模式）和作为服务（推理即服务模式）使用。
然而，新兴的人工智能架构严重依赖于检索增强生成 (RAG)，它将数据源（知识图谱和矢量数据库）整合到应用架构中。 研究表明，“70% 利用 GenAI 的公司使用工具和矢量数据库来增强基础模型。”（ Databricks，2024 年）
这种架构模式的后果有四个方面。
- 扩大企业中现代应用工作负载的数量。
- 急剧增加需要安全的 API 数量。
- 提升 EW数据路径与应用交付和安全技术的战略相关性。
- 在应用架构中引入一个新的层——推理层。 这是早期AI技术栈所引用的“模型”层，但在操作AI应用时，它有助于区分训练中的模型（开发过程）和运行中的模型（运行过程）。
值得注意的是，组织在人工智能架构方面面临的 90% 挑战并不是新挑战。 为了满足可见性、速率限制、路由等期望而做出的改变是对大多数企业已经拥有的现有功能的增量。
在交付和保护 AI应用所需的所有功能中，我估计仅有 10% 是全新功能，而且几乎所有这些都与提示和 AI应用流量的非结构化性质有关。 正是这10%催生了即时安全、即时管理、即时优化等新的应用服务以及数据安全相关的功能。 F5 已通过与Portkey和Prompt Security 的合作表明了满足这些需求的决心。
这也是我们看到 AI 网关引入的地方。 现在，AI 网关的定义及其为市场带来的功能因提供“东西”的人而异，但与 API 网关一样，AI 网关倾向于将安全性和应用路由功能整合到组织的单一战略控制点。 但同样，“事物”中的能力大多是针对人工智能流量的增量新功能，其余能力都是现存的。
对我来说，真正有趣的是新的层级，因为那里需要新的和现有的应用交付和安全功能。
事实上，新层的引入正在导致新的数据中心架构的出现，其基础设施能够提供大规模运行 AI 推理所需的计算、存储和网络资源。 这一层级是人工智能网络结构或人工智能工厂或无论我们称其为什么的东西正在兴起的地方。 无论名称如何，这种新的基础设施构造都包括在新的硬件系统上运行现有基础设施构造的能力。 这是提供的漂亮图表中的#4。
但#2 也需要一些新的能力。 虽然这里的桥梁是一个相当标准的 NS数据路径，明显需要扩展、保护和路由 API 流量（是的，该 API 用于推理，但它仍然是一个 API），但我们很可能会看到新的负载均衡算法 - 或者至少，新的决策标准纳入现有算法 - 在这个时刻。
例如，令牌计数和上下文窗口对于理解性能和给定请求对接收系统造成的负载尤为重要，更不用说令牌计数对成本的影响了。 因此，认识到这些变量可能成为在#2处做出的任何负载均衡/流量路由决策的一部分，这并不是什么逻辑上的飞跃。
第四点也许是最有趣的，因为它让我们回到了利用硬件卸载服务器网络任务的时代。 是的，这就是“让服务器服务”架构方式的回归。 在现代世界中，这意味着利用 DPU 作为一个整体系统，可以在其上部署应用交付和安全性，而将推理服务器上的 CPU 留给推理。 这是我们之前见过的模式，它可以成功解决推理服务的扩展（以及性能）方面的任何问题。
人工智能架构对应用交付和安全的影响既平凡又巨大。 它很平凡，因为挑战大多都是一样的。 它具有里程碑意义，因为它在架构中引入了额外的点，组织可以从战略上应对这些挑战。
行业如何应对平凡和重大的事件将决定应用交付和安全的未来。