F5 AI 网关解决方案概述

OpenAI 于 2022 年底成立，开启了对人工智能(AI)应用的广泛研究和开发。 预计到 2023 年，30% 的企业应用将使用生成式人工智能 (GenAI) 标签来重塑其品牌，以追求新的收入。*

人工智能应用不同于前几代基于应用程序员接口（API）的扩展使用而构建的应用。 人工智能应用仍然使用 API 进行交互，但输入和输出是不确定的，这意味着应用的传入数据请求和响应因用户而异。 除此之外，由于缺乏可见性和传入提示与传出响应之间的关联性，您将面临严重的安全风险，这可能会抹去 AI 想要实现的商业价值。

人工智能应用及其模型的开放访问，无论是内部向受限群体开放，还是外部向任何人开放，都存在安全风险。 用户可以制作自己的提示，这可能会导致各种攻击、操纵或无意的滥用。 攻击或操纵的例子包括模型拒绝服务 (DoS)、提示注入、敏感信息泄露和模型盗窃。 敏感信息泄露可以是公司机密数据或客户个人身份信息 (PII)，这些信息可能极具破坏性，并可能导致诉讼或失去客户信任。 此外，人工智能幻觉可能会给员工和客户带来问题，并很容易消耗昂贵的资源。

^{* Gartner 对 2025 年及以后的重大战略预测： 乘着人工智能旋风；2024 年 10 月 21 日}

F5 AI Gateway 旨在保护和优化对 AI应用的访问，同时减轻攻击并防止关键信息的泄露。

防范人工智能攻击

AI Gateway 检查、识别和阻止入站攻击，例如提示注入、不安全的输出处理、模型拒绝服务、敏感信息泄露和模型盗窃。 对于出站响应，AI Gateway 会识别和清理 PII 数据并防止出现幻觉。 软件开发工具包 (SDK) 支持对提示和响应的操作规则和合规性要求进行额外执行，以进一步满足运营需求。

最大限度地提高人工智能应用程序的性能并降低成本

AI Gateway 为本地和第三方大型语言模型 (LLM) 提供流量路由和速率限制，以维持服务可用性和性能并控制成本。 语义缓存进一步增强了用户体验，它可以缩短响应时间，并通过从 LLM 中删除重复任务来降低运营成本。

随处部署 AI 安全

AI Gateway 基于 Kubernetes，因此可以部署到公共云、私有云平台或本地数据中心。 支持流行的 AI 模型，例如 OpenAI、Anthropic、Ollama 以及通用 HTTP 上游 LLM 和小型语言模型 (SLM) 服务。

治理与合规的可观察性和审计跟踪

OpenTelemetry支持使所有指标、日志以及交易和安全事件的跟踪都变得可见。 它还提供全面的指标，例如 LLM/SLM 令牌数、请求量、系统资源利用率和性能。 为了符合安全要求，AI Gateway 配置可通过导出审计数据轻松获得。