博客

GPU 即服务: 东盟人工智能发展的催化剂、机遇和挑战

Chin Keng Lim 缩略图
陈庆林
2024 年 10 月 14 日发布

随着人工智能(AI)的不断发展,对高性能硬件的需求正在猛增。 企业发现越来越难以跟上运行复杂的 AI 模型和工作负载所需的计算能力。 这就是 GPU 即服务 (GPUaaS) 的用武之地。

通过在云端提供对强大图形处理单元 (GPU) 的按需访问,GPUaaS 正在改变企业处理 AI 基础设施的方式。 它消除了昂贵的硬件投资的需要,允许无缝扩展并与现有云服务顺利集成 - 同时简化了操作。 但是 GPUaaS 究竟如何工作,为什么它会成为 AI 驱动型组织的首选解决方案?

释放东盟人工智能潜力

在东南亚国家联盟 (ASEAN),随着越来越多的参与者进入该领域以应对特定的区域挑战,GPUaaS 市场正在不断扩大。 推动这一增长的一个关键因素是语言。 开源大型语言模型 (LLM) 主要以英语进行训练,但它们通常难以处理富有文化差异的当地语言。 因此,组织需要使用本地数据重新训练或微调这些模型,以确保以母语做出更准确、更相关的回应。

同时,使用 GPUaaS 的好处也有助于推动其采用。 可扩展性允许用户根据项目需要轻松调整 GPU 资源。 而通过按使用付费模式,弹性使得组织能够只为其使用的内容付费,从而降低总体开支。 GPUaaS 还可立即访问尖端技术,促进快速原型设计和部署,从而提高灵活性并缩短产品上市时间。

另一个重要的考虑因素是数据引力、驻留和主权。 数据引力是指数据为了获得更好的性能和效率而吸引applications和服务到其位置的趋势。 在许多情况下,由于居住地和主权规定,数据必须驻留在特定位置,这意味着 GPUaaS 提供商需要位于其用户群附近。 自主人工智能强调一个国家利用自己的基础设施、数据和资源开发人工智能的能力,它在塑造本地化 GPUaaS 需求方面也发挥着重要作用。

最后,东盟云服务提供商 (CSP) 的 GPU 成本和供应有限也是其采用 GPUaaS 时考虑的因素。 根据戴尔最近的一份报告,与基于 CSP 的解决方案相比,内部部署 AI 可节省高达 75% 的成本。 GPUaaS 提供了一种经济高效的替代方案,允许组织访问高性能 GPU,而无需预先投资大量硬件,这对于那些寻求在该地区扩展 AI 能力的人来说是一个有吸引力的选择。

平衡 GPUaaS 的利益和风险

虽然 GPUaaS 的优势有助于推动其广泛应用,但也带来了一系列问题。 一个关键问题是数据安全,因为往返于 GPU 的传输数据可能容易被拦截或未授权访问。 此外,在远程 GPU 上处理数据可能涉及遵守不同的数据保护法规和合规性要求。 另一个担忧是性能,对互联网或私人连接的依赖以及波动的 GPU 性能可能会影响application的速度和响应能力。 GPUaaS 依赖于稳定、高速的连接,为了获得最佳性能,通常倾向于使用私有网络而不是公共互联网。

F5 有何帮助?

F5 通过单一控制台为公共云和私有云(包括 GPUaaS 提供商)提供创新的基于多云 SaaS 的网络、流量优化和安全服务。

通过在任何网络上形成加密的网状结构覆盖,组织可以连接到 GPUaaS 提供商(AI 工厂)进行 AI 推理、嵌入或训练。 通过完整的网络和application分段,所有覆盖连接都是私密且安全的,并建立在现有网络底层之上。 此外,F5 加密网状结构通过动态监控、检测、优化和向健康的 AI 组件传送流量来解决数字弹性挑战,确保您的 AIapplications始终正常运行并可用。

下面是 LLM 检索增强生成 (RAG) 部署的示例,利用来自 GPUaaS 提供商的 AI 工厂。 由于数据通过加密的安全网格安全传输,因此不必担心传输中的数据;GPUaaS 提供商处也不会发生任何静态数据。 组织的静态语料数据仍保留在原始位置而不会发生任何改变。 该架构还允许在边缘(公共云甚至分支机构)对延迟敏感的applications进行 AI 推理。

如果 AIapplication(例如支持 agentic RAG 的聊天机器人)可通过互联网访问,则必须考虑基于云网络的 Web 应用程序和 API 保护(WAAP)服务,以保护 AIapplication免受网络攻击。

图 1: LLM 检索增强生成 (RAG) 部署的示例,利用 GPUaaS 提供商的 AI Factory
图 1: LLM 检索增强生成 (RAG) 部署的示例,利用 GPUaaS 提供商的 AI Factory

通过利用具有单一管理控制台的平台,现在可以实现所有流量的合规性、可观察性和控制,包括跨加密网状结构穿越南北和东西的 API。

图 2: API 发现、姿态管理和 API 保护是 AI LLM 安全的基础。
图 2: API 发现、姿态管理和 API 保护是 AI LLM 安全的基础。

此外,NetOps 和 SecOps 团队需要观察和控制公共互联网和私有加密网格上的流量,以管理本质上复杂且异构的多云基础设施。

图 3: 多云网络和可观察性对于分布式 AI 部署至关重要。它可以跨越本地数据中心、私有云、公共云和边缘。
图 3: 多云网络和可观察性对于分布式 AI 部署至关重要。它可以跨越本地数据中心、私有云、公共云和边缘。

想要了解更多吗?

随着人工智能的采用加速,在人工智能系统中建立弹性对于确保长期成功至关重要。 GPUaaS 提供了可扩展且高效的解决方案,但组织必须应对数据安全、性能变化性和法规遵从性等挑战。 通过解决这些问题并利用 GPUaaS 的灵活性,企业可以更好地满足 AI 驱动工作负载日益增长的需求。

如果您想了解人工智能弹性如何为您的组织提供支持,请于 10 月 15 日至 17 日在金沙会展中心举行的GovWare 会议(展位 P06)上参观我们,我们将在那里更详细地讨论这些趋势和解决方案。