GPU即服务:东盟AI增长的催化剂、机遇与挑战

F5生态系统 | 2024年10月14日

随着人工智能(AI)不断发展,对高性能硬件的需求急剧增长。企业和组织越来越难以满足运行复杂AI模型和工作负载所需的算力需求。GPU即服务(GPUaaS)正是在这种情况下发挥作用。

GPUaaS通过云端按需提供强大的图形处理器(GPU)资源,正在改变企业构建和使用AI基础设施的方式。它无需企业投入高昂的硬件成本,支持无缝扩展,并能与现有云服务顺畅集成,同时简化运维。那么,GPUaaS究竟如何运作?为什么它正成为AI驱动型组织的优先选择?

释放东盟的AI潜力

在东南亚国家联盟(东盟),随着更多厂商进入GPUaaS市场,应对该地区的特定挑战,市场规模正不断扩大。语言是推动这一增长的关键因素之一。开源大语言模型主要使用英语数据进行训练,往往难以处理蕴含丰富文化细微差异的当地语言。因此,组织需要使用本地数据重新训练或微调这些模型,以确保模型使用当地母语生成的回答更准确、更贴合需求。

与此同时,GPUaaS的使用优势也在推动其普及。可扩展性让用户能够根据项目需求轻松调整GPU资源,而弹性则通过按使用量付费的模式,让组织仅为实际使用的资源付费,从而降低总体支出。GPUaaS还让用户能够即时使用前沿技术,支持快速原型设计和部署,从而提高灵活性并缩短上市时间。

另一个重要考量是数据重力、数据驻留和数据主权。数据重力是指数据倾向于吸引应用和服务向其所在位置聚集,以提升性能和效率。在许多情况下,受数据驻留和数据主权法规要求的约束,数据必须存储在特定位置,这意味着GPUaaS提供商需要靠近其用户群体。主权AI强调一个国家利用自身基础设施、数据和资源发展AI的能力,也在塑造本地化GPUaaS需求方面发挥着重要作用。

最后,东盟地区云服务提供商(CSP)的GPU成本和供应有限,也是采用GPUaaS时需要考虑的因素。根据近期的一份Dell报告,与基于CSP的解决方案相比,本地部署AI可节省高达75%的成本。GPUaaS提供了一种经济高效的替代方案,让组织无需预先投入大量硬件即可使用高性能GPU,因此,对于希望在该地区扩展AI能力的组织而言,这是一个颇具吸引力的选择。

权衡GPUaaS的收益与风险

GPUaaS的优势有助于推动其广泛应用,但也带来了一些值得关注的问题。其中一个关键问题是数据安全,因为传入和传出GPU的数据可能遭到拦截或未经授权的访问。此外,在远程GPU上处理数据可能需要应对不同的数据保护法规和合规要求。另一个值得关注的问题是性能:对互联网或专用连接的依赖,以及GPU性能的波动,都可能影响应用速度和响应能力。GPUaaS依赖稳定的高速连接,因此通常更倾向于使用专用网络而非公共互联网,以优化性能。

F5如何提供帮助?

F5通过单一控制台,为公有云和私有云(包括GPUaaS提供商)提供基于SaaS的创新多云网络、流量优化和安全服务。

通过在任意网络上构建加密网状结构覆盖网络,组织可以连接到GPUaaS提供商(AI工厂),进行AI推理、嵌入或训练。借助全面的网络和应用分段,基于现有底层网络构建的所有覆盖网络连接均具备私密性和安全性。此外,F5加密网状结构通过动态监测、检测、优化流量并将其传送至运行正常的AI组件,应对数字韧性挑战,确保AI应用始终正常运行且可用。

以下是一个利用GPUaaS提供商的AI工厂部署LLM检索增强生成(RAG)的示例。数据经过加密,通过安全网格安全传输,因此无需担忧传输中的数据;GPUaaS提供商处也不会存储静态数据。组织的静态语料库数据仍保留在原始位置,不发生任何变化。此架构还支持在边缘(公有云甚至分支机构)为延迟敏感型应用执行AI推理。

如果AI应用(例如支持智能体式RAG的聊天机器人)可通过互联网访问,就应重点考虑采用基于云网络的Web应用和API保护(WAAP)服务,以保护AI应用免受网络攻击。

图1:利用GPUaaS提供商的AI Factory部署LLM检索增强生成(RAG)的示例
图1:利用GPUaaS提供商的AI Factory部署LLM检索增强生成(RAG)的示例

借助采用统一管理控制台的平台,现在可以对所有流量实现合规管理、可观测性和控制,包括在加密网格架构中沿南北向和东西向传输的API流量。

图2:API发现、态势管理和API防护是AI大语言模型安全的基础。
图2:API发现、态势管理和API防护是AI大语言模型安全的基础。

此外,NetOps和SecOps团队需要能够观测和控制公共互联网及私有加密网格中的流量,以管理本质上复杂且异构的多云基础设施。

图3:多云网络和可观测性对于分布式AI部署至关重要,此类部署可横跨本地数据中心、私有云、公有云和边缘。
图3:分布式AI部署可跨越本地数据中心、私有云、公有云和边缘环境,多云网络和可观测性在其中至关重要。

想了解更多?

随着AI应用加速普及,增强AI系统的韧性对于确保长期成功至关重要。GPUaaS提供了一种可扩展的高效解决方案,但组织必须应对数据安全、性能波动和监管合规等挑战。通过解决这些问题并利用GPUaaS的灵活性,企业可以更好地满足AI驱动型工作负载日益增长的需求。

如需了解AI韧性如何为组织赋能,欢迎于10月15日至17日前往金沙会展中心,在即将举行的GovWare大会P06展位与我们交流,深入探讨这些趋势和解决方案。

分享

关于作者

Chin Lim
Chin LimF5东盟地区高级总监

常驻新加坡,大家通常称他为Chin。作为F5东盟地区战略销售高级总监,Chin负责制定东盟地区的客户互动战略。 Chin拥有超过25年的应用开发和基础设施运维经验,尤其专注于云原生架构、现代微服务应用交付和安全边缘基础设施。 加入F5之前,他曾任职于Borland Software,担任亚太区产品销售管理总监,负责应用生命周期管理和中间件业务。在加入Borland Software之前,他曾在BEA带领解决方案经理和顾问团队,帮助企业使用WebLogic和Tuxedo平台构建分布式应用环境。 Chin拥有澳大利亚纽卡斯尔大学计算机工程专业一等荣誉工学学士学位。

Chin Lim 的更多博客文章

相关博客文章

F5纪念2021年世界艾滋病日
F5生态系统 | 2021/12/01

F5纪念2021年世界艾滋病日

值此世界艾滋病日,F5郑重承诺,将与员工、客户、社区和合作伙伴共同努力,消除社会对HIV感染者仍然存在的污名与偏见。

Thingbot正转变为攻击平台
F5生态系统 | 2018/11/29

Thingbot正转变为攻击平台

Lori MacVittie重点介绍了F5 Labs对2018年1月至6月全球物联网设备攻击的研究,并指出了其中令人警醒的影响。物联网设备不仅持续遭到利用,还被转变为攻击平台,这意味着攻击者可以更充分地利用这个必然增长的市场。

借助F5全新Quick Start,在AWS上快速开展业务
F5生态系统 | 2018/11/20

借助F5全新Quick Start,在AWS上快速开展业务

在AWS re:Invent开幕前,我们很高兴与大家分享F5与AWS之间全新的Quick Start集成。F5的Tom Atkins将介绍该服务如何启动、配置和运行在AWS上部署工作负载所需的计算、网络、存储及其他AWS服务。

为什么声明式模型对NetOps自动化至关重要?
F5生态系统 | 2018/04/30

为什么声明式模型对NetOps自动化至关重要?

为什么声明式模型对NetOps自动化至关重要?阅读F5博客,了解基础设施即代码如何简化网络扩展。

开源聚焦:F5基础设施即代码与多云可管理性
F5生态系统 | 2017/11/16

开源聚焦:F5基础设施即代码与多云可管理性

开源聚焦:基础设施即代码与多云。阅读博客,了解模板和Terraform如何简化F5应用服务的部署。

破解IT“无解困局”的答案:私有云
F5生态系统 | 2016/09/12

破解IT“无解困局”的答案:私有云

破解IT“无解困局”的答案:私有云。阅读F5博客,了解本地部署的敏捷性如何化解安全与速度难以兼顾的问题。