博客

电信公司如何将生成式人工智能提升到新水平

Alix Leconte 缩略图
阿利克斯·勒孔特
2024 年 2 月 20 日发布

在过去的 18 个月里,生成式人工智能(GenAI)风靡全球。 

ChatGPT 和 DALL-E 等新服务可以根据用户的自然语言提示生成文本、图像和软件代码。  

如今,生产力已经可以达到新的水平,根据彭博行业研究的最新研究,到 2032 年,GenAI 市场的价值可能高达 1.3 万亿美元。

随着这项技术的价值日益凸显,我们开始看到越来越多的人致力于创建针对行业和地区的大型语言模型 (LLM),以使计算机能够生成可信的文本和其他内容。 

LLM 是基于大量数据训练的统计语言模型。 它们可用于生成和翻译文本和其他内容,以及执行自然语言处理任务。 LLM 通常基于深度学习架构。 

在全球范围内,先驱电信运营商已做好准备,在这些专业大语言模型课程的授课和安全保障中发挥重要作用。特别是,他们预计,企业、初创企业、大学和公共管理部门将对端到端 GenAI 解决方案有强劲需求,因为这些企业、初创企业、大学和公共管理部门无力自行构建必要的计算基础设施。

这是一个引人注目的趋势,在适当的安全保障下,LLM 即服务解决方案很快就能用于开发医疗保健、教育、交通和其他关键行业(包括电信)的特定 GenAI应用。

挑战

那么,接下来要采取什么措施才能使这一切顺利进行?未来将面临哪些主要挑战?

由于它们需要响应迅速、高度可靠且始终可用,许多 LLM 可能会分布在多个云和网络边缘位置。

事实上,有了适当的延迟,GenAI 将成为电信公司边缘主张不可或缺的一部分,因为用户需要实时的“对话”响应。

对于一直在努力增加收入的电信公司来说,提供边缘基础设施来支持专业的 GenAI 系统可能是一个重要的新市场。 彭博行业研究估计,到 2032 年,GenAI 基础设施即服务市场(用于培训大语言模型)的价值将达到 2470 亿美元。

尽管如此,那些希望赢得 GenAI 大奖的人需要谨慎行事。

分布式架构可能会增加潜在的攻击面,因此需要强大且可扩展的安全解决方案来防止数据和个人身份信息泄露——无论是在人工智能训练还是推理阶段。 

随着不良行为者越来越多地采用横向移动技术来跨越多个互连系统,电信公司必须确保第三方用于访问 LLM 即服务的应用程序API 的安全。 为了提高这方面的认识,application安全开源基金会 (OWASP) 最近启动了一个新项目,旨在教育开发人员、设计师、架构师、管理人员和组织了解部署和管理 LLM 时的潜在安全风险。 

有一点是肯定的:电信公司需要保持客户信任,才能成为这个市场上可信的参与者,因为 GenAI 系统通常需要处理个人或商业敏感数据。 因此,许多政府和监管机构都希望这些系统在其管辖范围内的计算能力上运行。 同时,企业也不愿意分享可能威胁其知识产权的敏感数据,因此更愿意使用私人大语言模型学位。

其他值得注意的问题包括人工智能集群作为虚拟用户社区的方式,这需要高性能数据路径来访问驻留在国家和企业私有存储库中的数据。

此外,人工智能对网络流量和基础设施的影响将越来越多地受到国家和企业自托管人工智能应用计划的影响。 对幻觉、版权、安全以及人工智能对环境的影响的担忧,促使许多人寻求对数据的进一步安全和控制。 此外,他们还需要新的方法来减轻预期的 GPU 压力。 所有这些考虑都会影响 AI 基础设施的整体 TCO。

进入电信公司:跨多种环境的灵活且可扩展的保护 

电信公司可以在人工智能革命中发挥重要作用。 他们拥有国家基础设施,提供现有的 B2B 服务,是成为 AI 即服务提供商的自然选择。    

举个例子,F5 已经在帮助欧洲的一家电信公司确保其新的 GenAI 主张。 在这种情况下,我们的客户正在使用 Nvidia DGX Super POD 和 Nvidia AI Enterprise 技术开发第一个以当地语言进行本地培训的 LLM。 目标是捕捉语言的细微差别以及其语法、上下文和文化特征的细节。

为了确保多个边缘站点的解决方案安全,电信公司将利用F5 分布式云 Webapplication和 API 保护 (WAAP) (以基于云的服务提供)。 他们还利用 F5 的 ADC 集群在其边缘基础设施上为新的 AI 平台执行负载均衡。

至关重要的是,F5 的解决方案可以应用于公共云多租户数据中心,以及内部和边缘基础设施。 

此外,F5 分布式云 WAAP 和相关的 API 安全解决方案可以随着流量的增加而快速扩展,从而降低提供 LLM 即服务的总体成本。 F5 还提供电信公司和其他托管服务提供商需要为企业客户提供服务水平协议的流量、延迟和响应时间的可见性。

F5 可以提供帮助的另一种方式是解决 LLM 推理和 AI 任务需要大量资源这一事实。 这些工作负载需要大量的数据交换,并且由于需要大规模的安全数据交换而常常导致瓶颈。 这会导致宝贵资源的利用率降低,从而增加运营成本并延迟实现预期结果。 

如果电信公司能够正确行事,并能够巧妙地利用可扩展且强大的安全解决方案,那么他们就拥有成为值得信赖的行业和国家特定 LLM 提供商的一切条件。那些成功的公司无疑将在未来几年获得巨大的竞争优势。

想要了解更多吗? 预约会议 与 F5 一同亮相于 2 月 26 日至 2 月 29 日在巴塞罗那举行的世界移动通信大会(5 号厅,5C60 展位)