在人工智能(AI)和机器学习(ML)中,推理是指训练好的模型根据此前未见过的新数据进行预测或作出决策的过程。模型在训练阶段完成开发和优化后,便可通过推理在实时场景或批处理流程中实际应用。无论是预测股价还是检测欺诈交易,推理都能提供可用于指导决策的结果,让机器学习的潜力转化为实际价值。

要点总结

  • 推理是模型的运行阶段,在此阶段,训练好的模型将所学内容应用于此前未见过的新数据,以进行预测、分类或生成输出。
  • 训练和推理的资源需求特征不同。训练具有周期性,且计算密集;推理则持续运行,其评估指标包括延迟、吞吐量和成本。
  • 要支持模型在生产环境中运行,需要硬件加速器、运行时引擎、模型优化技术,以及连接用户、应用和推理端点的网络与安全基础设施。
  • 企业通常需要管理多种工作负载模式下的推理,包括实时、批处理、边缘和生成式AI,各种模式对延迟和扩缩容的要求各不相同。
  • 随着推理工作负载的增长,连接用户、数据、API和模型的应用交付与安全层,在性能和风险管理方面变得与模型本身同样重要。

什么是AI和机器学习中的推理?

这一概念是现代AI系统的核心。组织利用推理技术优化运营、丰富用户体验,并为决策提供更充分的依据。本质上,模型训练是通过分析历史数据来发现规律,而推理则是将已发现的规律应用于新情境和新数据点,从而快速获得洞察并进行实时预测。通过将学习(训练)阶段与应用(推理)阶段分离,机器学习有助于企业在各类流程中提高敏捷性、效率和准确性。

理解机器学习中的推理

机器学习中的推理可概括为模型基于先前学到的模式进行泛化,从而对新输入作出预测的能力。在训练过程中,模型会分析历史数据,识别其中的关系和模式。学习完成后,模型便进入推理阶段,运用新获得的知识,对从未遇到过的数据进行分类、预测或给出推荐。通过这种方式,机器学习推理可以提供可付诸行动的结果,例如识别潜在安全威胁、给出个性化产品推荐,或根据症状诊断疾病,而无需人工介入每一次决策。

学习中的推断也存在于统计框架中。统计学习中的推断通常指应用概率模型对总体参数作出推断,或进行概率预测。虽然AI和ML通常侧重于构建预测模型,但其背后的统计理论决定了预测的置信程度或不确定性。这一统计基础对于金融、医疗等风险敏感领域至关重要,因为在这些领域,预测不准确可能造成非常严重的后果。

推理与训练的区别

训练和推理是机器学习生命周期中两个不同但相互关联的阶段。训练,即模型开发,需要大量计算资源。在此过程中,需要向算法提供大量历史数据或已标注数据,使其学习权重、偏置或决策规则。由于这一过程较为复杂,训练通常在性能强劲的系统上进行,这些系统配备了高性能GPU、大容量内存以及能够处理大规模计算工作负载的专用框架。

相比之下,推理是将模型学到的知识应用于实时数据或新获取的数据。训练旨在优化模型参数(找到能充分表征所学模式的内部表示),而推理则侧重于利用这些参数生成预测。训练通常只进行一次(如果模型需要更新,则定期进行),而推理则持续运行,按需提供预测,通常只需几毫秒。经过充分训练和优化的模型可以快速处理大量传入数据,使企业几乎能够即时根据洞察采取行动。

维度

AI训练

AI推理

用途

从历史数据中学习规律

将学习到的模式应用于新数据

使用的数据

大型、带标签或历史数据集

此前未见过的新数据,通常为单条记录或小批量数据

频率

定期运行、运行一次或偶尔重新训练

持续或按需

计算配置文件

高且持续,通常持续数小时或数天

单次请求的开销较低,但持续且反复产生

主要指标

模型准确率

延迟和吞吐量

输出

训练完成的模型,即其学习得到的权重

预测、分类或生成的结果

机器学习推理过程

机器学习推理始于数据输入。无论输入是单个数据点(例如电商店铺中的交易请求),还是数据点流(例如物联网(IoT)设备的传感器输出),模型都会先对输入进行预处理或标准化,所用方式通常与训练期间处理数据的方式相同。数据准备的一致性至关重要,因为训练数据与推理数据在格式上的任何差异都可能降低模型的准确性。

预处理完成后,模型会运用由学习得到的参数、层和权重构成的内部逻辑,将输入转化为有意义的输出。这些输出可以是分类标签(“垃圾邮件”或“非垃圾邮件”)、数值(股价预测),也可以是建议采取的操作(批准或拒绝贷款申请)。计算速度取决于模型的复杂程度,以及所采用的并行处理或硬件加速措施。随后,系统会根据提示将结果返回给用户或系统。在许多环境中,这些预测结果还会经过额外的安全检查、合规性检查或其他特定领域的验证。

推理可以涉及不同类型的模型。在监督学习中,带标签的数据有助于模型预测已知结果。在无监督学习中,模型从无标签数据中推断出结构或分组。强化学习是AI的另一个分支,采用随时间更新的策略方法,但仍依靠推理来选择各个状态下的最优行动。无论采用哪种学习范式,推理都是最终阶段,在这一阶段形成可付诸行动的结果和洞察。

AI推理基础设施:硬件、网络和安全


企业需要涵盖硬件、运行时软件和交付基础设施的全栈支持,才能将训练好的模型转化为可在大规模运行时可靠响应的服务。企业AI推理不仅依赖GPU和模型,还依赖连接用户、数据、API和推理端点的应用交付与安全基础设施。

硬件加速器

推理工作负载在专用处理器上运行,处理器的选择取决于具体用例对吞吐量、延迟和成本的平衡要求。图形处理器(GPU)仍是常见的首选,因为其并行架构适合推理所依赖的矩阵运算和深度学习。如果组织希望以更具成本效益、更节能的方式运行特定模型架构,专用集成电路(ASIC)和其他定制芯片(包括云提供商自研的推理芯片)也是常见选择。新一代GPU通常会提高内存带宽,并增加对更低精度格式的支持,使单个加速器能够支持比前几代更大的模型或更多的并发请求。

运行时引擎

运行时引擎有时也称为推理服务器,位于训练好的模型与请求预测的应用之间。它负责加载模型、批量处理传入请求、管理硬件资源并返回结果。之所以需要运行时引擎,是因为面向大量并发用户高效、大规模地运行模型,与在单台机器上训练或测试同一模型,是不同的工程问题。

模型优化技术

生产环境中的推理系统经常使用两种技术:量化和KV缓存。量化通过降低模型权重和激活值的数值精度,例如从16位浮点数(FP16)降至8位整数(INT8),来减少内存占用,并可在专为加速低精度运算而设计的硬件上提升计算速度。其代价是准确性略有下降,但通常在可控范围内,因此团队一般会在部署前,将量化后的模型与原始版本进行对比验证。KV缓存用于基于Transformer的语言模型,存储先前生成的词元的注意力数据,避免模型每生成一个新词元就重复计算这些数据,从而显著减少生成较长回复所需的计算量。

低延迟网络与API安全

由于推理通过应用程序编程接口(API)向用户和应用开放,请求与模型之间的网络路径与模型自身的处理时间同样重要。应用与其推理端点之间的网络延迟、拥塞和低效路由,可能抵消更快的GPU或更小的量化模型带来的性能提升。除了所有对外开放的API都面临的常见风险外,推理API还带来了一系列较新的安全问题,包括提示词注入、通过模型输出窃取数据,以及未经授权访问成本高昂的计算资源。因此,企业在制定推理策略时,越来越注重将硬件和模型选型与专门的流量管理及API安全相结合。

管理企业推理工作负载

推理工作负载的运行特性各不相同,为其提供支持的基础设施需要考虑这些差异。企业通常会管理以下四类模式中的若干种:实时推理、批量推理、边缘推理,以及生成式AI和LLM推理。每种模式都有各自的延迟要求和扩展方式。

实时推理(或在线推理)

实时推理每次处理一个请求,并立即返回结果,通常只需几毫秒。这种模式适用于对时间敏感的用例,例如交易发生时的欺诈检测、聊天机器人的实时响应或自动驾驶车辆的感知。在这些场景中,延迟返回的结果与错误结果一样,都无济于事。

批量推理

批量推理将多个请求集中起来统一处理,通常按计划或在非高峰时段执行。由于单个请求的延迟不如总吞吐量重要,批处理作业可以更充分地利用可用硬件。常见示例包括在夜间生成产品推荐,或对大规模客户数据集进行流失风险评分。

边缘推理

边缘推理在生成数据的设备上或其附近运行模型,例如智能手机、摄像头或工业传感器,而不是将数据发送到集中式数据中心或云区域。这可以降低延迟,支持离线或间歇性联网的使用场景,并有助于满足数据隐私或数据驻留要求,但通常需要运行规模更小或压缩程度更高的模型版本,以适配可用硬件。

生成式AI和LLM推理

生成式AI和大语言模型(LLM)工作负载逐个生成词元,而非一次性返回单个结果,因此其资源使用情况比分类或回归模型更难预测。提示词较短但生成的响应较长时,消耗的计算资源远多于提示词较长但响应较短的情况,而且随着使用量增长,工作负载可能迅速变化。这种可变性是生成式AI工作负载比早期机器学习推理给负载均衡和基于Kubernetes的扩缩容带来更大压力的主要原因之一,因为容量必须随使用模式灵活调整,而这些模式的变化以分钟而非天为单位。

机器学习推理的实际应用

机器学习推理的影响遍及众多行业。例如,在医疗领域,推理可帮助医生检测CT扫描或MRI等医学影像中的异常,比人工方法更快地标记潜在问题。在金融行业,高频交易公司和银行利用推理来预测市场趋势、检测信用卡交易中的潜在欺诈行为,并评估信贷风险。零售商将推理融入推荐引擎,根据个人购物行为提供个性化商品推荐,大幅提升用户体验。

除了这些较常提及的示例,机器学习推理还为语音助手、智能摄像头的人脸识别功能,以及教育软件中的个性化学习路径提供支持。通过处理语音指令、实时视频流或性能指标等新数据,模型可即时给出答案并执行操作。因此,各行业的企业正利用基于推理的洞察来提高效率、降低成本并提升客户满意度。结合大规模数据和集成基础设施,推理让组织能够更主动地应对当前趋势,并更准确地预测未来发展。

机器学习推理与训练的对比

比较机器学习推理与训练,可以看出组织在追求各类AI工作负载的高性能时需要做出的权衡。训练需要大量计算资源、数据科学专业知识以及丰富的历史数据。这一阶段资源消耗大,涉及实验、超参数调优和验证检查。受这些因素影响,训练周期可能长达数小时、数天甚至数周,对于深度学习模型或超大规模数据集尤其如此。

相比之下,推理通常需要在约束条件下运行,优先考虑速度和可扩展性。其目标是在不牺牲模型准确性的前提下,近乎实时地处理新数据。这可能给生产环境带来挑战,因为网络延迟或硬件加速能力受限等瓶颈可能导致性能下降。组织往往需要在模型重新训练的频率(以保持模型更新)与处理推理请求的效率之间寻找适当的平衡。企业通常通过迁移学习、模型压缩和边缘计算等技术来优化这两个方面,力求在有效管理计算成本的同时,实现高准确性的模型预测。

F5如何助力企业AI部署

F5帮助组织保护、扩展和编排企业AI部署,依托的平台是F5 Application Delivery and Security Platform。互联AI模型通常依赖分布式API,F5通过应对由此带来的挑战,简化工作流、强化基础设施,并确保在混合云和多云环境中实现无缝性能表现。F5通过面向AI数据摄取的智能流量管理和高级威胁防护,支持高效训练、微调和推理。通过与NVIDIA和Intel等行业领军企业合作,F5提供量身定制的解决方案,简化AI运营、增强安全性,让企业能够满怀信心地充分发挥企业AI的潜力。了解更多,探索F5如何在各种环境中保护和交付AI应用。

在混合云和多云环境中部署AI推理

大多数企业在本地数据中心、公有云和边缘位置组成的混合环境中运行推理,每种环境都有各自需要考虑的延迟、成本和合规性问题。F5通过其产品组合中的多项产品应对这种复杂性。使用F5 AI Gateway这样的AI网关,可为团队提供统一控制点,以治理、保护和优化流向AI模型、智能体及工具的流量,无论这些模型在何处运行。

F5 Distributed Cloud将一致的网络和安全策略扩展至数据中心、云和边缘站点,使推理流量能够在不同环境之间流动,同时避免安全态势碎片化。面向AI工厂构建的负载均衡解决方案可在GPU集群和Kubernetes环境之间路由推理和训练流量,无论这些资源部署在本地,还是通过GPU即服务提供,都有助于避免昂贵的加速器资源闲置。作为F5 ADSP的一部分,这些解决方案为组织提供统一架构,用于连接用户、数据、API和推理端点,无需为每个环境拼凑独立的单点解决方案。

在AI和机器学习中,推理是连接训练与实际应用的桥梁。它将模型开发过程中学到的复杂模式转化为可付诸行动的洞察,为从个性化推荐、欺诈检测到医疗诊断、聊天机器人交互等各类应用提供支持。推理聚焦于如何处理新数据以及如何交付输出,是机器学习真正体现价值的阶段,使组织能够依据数据做出决策,并实时改善用户体验。

随着越来越多的行业采用AI驱动的解决方案,推理的重要性持续上升。推理不仅需要高效可靠的基础设施(通常包括编排层和专用硬件),也凸显了精心设计、能够适应条件变化的模型的价值。通过将繁重的训练工作与快速迭代的推理过程分离,现代AI系统可以在不牺牲性能或速度的前提下,持续跟上变化、满足实际需求。从在线推荐等日常应用,到预测性维护和高级诊断等关键任务,机器学习对工作、生活和创新方式的影响日益扩大,而推理正是其中的核心环节。