什么是边缘AI?了解边缘人工智能
边缘AI是指在边缘计算环境中部署人工智能算法和模型,将计算能力和智能能力推近决策发生的位置,部分目的是减少边缘站点与云端之间持续通信的需求。边缘AI使网络边缘的设备能够在本地处理数据,无需依赖互联网连接或集中式云服务器进行处理即可实时决策,从而提高计算速度,并改善数据隐私和安全性。
了解边缘AI
边缘AI融合了人工智能、物联网(IoT)、边缘计算和嵌入式系统等多种技术,每种技术都在实现网络边缘的智能处理与决策中发挥着关键作用。边缘AI使用嵌入式算法监控远程系统的活动,并处理传感器及其他非结构化数据追踪设备采集的数据,包括温度、语言、人脸、运动、图像、接近程度和其他模拟输入。
这些远程系统可以有多种形态,包括传感器、智能手机、IoT设备、无人机、摄像头,甚至车辆和智能家电。从这些系统收集的数据可作为边缘AI算法的输入,提供有关系统状态或周边环境的宝贵信息,使边缘AI系统能够快速响应变化或异常,并了解其运行环境。由于成本、延迟、带宽、安全和隐私等相关问题,在集中式云或企业数据中心环境中运行这些边缘AI应用并不现实,甚至无法实现。
边缘AI涵盖广泛的用例,包括:
- 自动驾驶车辆。 边缘AI使车辆能够实时分析传感器数据,在目标检测、车道跟踪和碰撞规避等任务中瞬间做出决策,而无需持续依赖云连接。
- 智慧城市。部署在城市各处的传感器和摄像头所采集的数据,可为交通管理、公共安全监测、废弃物管理和能源优化等多种智慧城市应用提供支持。
- 农业监测。 边缘AI通过分析传感器、无人机和卫星影像数据,监测作物健康状况、优化灌溉、检测虫害并实时分析环境状况,为精准农业提供支持。
- 工业物联网。通过在制造设备和传感器上直接部署AI算法,边缘设备无需依赖集中式服务器,即可监测机械设备的健康状况、检测缺陷并优化生产流程。
- 医疗健康监测。边缘AI通过分析可穿戴设备、医疗传感器和影像设备的数据,实时分析医疗数据,并提醒医疗服务提供者注意潜在的健康问题,从而支持远程患者监测和个性化医疗。
边缘AI与云端AI对比
AI算法和模型主要有两种部署方式:边缘部署或云端部署。整合跨云端和边缘站点系统的策略称为“cloud-in”或“edge-out”,两者都会影响性能、安全性和运维。
边缘AI是指在远程设备上部署AI,以便在网络边缘或去中心化环境中实现实时处理和决策。这些系统可在本地完成大部分数据分析,无需依赖网络连接或将数据传输到集中式服务器,从而降低延迟并缩短响应时间。边缘AI系统还将敏感数据保留在本地,减少因将数据传输到云端而产生的隐私泄露风险或安全风险。
边缘AI的应用示例包括自动驾驶汽车和智能家居设备。前者利用本地部署的AI分析传感器数据,实时做出驾驶决策;后者利用边缘AI处理语音指令或监测场所内是否有入侵者。
相比之下,云端AI将AI算法和模型部署在集中式云服务器上,支持大规模数据处理、训练和推理。云资源提供强大的计算能力,能够执行深度学习训练或大数据分析等需要海量算力的复杂AI任务。云端AI解决方案可以轻松扩展,以满足海量数据处理和大量用户的需求,因此适用于高吞吐量或资源密集型应用。
Amazon或Netflix使用的推荐引擎根据海量用户数据,为消费者推荐新产品或替代产品。这类引擎是大规模云端AI系统的典型示例,需要大量计算资源才能充分发挥性能。
其他AI用例同时涵盖边缘AI和云AI,以满足客户的特定需求。实际案例包括总部位于新加坡的AI和数据平台提供商Sentient.io。该公司开发了Sentient Marketplace,汇集创新AI服务,帮助企业轻松将AI集成到现有工作流中。然而,该市场的迅速成功也带来了多项复杂挑战,包括难以跨本地、公有云、私有云和边缘等分布式环境运行和部署AI服务。
在客户站点使用多家提供商的服务时,各云提供商的解决方案可能采用专有的Kubernetes发行版,这可能给需要在相应云环境中使用这些平台的组织带来挑战。此外,在客户站点部署Sentient的AI模型也十分繁琐,需要为每个边缘站点搭建本地Kubernetes环境,并手动更新和同步新模型。这增加了运维复杂性,并导致工作流编排和安全策略不一致。
Sentient.io与F5合作,利用F5 Distributed Cloud App Stack,为各行各业的客户提供开箱即用的企业级AI“即服务”解决方案。该Kubernetes平台可满足企业需求,简化本地、云端和边缘位置的部署。该解决方案简化了Sentient的运营,降低了延迟,并支持在边缘实时处理AI任务。在边缘执行推理可消除地理位置带来的网络和带宽限制,确保将推理结果即时交付给应用。这种模型部署方式的转变,使Sentient.io能够为客户提供高性能AI应用,更快实现价值,优化资源分配,降低整体运营成本,并原生集成应用和API安全功能。
此前,手动管理多个云平台需要专门的团队,并产生大量资源成本。相比之下,此次合作显著节省了成本。借助F5 Distributed Cloud Services,Sentient简化了运营,通过优化资源和简化应用管理降低成本,腾出资源用于其他战略举措。
接入边缘AI
访问边缘AI需要部署相应的设备、技术和基础设施组件,并进行集成,以便在网络边缘高效访问和利用AI能力。具体包括:
- 边缘设备。边缘设备内置传感器和微控制器,可从物理世界采集数据,并能承载边缘AI模型以进行本地处理。物联网设备的示例包括智能恒温器、监控摄像头、土壤湿度监测仪和工业传感器。边缘设备还可包括智能手机和平板电脑,这些设备不仅能感知周围环境,还能利用自身的处理能力和连接能力执行边缘AI任务。
- 技术。在网络边缘运行AI系统需要多种专门技术,包括经过训练的算法和AI模型,这些算法和模型经过优化,适合部署在资源受限的设备上。此外,还可使用边缘AI框架和平台提供的工具和库,简化系统开发和部署。
- 基础设施。 边缘AI设备之间的通信,以及必要时与集中式服务器的通信,都需要可靠的有线或无线网络连接,可涉及边缘服务器、网关和路由器等硬件组件。此外,API是AI架构的关键,可实现不同组件和服务之间的通信,以及数据和指令的交换。
- 集成。边缘AI系统必须能够与现有网络和基础设施集成,以确保数据可访问性,实现可扩展性及与系统其他组件的兼容性,并降低管理复杂性。
此外,还需注意部署和访问边缘AI时面临的以下挑战和限制。
- 计算能力和网络连接受限。大多数边缘设备的处理能力、内存和存储空间有限,这可能会限制可在边缘运行的AI模型的复杂度和规模。此外,边缘设备通常在网络连接选择有限的环境中运行,这也可能影响边缘AI系统的响应速度、性能和可靠性。
- 成本和可用性。许多AI模型可借助图形处理器(GPU)和数据处理器(DPU)等工作负载加速器提高处理速度,但尤其是GPU,成本高昂,且受物理尺寸限制,可能体积过大,无法用于小型化设备。这可能会限制可在边缘设备上部署的AI算法类型,并且可能需要采用其他优化技术。
- 数据隐私。一些边缘AI系统在本地生成和处理敏感或受保护的数据,引发了对数据隐私以及是否符合HIPAA或GDPR等法规的担忧。为确保数据隐私并满足法律要求,可能需要采取适当的数据匿名化、加密和访问控制措施。
- 设备管理。部署、监控、更新和维护分布在不同地理位置的边缘AI系统可能面临挑战,需要高效的管理工具和平台。
边缘AI安全措施
要保护边缘AI部署中的数据并降低安全风险,需要采取全面的措施,注重多层安全防护。虽然边缘AI在一些重要方面有别于传统计算工作负载,例如能够从数据中学习并根据经验调整行为,但在安全要求方面,边缘AI与较为传统的物联网系统有许多共同之处,也面临许多相同的风险,包括:
- 恶意软件和网络攻击。如果缺乏适当的安全防护,边缘AI设备容易感染恶意软件、遭受网络攻击,其漏洞也容易被远程利用。每项边缘AI安全策略都应包括部署防病毒软件和入侵检测系统,以及定期更新软件。
- 网络安全。边缘AI设备通常通过网络相互通信并与集中式服务器通信,因此可能成为网络攻击的目标。使用加密、身份验证和访问控制机制保障网络通信安全,以保护传输中的数据,防止未经授权访问网络资源。
- 数据完整性。要保持AI模型和决策过程的准确性与可靠性,需要保护边缘AI设备所处理数据的完整性。要检测并减轻数据篡改、操纵或损坏的影响,需要实施数据验证、校验和及完整性检查,以验证输入数据的真实性和一致性。
- 物理安全。边缘AI设备通常部署在偏远或恶劣的环境中,因此容易遭受损坏、物理篡改、盗窃或蓄意破坏。采用防篡改外壳或监控摄像头等物理防护措施,有助于保护设备免受损害、操纵或未经授权的访问。
- API安全。 包括插件在内的AI生态系统通过API运行,而API可能存在漏洞、遭到滥用或出现配置错误,还可能遭受绕过薄弱身份验证和授权控制的攻击。
- 大语言模型(LLM)安全。在基于生成式AI的应用中,用于决策的LLM及相关训练和推理过程面临诸多风险,包括提示注入、数据投毒、幻觉和偏见。
如需深入了解部署和管理基于LLM的AI系统(包括边缘AI应用)所涉及的安全风险,请参阅《OWASP大语言模型应用十大安全风险》。该文档旨在提高人们对LLM应用漏洞的认识,提供修复策略建议,并改善LLM应用的安全态势。
边缘AI优化策略
由于边缘AI基础设施部署在网络边缘或其他远程位置,因此需要在性能、资源利用率、安全性等方面进行优化。然而,为资源受限的设备优化效率和性能可能颇具挑战,因为在尽量降低计算、内存和能耗需求的同时维持可接受的性能,往往需要作出权衡。
提升边缘AI性能
有多种策略可在控制能耗的同时优化边缘计算性能。采用低功耗模式、休眠状态或动态电压频率调整(DVFS)等节能技术,有助于降低能耗。GPU和DPU等硬件加速器可将计算密集型任务从CPU卸载,从而提高推理速度。使用动态批处理、自适应推理或模型稀疏化等技术,可在保持性能的同时优化资源利用率。计算强度较低的任务可由CPU资源处理,这也凸显了在高度分布式架构中实现资源池化的重要性。
调整模型以适应边缘计算
边缘AI设备的计算资源通常有限,因此需要部署针对边缘设备优化的轻量级AI模型。这意味着,在根据设备资源和应用需求选择合适的模型时,可能需要在模型复杂度、准确性和推理速度之间取得平衡。模型量化、剪枝和知识蒸馏等技术有助于在不显著降低性能的情况下减小AI模型的体积。
优化边缘安全性
“边界消融”是指受移动设备、云计算和边缘计算等因素影响,传统网络边界日益模糊。在边缘AI场景中,边界消融意味着边缘AI设备通常部署在网络边缘的远程、动态网络环境中,运行于数据中心或云环境之外,也不在防火墙或入侵检测系统等传统边界安全措施的保护范围内。因此,边缘AI安全有其特殊要求,必须加以优化,以防范孤立位置以及复杂分布式环境中的未经授权访问等威胁。这些环境也给安全管理和可见性带来了挑战。
此外,API连接AI应用的各个部分,使其能够交换数据和指令。企业在部署具备AI功能的应用时,必须应对一项关键安全挑战:保护这些API连接及其传输的数据。因此,企业需要部署Web应用和API保护服务,动态发现端点并自动保护端点免受多种风险的影响。
大语言模型安全
LMM是基于海量文本数据的人工智能模型,经过训练,能够理解自然语言,并生成流畅、连贯程度接近人类的自然语言输出。LLM是生成式AI应用的核心,其训练通常使用从互联网上系统性抓取的输入数据和内容,包括在线书籍、帖子、网站和文章。然而,这些输入数据可能遭到恶意行为者的攻击。他们蓄意篡改输入数据,误导生成式AI模型或损害其性能,导致漏洞、偏见、输出不可靠、隐私泄露以及未经授权的代码执行。
LLM面临的主要安全风险包括:
- 提示词注入。攻击者可以操纵LMM的输入提示词来影响生成结果,使其生成有偏见、冒犯性或不准确的内容,从而损害LLM生成结果的可信度和可靠性。
- 模型投毒。 这类攻击在LLM的训练阶段注入恶意数据,以操纵模型行为或损害模型性能。攻击者通过向训练数据集引入投毒数据样本,可在训练后的LLM模型中植入偏见、漏洞或后门。
- 模型拒绝服务(DoS)。这类攻击针对LLM的可用性和性能,利用大量恶意请求或输入使模型不堪重负。这些请求或输入可能超出请求分词处理和LLM上下文窗口的阈值,导致运行速度减慢、服务受干扰或中断。这类资源耗尽攻击可能导致性能下降或系统不稳定,影响AI系统的可用性和可靠性,并削弱模型学习和响应用户提示的能力。
应对这些安全挑战需要采取多管齐下的方法,防止提示词注入,并采用提示词清理、输入验证和提示词过滤等技术,确保模型不受恶意构造的输入操纵。为抵御DoS攻击,应制定分层防御策略,结合速率限制、异常检测和行为分析,检测并识别可疑或恶意网络活动。行业仍在持续探索如何有效管理这些风险,推动了应用栈中LLM代理、防火墙、网关和安全中间件的快速发展。
边缘AI的未来
边缘AI是网络边缘一系列快速发展的技术之一,这些技术正推动计算环境迈入智能、响应迅速且效率更高的新时代。这些技术融合了处理器、网络、软件和安全领域的进展,为各行各业的创新与转型开辟了新的可能性。这些边缘计算用例利用网络边缘的实时分析与决策能力,使组织能够在更靠近数据源的位置处理和分析数据,缩短延迟敏感型应用的响应时间,或确保内容实时交付。
将计算资源分布在网络边缘,还能让组织快速适应不断变化的工作负载需求,并优化资源利用率,从而提升系统整体性能和效率。这些能力的实现,部分得益于专为边缘计算基础设施打造的组件不断发展,例如边缘服务器、边缘计算平台和库,以及片上AI处理器。这些组件提供必要的计算、存储和网络资源,为边缘AI应用提供支持。
边缘AI在推动网络边缘基础设施革新方面发挥了关键作用,而AI与物联网的融合持续推动边缘端的智能决策,促进医疗保健、工业自动化、机器人、智能基础设施等领域的革命性应用发展。
TinyML是一种机器学习和AI方法,其关注点之一是创建轻量级的软件机器学习模型和算法,并对其进行优化,以便部署在微控制器、边缘AI设备等资源受限的边缘设备上。基于TinyML的算法旨在提高能源效率,并支持在本地运行推理任务,而无需依赖云资源。
此外,DPU等小巧而强大的处理器正日益广泛地用于边缘计算和AI/ML工作负载。这类处理器是专用硬件组件,旨在从CPU卸载数据处理任务并加速处理。在这些工作负载中,高效处理大量数据对性能和可扩展性至关重要。这种效率在边缘计算环境中尤为重要,因为功耗限制可能会制约高能耗GPU解决方案的使用。
新一代网络解决方案将这些创新技术连接起来,构建从边缘到云再到数据中心的连续体,支持跨分布式架构实现无缝的数据处理、分析和可观测性,涵盖混合云、多云和边缘计算资源。这些网络将越来越依赖API。API是边缘计算平台的重要组成部分,可促进通信、集成和自动化,从而在分布式计算环境中实现无缝的数据交换与同步。API还通过提供标准化接口,实现不同边缘设备、系统和服务之间的互操作,并支持边缘资源和服务的动态配置、管理与控制。
在这些覆盖广泛的分布式架构中,数据可以在整个连续体中的多个位置得到安全处理和分析,从靠近数据源的边缘设备,到位于数据中心内集中或分散部署的云服务器。这种从边缘延伸至各处的连续体使组织能够安全地利用多种计算环境的优势,并整合传统工作负载与AI工作负载,以满足现代应用的多样化需求。
F5如何提供帮助
F5提供的解决方案可在各类分布式环境中的任意位置,为任何应用和API提供安全防护、交付和优化,包括位于网络边缘的AI应用。基于AI的应用代表了现代应用的前沿形态。采用生成式AI的系统虽然需要特别考虑大语言模型风险和分布式推理等问题,但这些应用同样面临延迟、拒绝服务、软件漏洞,以及恶意行为者利用机器人和恶意自动化实施滥用等问题。
全新的AI驱动型数字体验具有高度分布式特征,融合了横跨本地、云和边缘环境的多种数据源、模型和服务,并通过不断扩展的API网络相互连接,由此带来了严峻的安全挑战。随着企业部署更多AI赋能的服务,保护这些API连接及其传输的数据,成为企业必须应对的关键安全挑战。
F5 Distributed Cloud Services提供功能全面、可支持AI的API安全解决方案,通过API代码测试和遥测分析,帮助抵御复杂的AI驱动威胁,同时简化多云和边缘应用环境的安全防护与管理。F5 Multi-Cloud Networking解决方案通过单一控制台,为公有云、私有云和边缘部署提供基于SaaS的网络服务、流量优化和安全服务,减轻管理依赖云的服务及多家第三方供应商的负担。借助F5网络解决方案,可以加快AI部署,实现端到端策略管理,并获得可观测性,支持构建可全面自动化且可靠的基础设施。
此外,全新的F5 AI Data Fabric为构建创新解决方案奠定基础,帮助客户做出更明智的决策并更快采取行动。通过整合来自Distributed Cloud Services、BIG-IP和NGINX的遥测数据,可提供卓越的洞察、生成实时报告、自动执行操作,并为AI智能体提供支持。
F5还将推出一款AI助手,通过自然语言界面改变客户与F5解决方案交互及管理这些解决方案的方式。在F5 AI Data Fabric的支持下,这款AI助手将生成数据可视化视图、识别异常、查询和生成策略配置,并执行修复步骤。它还将充当内置的客户支持经理,让客户能够提问并获得建议,这些建议基于使用完整产品知识库训练的模型。
从数据中心到边缘,F5解决方案为基于AI的应用提供支持和保护,通过强大的工具提供可预期的性能和安全性,帮助您充分发挥AI投资的价值。

