什么是边缘 AI？ 在边缘探索人工智能
边缘人工智能代表在边缘计算环境中部署人工智能算法和模型，使计算能力和智能更接近决策制定的地方，部分是为了抵消边缘站点和云之间的连续通信流。 边缘AI使网络外围的设备能够在本地处理数据，从而无需依赖互联网连接或集中式云服务器进行处理即可进行实时决策，从而提高计算速度并改善数据隐私和安全性。
了解边缘 AI
边缘人工智能是多种技术的融合，包括人工智能、物联网 (IoT)、边缘计算和嵌入式系统，每种技术在实现网络边缘的智能处理和决策方面都发挥着至关重要的作用。 边缘人工智能涉及使用嵌入式算法来监控远程系统的活动，以及处理传感器和其他非结构化数据跟踪器等设备收集的数据，包括温度、语言、面部、运动、图像、接近度和其他模拟输入。
这些远程系统可以采用多种形式，包括传感器、智能手机、物联网设备、无人机、摄像机，甚至车辆和智能家电。 从这些系统收集的数据作为边缘人工智能算法的输入，提供有关系统或周围环境状态的宝贵信息，使边缘人工智能系统能够快速响应变化或异常并了解其运行的环境。 由于成本、延迟、带宽、安全性和隐私相关问题，这些边缘 AI应用在集中式云或企业数据中心环境中运行是不切实际的，甚至不可能。
边缘人工智能涵盖广泛的用例，包括：
- 自动驾驶汽车。 边缘人工智能使车辆能够实时分析传感器数据，从而针对物体检测、车道跟踪和避免碰撞等任务做出瞬间决策，而无需持续依赖云连接。
- 智慧城市。 部署在城市各处的传感器和摄像头的数据可以为各种智慧城市应用提供支持，包括交通管理、公共安全监控、废物管理和能源优化。
- 农业监测。 边缘人工智能通过分析来自传感器、无人机和卫星图像的数据来监测作物健康状况、优化灌溉、检测虫害并对环境条件进行实时分析，从而支持精准农业。
- 工业物联网。 通过在制造设备和传感器上直接部署人工智能算法，边缘设备可以监控机器健康状况、检测缺陷并优化生产流程，而无需依赖集中式服务器。
- 医疗保健监测。 Edge AI 通过分析可穿戴设备、医疗传感器和成像设备的数据来实时分析医疗数据并提醒医疗保健提供者注意潜在的健康问题，从而支持远程患者监控和个性化医疗。
边缘 AI 与 云人工智能
部署人工智能算法和模型有两种主要范例：在边缘或在云端。 跨云和边缘站点的系统的集成策略被称为“云入”或“边缘出”，两者都对性能、安全性和操作有影响。
边缘人工智能涉及在远程设备上部署人工智能，以实现在网络边缘或分散环境中的实时处理和决策。 这些系统可以在本地进行大量数据分析，而无需依赖网络连接或将数据传输到集中式服务器，从而降低延迟并加快响应时间。 边缘 AI 系统还将敏感数据保存在本地，从而降低了与将数据传输到云端相关的隐私泄露风险或安全风险。
边缘人工智能的例子包括使用本地部署的人工智能来分析传感器数据以做出实时驾驶决策的自动驾驶汽车，以及使用边缘人工智能来处理语音命令或监视场所内是否有入侵者的智能家居设备。
而云AI的特点是将AI算法和模型部署在中心化的云服务器上，进行大规模数据的处理、训练和推理。 云资源带来了强大的计算能力，支持需要大量计算能力的复杂人工智能任务，例如深度学习训练或大数据分析。 云 AI 解决方案可以轻松扩展以容纳大量数据和用户，使其适用于高吞吐量或资源密集型要求的应用。
亚马逊或 Netflix 所使用的推荐引擎根据大量用户数据为消费者提供新产品或替代产品选择，就是需要大量计算资源才能实现最佳运行的大规模云 AI 系统的例子。
其他 AI 用例包括边缘 AI 和云 AI，以满足特定的客户需求。 现实生活中的例子包括总部位于新加坡的人工智能和数据平台提供商 Sentient.io，该公司开发了 Sentient Marketplace，这是一个创新人工智能服务的中心，允许企业轻松地将人工智能集成到他们现有的工作流程中。 然而，市场的快速成功带来了一些复杂的挑战，包括在分布式环境（本地、公共云、私有云和边缘）中操作和部署人工智能服务的困难。
当在客户站点跨多个提供商运营时，单个云提供商解决方案可能会提供专有的 Kubernetes 发行版，这对于需要在各自云环境中利用这些平台的组织来说可能会很困难。 Sentient 的 AI 模型在客户站点的部署过程也很繁琐，需要为每个边缘站点设置本地 Kubernetes 环境，并手动处理新模型的更新和同步。 这增加了操作的复杂性以及工作流程编排和安全策略的不一致。
Sentient.io 与 F5 合作，使用F5 分布式云应用堆栈（一种企业级 Kubernetes 平台，可简化跨本地、云端和边缘位置的部署）为各个垂直领域的客户提供交钥匙企业级 AI“即服务”解决方案。 该解决方案简化了 Sentient 的运营，减少了延迟并实现了边缘的实时 AI 处理。 在边缘进行推理可消除由于地理位置造成的网络和带宽限制，并确保实时将推理立即传递给应用。 模型部署的转变使 Sentient.io 能够以更快的价值实现时间向客户提供高性能 AI应用、优化资源配置、降低总体运营成本并本地集成应用和 API 安全性。
与之前手动管理多个云平台的流程相比，此次合作还节省了显著的成本，因为之前手动管理多个云平台需要专门的团队并产生大量的资源成本。 借助F5 分布式云服务， Sentient 简化了运营，通过优化资源和简化应用管理来削减成本，释放资源以用于其他战略计划。
访问边缘 AI
访问边缘 AI 涉及部署设备、技术、基础设施组件和集成的组合，以便在网络边缘有效访问和利用 AI 功能。 这些包括：
- 边缘设备。 边缘设备嵌入传感器和微控制器，从物理世界收集数据，并可托管边缘 AI 模型进行本地处理。 物联网设备的例子有智能恒温器、监控摄像头、土壤湿度监测器和工业传感器。 边缘设备还可以包括智能手机和平板电脑，它们不仅可以感知环境，还可以利用其处理能力和连接性来执行边缘 AI 任务。
- 技术。 在网络边缘运行人工智能系统需要许多专门的技术，包括训练有素的算法和针对资源受限设备部署而优化的人工智能模型。 Edge AI 框架和平台也可提供工具和库来简化系统开发和部署。
- 基础设施。 边缘 AI 设备在必要时需要可靠的网络连接来相互通信并与集中式服务器进行通信，并且可以包括边缘服务器、网关和路由器等硬件组件。 此外，API 是 AI 架构中的关键，使不同的组件和服务能够相互通信，并允许它们交换数据和指令。
- 集成。 边缘 AI 系统必须能够与现有网络和基础设施集成，以确保数据可访问性、实现可扩展性和与系统其他组件的兼容性，并减轻管理复杂性。
此外，请注意部署和访问边缘 AI 所面临的以下挑战和限制。
- 有限的计算能力和连接性。 大多数边缘设备的处理能力、内存和存储空间有限，这会限制可在边缘运行的 AI 模型的复杂性和大小。 此外，边缘设备通常在网络连接选项有限的环境中运行，这也会影响边缘 AI 系统的响应能力、性能和可靠性。
- 成本和可用性。 许多 AI 模型受益于图形处理单元 (GPU) 和数据处理单元 (DPU) 等工作负载加速器，以实现更快的处理速度，但 GPU 价格昂贵，并且由于物理限制，可能太大而无法用于小型化外形尺寸。 这可能会限制可在边缘设备上部署的人工智能算法的类型，并且可能需要替代优化技术。
- 数据隐私。 一些边缘 AI 系统在本地生成和处理敏感或受保护的数据，从而引发对数据隐私和 HIPAA 或 GDPR 等法规合规性的担忧。 确保数据隐私和遵守法律要求可能需要实施适当的数据匿名化、加密和访问控制措施。
- 设备管理。 部署、监控、更新和维护分布在不同地理位置的边缘 AI 系统可能具有挑战性，并且需要高效的管理工具和平台。
边缘 AI 安全措施
保护边缘 AI 部署中的数据和降低安全风险需要采取整体方法，强调多层次的安全方法。 虽然边缘人工智能在一些重要方面与传统计算工作负载不同，例如它能够从数据中学习并根据经验发展行为，但就安全要求而言，边缘人工智能与更传统的物联网系统有很多共同之处，并且具有许多相同的风险，包括：
- 恶意软件和网络攻击。 如果没有得到适当的保护，边缘 AI 设备很容易受到恶意软件感染、网络攻击和远程利用。 实施防病毒软件、入侵检测系统和定期软件更新应该成为每个边缘 AI安全策略的一部分。
- 网络安全。 边缘人工智能设备通常通过网络相互通信并与集中式服务器通信，这使它们成为基于网络的攻击的潜在目标。 使用加密、身份验证和访问控制机制来保护网络通信，以保护传输中的数据并防止未授权访问网络资源。
- 数据完整性。 要保持AI模型和决策过程的准确性和可靠性，就需要保护边缘AI设备处理的数据的完整性。 检测和减轻数据篡改、操纵或损坏需要实施数据验证、校验和和完整性检查以验证数据输入的真实性和一致性。
- 物理安全。 边缘 AI 设备通常部署在远程或恶劣的环境中，因此容易受到损坏、物理篡改、盗窃或破坏。 物理保护措施（例如防篡改外壳或监控摄像头）有助于保护设备免受损坏、操纵或未授权访问。
- API 安全。 包括插件在内的人工智能生态系统通过 API 来促进，但这些 API 容易受到漏洞、滥用、错误配置以及绕过不良身份验证和授权控制的攻击。
- 大型语言模型 (LLM) 安全性。 大语言模型 (LLM) 以及与基于生成式人工智能的应用中的决策相关的训练和推理过程面临许多风险，包括提示注入、数据中毒、幻觉和偏见。
为了深入了解部署和管理基于 LLM 的 AI 系统（包括边缘 AI应用）所涉及的安全风险，请查看OWASP 大型语言模型应用Top 10 ，它可以提高人们对其漏洞的认识，提出补救策略，并寻求改善 LLM应用的安全态势。
边缘 AI 的优化策略
由于其位于网络边缘或其他远程位置，因此优化边缘 AI 基础设施的性能、资源利用率、安全性和其他考虑因素非常重要。 然而，对于资源受限的设备来说，优化效率和性能可能具有挑战性，因为在保持可接受的性能的同时最小化计算、内存和能源需求通常需要权衡。
增强边缘 AI 的性能
存在多种策略来优化边缘的计算性能，同时限制能耗。 实施低功耗模式、睡眠状态或动态电压和频率调整 (DVFS) 等省电技术有助于降低能耗。 GPU 和 DPU 等硬件加速器可以从 CPU 卸载计算密集型任务，从而提高推理速度。 使用动态批处理、自适应推理或模型稀疏性等技术来优化资源利用率，同时保持性能。 不太密集的任务可以由 CPU 资源来处理，这强调了在高度分布式架构中资源池化的重要性。
适应边缘计算的模型
边缘AI设备通常计算资源有限，因此需要部署针对边缘设备优化的轻量级AI模型。 这意味着在选择最适合设备资源和应用要求的模型时，需要在模型复杂性、准确性和推理速度之间取得平衡。 模型量化、修剪和知识提炼等技术可以帮助减少人工智能模型的规模，而不会显著降低性能。
优化边缘安全性
“消失的边界”是指由于移动设备、云计算和边缘计算等因素的影响，传统网络边界变得越来越不明确。 在边缘人工智能的背景下，边界消失意味着边缘人工智能设备通常部署在网络边缘的远程和动态网络环境中，在数据中心或云环境之外运行，并且超越防火墙或入侵检测系统等传统的基于边界的安全措施。 因此，边缘 AI 安全具有特殊要求，并且必须进行优化以防范孤立位置和复杂分布式环境中的未授权访问等威胁，这些威胁使安全管理和可见性成为一项挑战。
此外，API 提供了使 AI应用的多个部分能够交换数据和指令的连接组织。 保护这些 API 连接及其传输的数据是公司在部署支持 AI 的应用时必须面对的关键安全挑战，因此需要部署Web 应用程序和 API 保护服务，以动态发现端点并自动保护其免受各种风险的侵害。
大型语言模型的安全性
LMM 是基于大量文本数据的人工智能模型，经过训练可以理解和生成具有类似人类的流畅性和连贯性的自然语言输出。 LLM 是生成式 AI应用的核心，通常通过从互联网上系统抓取的输入数据和内容进行训练，包括在线书籍、帖子、网站和文章。 然而，这些输入数据容易受到恶意行为者的攻击，他们故意操纵输入数据来误导或损害生成式人工智能模型的性能，导致漏洞、偏见、不可靠的输出、隐私泄露以及未经授权的代码的执行。
大语言模型面临的最大安全风险包括：
- 及时注射。 攻击者可以操纵 LMM 输入提示来影响生成的输出，并通过生成有偏见、攻击性或不准确的内容来破坏 LLM 生成的输出的可信度和可靠性。
- 模型中毒。 这些攻击涉及在 LLM 的训练阶段注入恶意数据来操纵其行为或损害其性能。 通过将中毒数据样本引入训练数据集，攻击者可以将偏见、漏洞或后门插入到训练后的 LLM 模型中。
- 模型拒绝服务（DoS）。 这些攻击针对 LLM 的可用性和性能，通过恶意请求或输入使 LLM 不堪重负，这些请求或输入可能会超出请求标记化和 LLM 上下文窗口阈值，从而导致速度变慢、中断或服务中断。 这些资源耗尽攻击可能导致性能下降或系统不稳定，影响人工智能系统的可用性和可靠性，并损害模型学习和响应用户提示的能力。
为了应对这些安全挑战，需要采取多方面的方法来防止提示注入，并采用提示清理、输入验证和提示过滤等技术，以确保模型不会被恶意制作的输入所操纵。 为了抵御 DoS 攻击，请创建分层防御策略，包括速率限制、异常检测和行为分析，以检测和识别可疑或恶意的网络活动。 该行业仍在不断发展以有效管理这些风险，从而导致应用堆栈中的 LLM 代理、防火墙、网关和安全中间件的快速发展。
边缘人工智能的未来
边缘人工智能是网络边缘快速发展的一系列技术的一部分，它正在开启智能、响应迅速、更高效的计算环境的新时代。 这些技术处于处理器、网络、软件和安全进步的交汇处，为各个行业的创新和转型开启了新的可能性。 这些边缘计算用例利用网络边缘的实时分析和决策，使组织能够更接近数据来源处理和分析数据，并改善延迟敏感应用的响应时间或确保实时交付内容。
在网络边缘分配计算资源还允许组织快速适应不断变化的工作负载需求并优化资源利用率，以提高整体系统性能和效率。 这些可能性在一定程度上归功于边缘计算基础设施专用组件的发展，例如边缘服务器、边缘计算平台和库，以及提供必要的计算、存储和网络资源来支持边缘 AI应用的片上 AI 处理器。
边缘人工智能在推动网络边缘基础设施复兴方面发挥了关键作用，人工智能与物联网的融合继续推动边缘智能决策，推动医疗保健、工业自动化、机器人、智能基础设施等领域的革命性应用。
TinyML 是一种机器学习和人工智能方法，其重点在于创建轻量级软件机器学习模型和算法，这些模型和算法针对部署在资源受限的边缘设备（如微控制器和边缘人工智能设备）进行了优化。 基于 TinyML 的算法旨在节能，并且能够在本地运行推理任务而无需依赖云资源。
此外，紧凑而强大的处理器（如 DPU）是专门设计用于卸载和加速 CPU 数据处理任务的硬件组件，越来越多地用于边缘计算和 AI/ML 工作负载，其中高效处理大量数据对于性能和可扩展性至关重要。 这种效率在边缘计算环境中尤其有价值，因为在边缘计算环境中，功率限制可能会限制高能耗 GPU 解决方案的使用。
将这些创新连接到边缘到云到数据中心的连续体是新一代网络解决方案，可实现跨分布式架构（包括混合、多云和边缘计算资源）的无缝数据处理、分析和可观察性。 这些网络将越来越依赖 API，API 是边缘计算平台的重要组成部分，因为它们促进通信、集成和自动化，从而实现分布式计算环境内的无缝数据交换和同步。 API 还通过提供标准化接口实现不同边缘设备、系统和服务之间的互操作性，从而允许动态配置、管理和控制边缘资源和服务。
在这些广泛分布的架构中，数据可以在连续体上的多个点进行安全地处理和分析，范围从靠近数据源的边缘设备到位于数据中心的集中式或分散式云服务器。 这种边缘到无处不在的连续性使组织能够安全地利用多种计算环境的优势，并整合传统和人工智能工作负载，以满足现代应用的多样化需求。
F5 如何提供帮助
F5 是唯一一家能够在分布式环境中随时随地保护、交付和优化任何应用程序、任何 API（包括网络边缘的 AI应用）的解决方案提供商。 基于人工智能的应用程序是现代应用程序中最现代的，虽然对于采用 GenAI 的系统有特定的考虑，例如 LLM 风险和分布式推理，但这些应用也容易受到延迟、拒绝服务、软件漏洞以及不良行为者使用机器人和恶意自动化的滥用的影响。
新的人工智能驱动的数字体验高度分布，混合了跨本地、云和边缘环境的数据源、模型和服务，所有这些都通过不断扩展的 API 网络连接，这带来了重大的安全挑战。 在部署更多支持 AI 的服务时，这些 API 连接及其传输的数据的保护是公司必须面对的关键安全挑战。
F5 分布式云服务提供业界最全面、支持 AI 的 API 安全解决方案，通过 API 代码测试和遥测分析来帮助防御复杂的 AI 威胁，同时更轻松地保护和管理多云和边缘应用环境。 F5 多云网络解决方案通过单一控制台为公有云、私有云和边缘部署提供具有流量优化的基于 SaaS 的网络和安全服务，减轻了依赖云的服务和多个第三方供应商的管理负担。 借助 F5 网络解决方案，您可以获得加速的 AI 部署、端到端策略管理和可观察性，从而实现完全自动化和可靠的基础设施。
此外，全新F5 AI Data Fabric为构建创新解决方案奠定了基础，可帮助客户做出更明智的决策并更快地采取行动。 分布式云服务、BIG-IP 和 NGINX 的遥测相结合，提供无与伦比的洞察力、生成实时报告、自动执行操作并为 AI 代理提供支持。
F5 还发布了一款 AI 助手，它将改变客户使用自然语言界面与 F5 解决方案交互和管理的方式。 在 F5 AI Data Fabric 的支持下，AI 助手将生成数据可视化、识别异常、查询和生成策略配置并应用补救步骤。 它还将充当嵌入式客户支持管理器，允许客户提出问题并根据整个产品知识库的模型训练获得建议。
通过为基于 AI 的应用程序提供支持和保护（从数据中心到边缘），F5 解决方案提供了强大的工具来提供可预测的性能和安全性，以便您可以从 AI 投资中获得最大价值。
