人工智能已经成为常态,我们无法回到2010年前的时代。 生产力、创新和经济效益的提升带来了深远的变革。
尽管人工智能带来卓越的优势,但组织在采用过程中同样面临严峻风险。其中最紧迫的是影子人工智能——员工在未获 IT 负责人知晓或授权的情况下,私自使用人工智能工具。 这种做法虽然较新且仍在发展,却迅速成为重要的安全和合规隐患。
影子 AI 是影子 IT 的快速发展分支,影子 IT 指员工未经批准在企业内部使用的软件、云服务或系统,这一问题长期存在且难以管理。 影子 IT 已经给治理和安全带来压力,而影子 AI 则使情况更为复杂且充满风险。
影子人工智能的几个实例:
这些例子仅仅是开始。 各行各业中,每天都有无数其他影子人工智能的应用场景不断出现。 问题的规模如此巨大,Gartner® 预测“到2027年,75%的员工会在IT部门视野之外获取、修改或创建技术,而2022年这一比例仅为41%。 因此,自上而下、极度集中的网络安全运营模式无法奏效。 CISO需要将网络安全重构为精简且集中的职能,支持遍布企业各处的广泛专家与融合团队。 这种做法把网络安全拓展至企业边缘,更贴近技术与风险决策的制定与执行地点。” 1
我们尚未完全统计影子人工智能带来的财务损失,但其潜在危害明显且持续扩大。 若现在不采取行动,您的组织将面临严重事故、监管风险和客户信任度下降。
最令人担忧的漏洞之一是提示注入攻击,恶意用户通过操控AI的输入来绕过限制、泄露敏感数据或执行非预期操作。 AI模型通常默认信任输入,因此容易受到此类攻击。 一旦提示注入成功,攻击者就能诱使AI泄露内部数据、破坏自动化流程,或削弱决策系统的可靠性。
我们还特别关注数据泄露,尤其是敏感个人数据、受保护的健康信息、银行及财务记录、源代码和专有知识产权、登录凭据和访问密钥,以及客户记录的安全。
问题还在于可能会违规监管要求。 未经授权使用人工智能容易违反 GDPR、HIPAA、PCI DSS 及萨班斯-奥克斯利法案,导致公司面临处罚和声誉风险。
针对这些风险,一些企业已禁止员工使用未经批准的生成式人工智能工具。 例如,三星在2023年率先禁止使用ChatGPT及类似的AI聊天机器人,原因是担心敏感内部信息泄露。 随后,多家银行和其他企业也陆续发布了类似的限制和警示。
业内专家普遍不赞成全面禁止。
尽管存在合理风险,行业分析师仍建议采用预防政策和治理框架,而非完全禁止。
禁令往往适得其反。 我们很难执行禁令,它们常常抑制创新和士气,还可能让 AI 使用转入地下——这反而让你更难发现和管理。
正如一位 IT 领导者在Gartner 同行社区关于禁止 AI 工具的讨论中所言: “禁令根本行不通。 即便没有相关政策,这样做也会阻碍创新,并向员工和外界传达关于我们组织的错误信号。”
以下是组织当前可以立即采取的几项切实治理措施:
技术能提供可拓展的解决方案吗? 当然可以。
F5 今日宣布推出专为保护 AI 工作负载设计的数据泄露检测与防护功能,并将在未来几个月发布强大新能力,助力企业全面降低影子 AI 风险,特别是防范通过加密通道(多数 AI API 与 SaaS 平台的默认方式)未经授权使用 AI 工具的情况。
请持续关注我们的最新公告。 同时,您可在我们的Accelerate AI 网页了解F5 AI的所有最新动态。
GARTNER 是 Gartner, Inc. 和/或其附属公司在美国和国际上的注册商标和服务标志,在此使用时已获得许可。保留所有权利。
1Gartner,Maverick Research: 首席信息安全官必须转型,否则将面临过时,2025年6月19日