生成式人工智能对application性能的影响
关于消费者不耐烦的研究有很多。 如果某个应用程序表现不佳，他们会放弃它、删除它，并在社交媒体上大声抱怨。 对于很多人来说，“响应不佳”的意思是“在几秒钟内做出回应”。
进入生成式人工智能——根据经验和基准，其响应时间通常远远超过几秒钟。 但是，就像我们与朋友和家人的文字对话一样，当聊天机器人在“思考”时，我们会看到一个动画“...”来表示即将做出回应。
出于某种原因，动画激活了一种近乎数字化的巴甫洛夫反应，让我们愿意等待。 或许原因在于拟人化的心理，它倾向于让我们以更加友善的眼光看待具有类似人类个性的非人类。 因此，因为我们认为人工智能至少与人类类似，所以我们赋予它与赋予人类相同的恩惠。
无论我们愿意等待今天的人工智能用户体验的原因是什么，这都引发了一个问题：这种等待能持续多久？ 随着越来越多的应用集成、增强并融入人工智能功能，有关可接受性能的问题变得越来越重要。
对于 AI 用户体验来说，多少延迟是可以接受的？ 引入延迟的位置是否重要，或者只有当我们知道涉及生成式人工智能时才可以接受？
这是一个需要研究的重要领域，因为我们知道应用安全的禁忌之一就是在过程中引入延迟。 尽管现实情况是需要延迟来检查和评估内容以抵御已知威胁（SQLi、恶意代码、提示注入），但应用安全服务的用户会迅速关闭任何导致性能下降的解决方案。
我给你提供证据 A，这是我们2022 年application战略状况调查中关于这个主题的一个问题的答案，其中大约 60% 的 IT 和业务领导者会关闭安全控制，以获得 1% 到 50% 的性能提升。
显然，性能很重要，而延迟被视为一件非常糟糕的事情™。 那么，问题就变成了，对于 AI 用户体验来说，多少延迟是可以接受的？ 以前“响应时间必须小于X秒”的措施还适用吗？ 或者人工智能是否会对所有应用程序（或仅对那些明显是人工智能的应用程序）进一步突破这一限制。
如果我们的耐心只是最初的反应，部分原因是生成式人工智能的新颖性，那么当新鲜感消失后我们该怎么办？
如果按照目前的趋势，推理速度变得更快，那么这个问题可能就变得毫无意义了。 但如果不是这样，那么提供、保护和支持人工智能的组件和服务是否需要更快才能弥补推理速度缓慢的问题？
这个行业发展的速度就是如此之快。 我们的问题引发了更多的问题，而在我们得到答案之前，新的问题又出现了。 未解答问题的积压看起来就像企业中的故障单，有人拔掉了核心交换机，然后所有 IT 人员就下班了。
我们知道，应用交付和安全将因人工智能而改变。无论是那些希望使用人工智能来增强客户和企业运营的人，还是那些为他们构建解决方案的人，都有这样的需求。 显而易见的解决方案——人工智能网关、数据安全以及针对DDoS等传统攻击的防御——很容易回答，而且我们已经开始着手解决这些问题了。 但了解长期影响是一项更为困难的任务，特别是在性能方面。
因为另一个现实是，在遇到物理限制之前，硬件只能让我们走这么远，然后就需要由业内的其他部分来想办法提高这个对每个企业来说都至关重要的组成部分的性能。