“数据是新的石油”或“数据是数字经济的润滑剂。” 如果你像我一样,你可能听过这些短语,或者甚至是更具商学院风格的短语“数据废气货币化”,甚至可以说是陈词滥调。 但就像所有好的陈词滥调一样,它们都基于一个基本事实,或者在这种情况下,基于一对互补的事实。 第一个事实是,正常操作过程产生的数据副产品确实包含潜在价值。 第二个相关但经常被忽略的事实是,提炼潜在价值的密集过程是一个多步骤的过程,尽管它在过程中确实有自然的进步和成熟阶段。
退一步来说,从运营中收集数据以获取商业价值的概念当然不是什么新鲜事。 事实上,依赖于优化物流的行业(例如杂货和配送垂直行业)早已理解并接受了这一概念。 同样,现代企业走向“数字化转型”的趋势也是这一理念的概括,通常首先应用于内部业务流程和工作流程。 值得注意的是,应用和应用服务领域也存在类似的演变。 在本文中,我想重点关注应用和应用服务的发展如何与数据价值提取的大趋势互动和协调,这种共生关系目前在哪里,以及最终在不久的将来的发展方向。
这次旅程从数据收集开始。 将数据视为系统的燃料是有帮助的;如果没有燃料,就无法为发动机提供动力。 从表面上看,这似乎是既成事实,因为应用服务解决方案提供了大量可用的事件和统计数据——用于安全性、可靠性、性能管理和编排。 但数据通常是非结构化的,语法是可变的,并且语义通常是临时的。 想一个简单但常见的例子: 您的数据中如何体现时间概念? 通常,有很多种方法可以表示像时间戳这样概念简单的东西。 这表明需要一种通用语言,即描述事件和统计数据的基本“原子”的通用表示。 从技术角度来说,我们将其称为“数据提取”,它建立在一致的数据模式上,并根据需要利用适配器/转换器。 从历史上看,这种需求是推动 SIEM 供应商增长和价值的关键驱动因素之一,SIEM 供应商需要提供这种标准化词汇表,以便在大量安全点解决方案中提供整体的安全视图。 能够将数据以综合的形式呈现,即对现在正在发生的事情和过去发生的事情进行有组织的、整体的目击报告,这是当今大多数行业所处的阶段。 在当今的应用生态系统中,SIEM 和 APM 垂直市场主要体现了这一点。
旅程的下一步是理解目击者的报告:寻找共同点,将数据提炼为可描述的模式,并识别异常。 由于涉及的数据量巨大,人类通常会借助计算机来协助或增强其完成这项活动。 这种帮助可能采取先进的、通常是无监督的统计分类技术的形式,有时还会辅以人工引导的数据探索和可视化。
反 DoS 领域的一个例子是可视化传入流量的地理特性,通常用于识别来自少数国家/地区的恶意流量。 另一个例子是用户行为分析(“UBA”)工具领域,它描述人类行为与机器人行为的属性。 这些解决方案通常使用统计分析来分配网络交互来自人类的概率。
旅程的这个阶段——“提炼和描述”——是从之前的“收集和报告”步骤演变而来的。 从根本上来说,它仍然依赖于拥有一个庞大、结构化的数据库来进行分析。 如上所述,这种方法是一些较新的(尽管重点较窄)应用安全点解决方案的基础。
这一旅程的第三步是超越“提炼和描述”的适度分析,做出更深入的分析推断,从而对预期的未来观察做出预测和预报。 通过对预期的未来行为进行智能推断,这使得解决方案不再只是纯粹的反应性解决方案。 应用基础设施层的一个例子是应用性能管理 (APM) 空间 - 即基于时间的行为模式的识别,以及使用这些模式来预测未来的资源需求。 另一个使用应用业务逻辑用例的示例是旅游网站如何使用机器学习(“ML”)技术来预测未来日期特定路线的供需。 这里最常用的技术是高级分析技术,尤其是基于时间序列和线性回归技术的技术,这些技术建立在前一步发现的数据模式之上。
第四步也是最后一步涉及“闭环”,对整个系统实施可行的调整和补救措施。 前两个步骤的分析被转化为一系列主动的建议。 此时,系统变得能够适应攻击和环境变化,并且具有很强的鲁棒性。 例如,利用该功能的概念应用基础设施将能够根据预测的需求主动创建或销毁容器工作负载实例。 或者,在应用安全的背景下,它可能会根据先前了解的僵尸网络行为主动过滤僵尸网络生成的流量。 如今,商业逻辑领域已经存在一个显著的例子——动态定价,同样基于预期的供需。
底层技术通常基于规则,其中规则用于将预测转化为行动。 然而,在应用基础设施和应用服务的背景下,这种方法通常与更多基于意图或声明性的配置和编排指令相结合。
这一过程——从“收集与报告”到“提炼与描述”到“推断与预测”最后到“推理与规定”——是一个自然的进程。 每一次渐进式进步都建立在先前进步的基础上,并释放出新的、更深层次的价值。 当今针对应用基础设施和服务领域挑战的解决方案在数据价值提取过程中的成熟度参差不齐,并且通常不能很好地集成到众多点解决方案中。
先决条件:数据“引擎”的“燃料”正在获得对丰富应用服务的可见性。 这种工具部署在应用交付链的多个点上,并结合一致的数据语义和联合数据存储库的原则,是 F5 加速我们迈向未来应用服务之路的方式之一。 我们打算通过同时拓宽数据渠道以实现更好的点解决方案集成,以及加快相关技术模块的高级开发,进一步加快为客户提供价值的步伐。
在未来的文章中,我希望进一步扩展数据驱动架构——既深入研究所涉及的核心技术,又缩小范围来检查跨多个主权数据管道的多个数据生态系统的交互。