虚拟化和灵活许可助力CSG大幅推进现代化转型
大多数企业都在推动IT运营转型,从本地部署转向云端,从物理环境转向虚拟环境。随着新冠疫情暴发,几乎所有企业都在加快现代化进程。
拥有35年历史、为电信和有线电视行业提供客户互动服务的CSG正是如此。该公司为北美大型有线电视服务提供商提供数字化解决方案,帮助其更高效地管理客户关系、计费和运营。
几年前,陈旧流程的局限已让CSG不堪重负,而新应用所有者参与不足更令问题雪上加霜。正如CSG帮助客户实现现代化一样,CSG自身的运营也到了转型升级的时候。
CSG软件工程副总裁Erica Morrison受命协助CSG运营工程团队建立DevOps组织和文化,尽管她此前只从事软件方面的工作。
她说:“对于一名开发人员来说,突然置身于运维领域,直面运维人员所面临的挑战,确实会带来很大的冲击。这也让我更加理解和感激所有运维团队所做的工作。”
将开发最佳实践引入过去仅负责运维的团队后,CSG得以应对一系列挑战,包括利用此前未使用过的F5功能、引入新工具,以及采用可提供所需灵活性的企业许可协议。
诸多挑战
Erin Garrigan当时担任该团队的Scrum主管。如今已成为主管的她回顾了多项举措,这些举措共同构成了CSG在2016年设想的5年甚至10年规划。
她表示:“从技术角度看,变更涉及的手动流程过多,而且我们无法充分了解谁在执行哪些操作。许多不同的团队都可以访问我们的设备,而我们缺乏所需的严格管控。”
问题不止这些。整个基础设施都不稳定,而且由于缺乏常规的运行状况监控和告警,团队往往要等到客户反馈问题后,才知道设备处于异常状态。硬件现代化也是另一个重要问题。
“从技术角度来看,变更涉及的手动流程过多,而且我们无法充分了解各项操作由谁执行。许多不同的团队都可以访问我们的设备,但我们缺乏所需的严格管控。 ”
Erica Morrison,CSG软件工程副总裁
通过基础设施即代码实现转型
该团队的首个项目,也是规模最大的项目,是使用F5 iApps将所有内容纳入源代码管理。由于CSG此前一直采用手动流程,他们首先建立了每晚导出设备配置的机制,使团队能够查看这些配置。最终,他们转向了一种新模式,由源代码决定设备上的配置。
Garrigan表示:“在一年内,我们基于手动变更和基础设施即代码理念创建了100多个iApps。将每项手动配置编写为iApps代码的工作量非常大,但我们开发了一些工具,并逐步完成了这项工作。”
基础设施现已通过代码定义,团队可以拆分应用的各项功能。运营工程团队为数十个应用团队提供支持,其动态服务器环境每天都会收到多项变更请求。通过实施自助服务流程,CSG应用团队的内部用户可以使用沙盒BIG-IP设备配置并检查变更,再将变更推送至流水线进行验证和代码审查。该团队还创建了另一款工具,让这些用户能够自行将变更推送至生产环境。
“当时,我们实际上提供的是负载均衡和应用交付即服务,”CSG软件开发总监Phil Todd表示,“我们使用Jenkins来驱动大部分自动化自助服务功能和报告功能。此外,我们还自行编写了一些C#代码,在后台实现这些功能。”
借助BIG-IQ实现可视性和变更管理
对于CSG庞大且多样化的应用组合而言,提高这些变更的可见性也是一项关键需求。此前采用手动流程时,各应用团队的变更可能相互重叠、彼此干扰,导致查找有问题的代码变得异常复杂。
Garrigan表示:“环境中总会出现一些异常。我们不知道为什么会出问题,只知道肯定有人做了什么改动。”
手动流程还意味着,一旦发现问题,团队往往必须找到做出更改的人员,才能全面了解问题。
为解决这一问题,团队实施了F5 BIG-IQ,并开始改进变更流程本身,引入自动化报告来呈现系统运行状况及变更的整体影响。他们还创建了Grafana仪表板,用于监控1,000多个端点,为变更验证提供支持。通过将配置代码化,并围绕部署构建自动化流程,CSG能够真正了解已实施的所有变更。
Todd表示,这带来了CSG当前环境与过去手动流程之间的一项显著差异:如果某项变更导致故障,现在的平均修复时间可缩短至几分钟;而过去,团队调查并解决问题可能需要数小时。
他说:“登录Kibana后,可以查看所有变更记录,包括部署了哪个版本以及此前使用的是哪个版本。因此,我们不必一直追查无法正常运行的原因,只需在Jenkins中按一下按钮,就能部署上一版本的代码。”
虚拟化是关键
下一阶段的演进重点是提升基础设施的可扩展性、灵活性和稳定性。尽管他们运行着数十台物理硬件设备,其中包括F5 VIPRION,但大多数应用流量仅通过其中两台设备:一台处理来自互联网的外部流量,另一台处理内部流量。
这导致设备组规模过大,一旦发生故障,会给该组织带来更大的风险。Todd表示:“如果其中一台设备宕机,基本上会影响所有产品和所有客户。”
与此同时,CSG的应用开始迁移到公司的私有云和公有云,但该系统扩展到这些环境的能力有限,也不支持迁移到AWS。
虚拟化在解决这些问题方面也发挥了重要作用。借助iApps中的基础设施即代码,CSG能够灵活缩小整体故障组规模,从而实现更具应用针对性的负载均衡。这也为其在需要时最终向公有云演进创造了条件。
Morrison表示:“我们最近发生了一次中断,影响了一个产品。如果是在一年多以前,所有产品都会受到影响。现在,更多实例被拆分到较小的组中,因此必要时还可以进行故障转移,而且影响范围非常小。由此可见,对稳定性的投入已经为我们的内部和外部客户带来了积极成效。”
“就在一年多前,这种情况还会影响所有产品。如今,更多实例被拆分成较小的组,因此我们也能在需要时进行故障转移,将影响范围控制在很小的范围内。由此可见,对稳定性的投入已经为我们的内部和外部客户带来了积极成果。 ”
Erica Morrison,CSG工程副总裁
企业许可带来所需的灵活性
CSG从F5 BIG-IP Virtual Editions迁移到新的F5企业许可协议(ELA),进一步提升了运营灵活性并节省了成本。此前,该集团主要在公司奥马哈总部的一个数据中心内运营。其灾难恢复方案是在必要时直接在第三方数据中心启动相关服务。
几年前,该团队建成第二个数据中心后,便具备了探索跨数据中心高可用性的条件,但原有许可协议和物理硬件限制了可选方案。由于硬件配置固定,公司在可扩展性、可用性以及向公有云扩展的能力方面面临挑战。
Todd表示:“改用F5企业许可协议和虚拟解决方案后,我们可以根据需要随时部署所需资源,并增设第二个数据中心。这也让我们能够自由探索,并快速响应内部客户的需求。”
如今,该团队能够更灵活地持续发展,并为各种服务实现高可用性。
展望未来:云端应用交付
完成环境现代化后,CSG的运营工程团队如今可以着眼未来进行规划。该团队希望进一步利用F5的安全功能,构建使用BIG-IP和Amazon Web Services(AWS)的参考架构,并通过NGINX引入新功能。借助企业许可协议(ELA),该公司得以将现有预算转用于新的架构和功能集。
Morrison还在与CSG的产品负责人共同制定新的路线图,以现有成果为基础,改进系统监控和告警、添加新的监控器,并构建应用交付卓越中心模式。
她表示,从全局来看,目前的进展令人满意。团队最初制定了五年愿景,如今其中几乎所有项目都已落地。随着合作关系、自助服务功能和配置体系的建立,接下来只需将更多应用管理权交给应用团队。
她说:“我们第一次开始思考,下一步该做什么?我们已经取得了长足进展,不再需要疲于摆脱困境。现在要做的是主动行动,在已经打下的坚实基础上继续推进。”
“采用F5企业许可协议和虚拟化解决方案后,我们可以根据需要随时部署所需资源,并增设第二个数据中心。这也让我们能够自由探索,并快速响应内部客户的需求。 ”
Phil Todd,CSG软件开发总监

优势
- 提升应用可见性
- 更轻松地迁移至公有云
- 更快响应客户需求
挑战
- 手动流程
- 固定硬件无法满足所需的可扩展性和可用性
- 缺乏运行状况监控和应用可见性