当前位置: 新豪天地登录网址 > www.3559.com > 正文

【www.3559.com】运维新姿势,关于智能运维AIOps的一

时间:2019-10-03 15:16来源:www.3559.com
原标题:下一代的DevOps服务:AIOps 矛盾是事物发展的源泉和动力。运维中的矛盾无处不在,既有来自业务与技术的矛盾,也有来自开发和运维的矛盾,还有来自数据中心内部的矛盾,解

原标题:下一代的DevOps服务:AIOps

矛盾是事物发展的源泉和动力。运维中的矛盾无处不在,既有来自业务与技术的矛盾,也有来自开发和运维的矛盾,还有来自数据中心内部的矛盾,解决这些矛盾只能靠发展。

AI人工智能技术近几年发展得如火如荼,而随着深度学习技术的成熟,AI也正在逐步从尖端技术慢慢变得普及,AI目前已经可以实现很多功能了,如语音识别、自然语言理解、数据挖掘、计算机视觉等。除此之外,现在又多了一个落地应用——这是一座尚未开采的金矿——AIOps。

  9月15日技术沙龙

运维发展历程与工业革命异曲同工,工业的三次革命分别是机械化、电气化与信息化,运维则是原始手工、脚本与自动化工具。那么工业4.0悄然来临的今天,智能化又将会给运维带来哪些影响?坦白讲,AIOps是新概念,目前并没有准确且广泛使用的定义,对AIOps的认知也会随实践、反思和讨论的不断积累发生演变。但AIOps所指代的整体趋势是毋庸置疑的,智能化将逐步走进IT行业乃至社会生活的各个方面。

一、安全生产

2016年,Gartner定义了一个新名词——AIOps,即基于算法的IT运维(Algorithmic IT Operations),这可能和你的第一反应Artifical Intelligence Operations有所偏差,不过本质上意义是一样的。Algorithmic IT Operations源自业界之前所说的ITOA(IT Operations and Analytics),算法的效率提升了 AIOps 的价值,通过持续学习,智能运维将把运维人员从纷繁复杂的告警和噪音中解放出来,运维插上了机器学习和算法的虎翼,将变得更自动化、智能化。Gartner 的报告宣称,到 2020 年,将近 50% 的企业将会在他们的业务和 IT 运维方面采用 AIOps,远远高于今天的 10%。

与东华软件、AWS、京东金融、饿了么四位大咖探讨精准运维!

今天, 由51CTO 主办的第十六期以“Tech Neo”为主题的技术沙龙活动如期举行,此次沙龙邀请了来自陌陌科技SRE团队负责人王景学、去哪儿网DevOps工程师叶璐和ThoughtWorks高级咨询师顾宇。希望讲师们这些基于平台、建站、深度学习等不同方式的自动化运维实践经验,多少可以为运维/开发人员带来一些的新思路。

数据中心的主要职责是安全生产,围绕着安全生产有三个目标:

www.3559.com 1

www.3559.com 2

2.1高可用架构:高可用的IT基础设施可以确保应用系统的可用性与连续性,包括:应用集群、系统热迁、数据库集群、存储复制、物理备份等。

智能运维的必要性相信不必多言,如今的IT基础架构相比于前五年,前十年,规模和复杂度都呈倍数增长,服务数量更是呈指数增长,早期的运维方式已经无法负荷愈加沉重的工作量,而人工智能的发展给运维带来了契机,AIOPS应运而生。

【51CTO.com快译】AIOps是什么以及了解下它可以如何帮助您的IT部门,例如,利用它来快速处理所有数据。

自动化运维与 DevOps”沙龙现场

2.2高效运维:围绕着高可用架构,进行一些列高效运维工作,包括:资源供给、应用部署、日常变更、故障处理、数据治理等。

IT 运维发展历程

AIOps是一个总称,用于指代使用复杂的基础设施管理软件和云解决方案监控工具来实现自动化数据分析和日常的DevOps操作。

陌陌在k8s容器方面的实践

首位演讲的是王景学老师,主要分享陌陌在k8s容器方面的实践和应用迁移方面的一些经验。当时陌陌选用k8s进行实践的主要原因是,应用发布时间过长、紧急扩容吃力,效率低且应用运行环境软件版本不一致,配置复杂,维护成本比较高,硬件资源利用率不高,总体成本比较高。

www.3559.com 3

k8s方面的设计目标有五点,分别是:提高服务的可用性,可管理性、使用k8s来管理docker集群、开发不需要关心服务器、提高资源隔离性,实现服务混合部署,应用级别基础资源监控,服务平滑迁移等。针对这些问题和目标,通过自研发布系统,基于docker和k8s的容器管理平台,便于开发者便捷地部署自己的应用程序。

如下图,是K8s架构

www.3559.com 4

针对K8s架构,王景学老师还分享了基于location和group标签的集群调度、基于ovs的网络节点架构和实现、集群在阿里云扩展和支持,测试环境中有状态应用的尝试、容器基础资源监控方面的指标等,还有在应用迁移过程中,遇到了Swap、cpu软中断及资源利用率,应用白名单等问题。

于未来,希望可以实现对应用请求量,线程数,流量等指标的监控。基准值部分,达到单实例可承载请求量,线程数,流量。伸缩方面,做到最小保留实例数,最大扩容实例数,根据监控反馈和基准值计算需要扩容和缩容的实例数, 按照各个集群资源余量按比例伸缩。

2.3 节约成本:在满足高可用和高效的前提下,尽量节约成本,包括资源优化、性能优化、以及减少成本不敏感的资源浪费。

1. 人工运维时代

那些10年前甚至是5年前构建的系统监控工具的主要缺陷是它们不是为了满足大数据时代的需求而构建的。它们既不能处理数量庞大的输入数据,也不能处理种类繁多的数据类型,更加不能与输入数据的速度保持一致。根据以往的经验,这样的云监控解决方案必须将数据分块,将看似重要的内容进行分离,并切断看似不需要的内容,最后使用焦点组和统计样本进行操作,而不是处理整个完整的数据。

去哪儿网基于Kubernetes/Ceph的机器学习云实践

第二位演讲者是有丰富云平台建设、运维、容器云落地等经验的叶璐老师,演讲的主题是去哪儿网基于Kubernetes/Ceph的机器学习云实践。

www.3559.com 5

叶璐老师以深度学习的兴起为演讲开端,这要涉及深度学习的概念、兴起的原因、深度学习加速器-GPU等方面的内容。紧接着分享了深度学习在Qunar的应用,像智能客服,拿去花用户信用评级,酒店推荐等都是经典实践。

演讲最核心的部分是如何应对GPU使用资源的一系列问题,如环境无隔离、采购周期长、 资源利用率低、各种工具的环境部署成本高等。

www.3559.com 6

针对这些问题,去哪网采用的方式是构建GPU云,第一期的目标是GPU资源云化, 持业务线同学快捷定制机器学习应用,秒建秒删,一键释放GPU资源,建立统GPU 资源申请和管理等入口到Portal,降低业务线同学的接入和学习成本。做到环境隔离同时保证训练数据在分布式环境下的持久化和可靠性,以及支持Tensorflow全工具链。

如下图,是机器学习应用的一种部署情况

www.3559.com 7

叶璐表示,目前一期已经完成正在公测中,使用前后对比,在环境秒起秒删、环境隔离给开发同学提供极大的便利。在对接Ceph后,数据的可用性和可靠性大大提升,不用担心因为更换机器带来的训练数据迁移,丢失。

www.3559.com 8

GPU云基础环境固化,让开发同学免受环境安装之苦是第一步。现在Spectrum第二期也在开发中,开发工程师随时固化到Kubernetes Post-Install,提供了更高的环境定制自由度;同时Tensorflow serving的上线,为机器学习应用真正落地提供了更完整的pipeline,同时还有其他的优化,上下游的数据获取管道,预处理流程优化,Jupyter插件系统集成。

二、高效运维

初期阶段IT基础设施通常处在小规模状态。几台至几十台机器的规模,足以满足业务需求。早期一般企业采用的都是人工运维,决策分析几乎完全由人工完成。

这样做的结果是,在数据分析阶段,一些重要的模式可能会被忽略,数据可视化的视图被完全排除。这可能使得整个过程毫无用处,就好像大数据分析不能产生可操作的业务洞察一样,它将无法提供大数据分析中最重要的价值。

用基础设施即代码自动化架构迁移

www.3559.com,最后一位演讲人是专注于 DevOps、持续交付,微服务以及全功能产品团队的设计、实践、落地以及经验推广的顾宇老师。他的演讲主题是用基础设施即代码自动化架构迁移。

www.3559.com 9

演讲由一个真实的架构迁移案例展开,分享了在一个东南亚互联网企业并购案例中的 DevOps 的实施案例。通过在 AWS上使用 Ansible 和 CloudFormation作为基础设施即代码的工具实现产品架构的迁移。

在互联网企业的并购过程中,不光是组织结构的融合,更是产品架构和产品团队的融合。然而在不同的企业文化、技术能力甚至是不同的国家法律法规上的融合更多的是看不到的隐形成本。

通过 DevOps 的基础设施即代码实践,把架构以及开发/运维实践固化为配置和代码。让所有的团队和成员能够依照同样的规则进行开发和运维。通过自动化的手段加速团队和产品和架构的融合过程,提升整个组织的技术水平。

首先,根据康威定理,组织和架构和基础设施架构要保持一致,就可以根据未来的组织结构设计系统架构,可以减少系统架构演进中的适应性浪费。

其次,把整个架构分层次封装:基础设施、应用和数据 三种类型分别进行封装:

  1. 基础设施通过配置管理技术封装在 Ansible 的 Playbook里,把 Ansible 作为 Cloudformation的引擎。
  2. 应用通过 Docker 镜像进行封装,根据不同的地区在构建过程中进行合并。
  3. 数据通过自动化的备份脚本和自动化的迁移脚本(Migration Scripts)实时保证可用性。

然后,根据使用场景,设计基础设施即代码的架构。能够自动的把整个架构自动的搭建和还原。根据使用场景设计安全策略,避免人为操作,减少人为故障。

顾宇老师表示,基础设计即代码和基础设施是类和对象的关系。根据不同的场景,可以采用面向对象原则进行逻辑分层。隔离不同场景的关注点。例如:持续交付关注Docker 镜像的部署和变更,应用维护关注日志的查询和操作。

最后在该案例中,顾宇老师总结了利用基础设施即代码技术的几个关键要点:

  • 架构迁移要为组织结构迁移服务
  • 把自动化和基础设施即代码当做制度使用(康威定理和逆定理)
  • 把基础设施即代码当做一个产品开发
  • 安全的架构和架构的安全
  • 基础设施逻辑分层基础设施即代码本质上是一套类库,从面向对象的原则考虑基础设施的设计。
  • 构建每日可用架构

www.3559.com 10

活动结束时,现场很多开发者还意犹未尽,围着诸位老师就自动化运维的部署、迁移等方面问题,进行探讨交流。

随智能化在各个应用领域的落地及实践,IT运维也将迎来一个智能化运维的新时代。让我们共同见微知著、未雨绸缪,当机器能越来越智能地工作,我们也要变得越来越聪明。

51CTO Tech Neo技术沙龙是51CTO在2016年开始定期组织的IT技术人员线下交流活动,目前仅限北京地区,周期为每月1次,每期关注一个话题,范围涉及大数据、云计算、机器学习、物联网等多个技术领域。

主要涉及如下四个方面工作:

2.自动化运维时代

让AIOps进入场景

2.1资源供给:之前是针对每次资源申请,运维人员都得把机器上架、系统安装、存储配置、网络配置等一系列流程跑一遍,涉及各个专业的人工协同,小企业人少,一个两个人搞定一切,大企业专业分工明确,这些工作需要多人协同,效率无法保证。现在是通过云计算来提升效率,主要是池化和自动化,池化是指提前准备一批资源,避免每申请一次就得准备一次,自动化是指通过自动化的流程去串接各个专业条线,避免沟通成本和低效的手工操作,提高了效率和人员安全。

随着云时代到来,IT基础设施迅速发展成几百上千台服务器,更多的业务系统上线,因此,各类孤岛式的运维管理工具也开始上线,提升运维效率。

当然,要及时处理所有机器生成的数据是不可能的。然而,这正是人工智能算法(如深度学习模型)所擅长的那种任务。剩下的唯一问题是:如何在DevOps工程师的日常生活中让这些机器学习工具发挥作用?

2.2应用部署:之前是开发完交付给测试、测试完组织投产、投产完开展运维,不同阶段的人员相互割裂,应用发布部署效率低。现在通过DevOps提高效率,DevOps强调持续CI/CD,通过CI实现开发到测试的持续集成测试,通过CD实现开发到运维的持续系统部署,通过CD实现技术到业务的持续价值交付。

3. DevOps时代

下面是在IT部门中适合使用AIOps的一些案例:

2.3变更管理:之前是人工配合一些工具脚本,无系统化思维能力,往往只见树木不见森林。现在是通过云提升系统外变更效率,通过自动化工具(例如Puppet和Ansible)提高系统内变更效率。

DevOps是一组过程、方法与系统的统称,企业希望将原本笨重的开发与运维之间的工作移交过程变得流畅无碍,便可借助DevOps来完成,DevOps的目标是流程的自动化——让代码完成过去手工的工作,从而大大节省成本。

快速处理数据。可以训练一个ML模型来处理系统生成的所有类型的数据——这是未来的方向。如果必须添加新的数据类型,模型也可以相对容易地进行调整和再训练,以保持高性能。这将确保数据的完整性和保真度,从而产生全面的分析和具体的结果。 深入的数据分析。当你能够实现对所有数据进行分析时,隐藏的模式就会出现,可操作的见解也会出现。然后,DevOps工程师就可以分析出基础设施需要调整的地方,以避免性能瓶颈的出现,并且可以坐在高管的桌前,为优化基础设施和改进运营提供具体的基于数据的建议。 日常工作的自动化。识别出事件模式后,就可以设置自动触发器。因此,当统计数据显示某些事件总是导致特定的(负面的)结果,并且必须执行某些操作来纠正问题时,DevOps工程师就可以创建触发器并自动对此类事件做出响应。

2.4故障处理:之前是接到监控告警,各专业分析根源,执行应急预案,但是存在很多问题,例如:缺乏故障预测、误报漏报、分析慢、无法自愈。现在是通过AIOps解决,实现故障预测、故障检测、根因分析、故障自愈,尽量减少人工参与。

4. AIOps时代

因此,如果监控解决方案报告了由于连接数量增加而导致了CPU使用率的增加,诸如此类。Kubernetes就可以启动额外的应用程序实例,并使用负载平衡来分配访问流和减少负载。这是最简单的场景,而现实世界的用例则要复杂得多,需要允许自动执行任何的日常DevOps任务,使ML模型能够在特定条件下启动它,并预先处理问题,而不是在停机后。

三、智能运维

AIOps智能运维,用机器学习方法做决策分析,算法的效率提升了 AIOps 的价值,通过持续学习,智能运维将把运维人员从纷繁复杂的告警和噪音中解放出来。

使用AIOps的好处

IT运维经历了三个阶段,即人工运维、自动化运维、智能运维。人工运维是指人工配合脚本。自动化运维是指系统工具的自动化,决策在人,执行在机器。智能化运维是指决策的自动化,决策在机器,执行也在机器。决策在于推理,推理依赖于规则,现阶段,规则是可编程的称为自动化,规则是可学习的称为智能化。

AIOps智能运维如何做好?

部署AIOps解决方案可以实现以下的积极成果:

3.1 AIOps定义:AIOps是指基于已有的运维数据(访问关系、监控告警、日志),采用数据分析和机器学习方法,提高运维决策能力,解决自动化运维无法解决的问题,进一步提高运维效率。AIOps的价值不仅在于提供智能运维决策,也在于实施过程中,对已有的基础架构、应用关系、监控告警、日志数据等进行梳理,实现真正的精细化运维。当然,AI算法的局限性、场景的多样性、数据的复杂性,决定了AIOps是人力密集性、过程的曲折性,也决定了AIOps不能解决全部问题,需要人机协同和知识图谱,才能发挥AIOps最大价值。

清华计算机系副教授,智能运维算法专家裴丹教授为我们提出了如下见解。

不间断的产品可用性,带来积极的终端用户体验 优先解决问题,而不是永久性的灭火 消除数据孤岛并实现根本性的故障修复,因为您分析了业务生成的所有数据而不是使用精简样本 日常任务的自动化,使您的IT部门能够集中精力于改进基础架构和流程,而不是处理重复且耗时的任务 更好的协作,因为对日志的深入分析有助于显示管理决策的影响,并评估采用的业务战略的效率

3.2 数字化运维:信息化是把手工流程变成线上流程,数字化是把物理对象抽象为数字对象,通过大数据分析和机器学习算法挖掘数据的价值。大数据主要通过大量多样数据的分析,挖掘数据的价值,会使用到一些机器学习算法,机器学习主要强调决策的自动化,依赖的基础也是数据,可以说,大数据分析基础,AI是目标态。AIOps是运维数字化的直接体现。

机器学习本身有很多成熟的算法和系统,及其大量的优秀的开源工具。如何成功的将机器学习应用到运维之中?还需要以下三个方面的支持:

关于什么是AIOps以及为什么它很重要的最终想法

3.3 AIOps场景:一是质量方向,主要是异常处理,包括异常预测、异常检测、根因分析、故障自愈等。二是效率方向:主要是预测,包括批量预测、容量预测、交易量预测等。三是成本方向,包括资源优化、性能优化等。

1.    数据。互联网应用本身具有海量的日志。需要做优化存储。 数据不够还需要自主生成。

正如您所看到的,选择AIOps工具和解决方案对您的业务非常有益。这似乎是AIOps解决方案供应商的营销噱头,但其实并不是。当下,大多数企业都在努力朝着DevOps文化转型,并进行着数字化转型。

3.4算法为尊:

2.    标注的数据。日常运维工作会产生标注的数据。 比如出了一次事件后,运维工程师会记录下过程, 这个过程会反馈到系统之中, 反过来提升运维水平。

与此同时,真正具有创新精神的公司已经在努力将人工智能算法、ML模型和DevOps系统相结合,以提供未来最先进的云监控和基础设施自动化解决方案。应用这些实践可以极大地改善客户体验,缩短产品的上市时间,更有效地使用基础设施,以及在团队中更好地进行协作。然而,即使是这些创新者也没有现成的解决方案来满足他们的需求,他们不得不使用Splunk、sumeoric、Datadog、promethus

现阶段的AI得以发展,得益于算力、算法、数据的共同改良,算力是通用的,场景决定数据,数据决定算法。往往不同的场景有不同的数据,即使同一个场景的不同环境也有不同数据,这就决定了数据的适配性、算法的多样性。

3.    应用。运维工程师是智能运维系统的用户。用户使用过程发现的问题可以对智能系统的优化起正向反馈作用。

  • Grafana、Kubernetes和terra form等流行的DevOps工具来构建这样的系统。更重要的是,尽管这个想法本身非常重要,但实施它所需的基础设施管理水平远远超过了普通公司的能力。

AI算法:机器学习算法,按标注可以分为监督、非监督、半监督、强化;按用途可分为分类、聚类、回归、降维;按照方法可分为统计学、传统机器学习、深度学习等。其中,统计学(例如:正太分布、均衡分布)要求数据必须满足某种分布,在异常检测领域用的多,包括运维领域的故障处理、金融领域的反欺诈、工业领域的残次品检测。传统机器学习(例如:kmeans、随机森林、支持向向量机、贝叶斯、决策树、马尔可夫等),虽然对数据要求弱一些,但对场景依赖强,即使是同一个场景的不同环境,也需要不同模型,在数据分析领域用的比较多。深度学习(深层神经网络,例如:CNN、RNN)对数据要求高,因为更多的数据才能训练出更深的神经网络,更深的神经网络抽象表达能力更好,也就决定了场景适应能力越强,主要是用在图像技术、语音技术、自然语言处理三个通用技术领域。

AIOps落地谁家?

原文标题:What Is AIOps: The Next Level of DevOps Services,作者:Vladimir Fedak

AIOps算法:做异常处理时,主要是概率分布和聚类,分类比较少,因为GT少。做预测时,可以是多维的线性回归模型,线性回归简单,但鲁棒性差;也可以是基于深度学习的非线性模型,一则对数据要求高,二则需要监督学习;还可以是传统的贝叶斯模型,但预测效果一般。

Google | 数据中心人工智能模型

【51CTO译稿,合作站点转载请注明原文译者和出处为51CTO.com】

3.5方案为王:学术界研究通用问题,寻找更优的算法,工业界除了需要解决通用问题,还需要解决更多的个性化问题。甲方和乙方经常不在一个频道上,乙方主打算法和产品,甲方确需要解决方案,解决应用场景中的痛点,这中间需要乙方设立解决方案部门,熟悉甲方各种套路。算法的价值在于解决问题,在算法、产品、解决方案、应用场景、产生价值整个周期中,算法仅仅是个开始,研究新算法,解决通用问题,固然很重要,利用已有算法,解决个性化问题,给出完整解决方案,才是关键。

早在2014年,人工智能就在IT运维领域有所应用,在Google,人工智能是提高各个大型数据中心效率的重要工具。

作者:Vladimir Fedak返回搜狐,查看更多

3.6非零基构建:AIOps是在现有基础架构之上构建的智慧大脑,依赖于现有的眼(应用访问关系、监控告警、日志)和手。眼数据主要有:应用访问关系,基础架构成熟的企业,积累了应用访问关系,不成熟的企业,需要借助AIOps进行梳理;监控数据,包括设备监控数据、网络监控数据、系统监控数据、平台监控数据、应用监控数据、业务指标监控数据,这些都是结构化的时序数据;日志数据,非结构化的数据,每个系统都有自己的日志数据,不便于统一分析。手主要分为外手和内手,外手主要是在系统在外侧操作,可以通过云平台(IAAS和PAAS)实现,内手主要通过自动化工具实现,例如无代理的Ansible和有代理的Puppet。AIOps就是基于现有的眼数据,进行分析、推理、决策,然后使用现有的手进行运维。

Google使用“类神经网络”技术分析其众多数据中心的工作情况,并根据所得数据进行维护。这个“类神经网络”的核心部分其实是一些算法,可以识别模型(patterns),并根据相应模型做出判断,即Google使用这些算法管理数据中心。它们无法超越人脑,但在某些情况下却更快,更全面。

责任编辑:

四、监管之剑

从具体来看,每隔几秒,Google就会收集数据中心所有的处理信息,从设备耗能多少,到硬件冷却到室温需要多少水无一不包括。Google数据中心青年工程师Jim Gao就是使用这些数据构造人工智能模型,在不同条件下预测数据中心效率。如果数据中心的效率低于模型预测,公司就会收到相关信息。这个模型,同样可以帮助Google决定何时管理数据中心的设备,比如何时清理热交换器,提高设备冷却性能。这样一来,这个模型具有辨别功能,解放了Google的工程师们,也大大提高数据中心的运维效率。

监管要求的安稳态是把双刃剑,一方面确保了业务的安全稳定运行,另一方面却阻碍了技术创新。以金融行业为例,强调严管控,严格遵守ITIL标准流程(发布管理、配置管理、变更管理、问题管理、事件管理),追求安稳态。然而,技术创新,无论是云计算、还是DevOps、还是AIOps,都在追求敏捷态,这往往挑战了监管要求。在监管面前,一切违反监管要求的做法都是一票否决。我们可以在现有的监管框架内寻求折中,例如,在严格遵守ITIL的严管控流程的同时,把人工流程全部优化为自动化流程,但这会偏离技术创新的原有初衷。解铃还须系铃人,监管需要为技术创新改变。

百度 | 基于日志 trace 的智能故障定位系统

五、结束语

结合机器学习技术的进步,百度实现了一套基于日志 trace 的智能故障定位系统及其背后的一套技术方案,最终能够实现 WQPS/sec 的 PV 根因定位能力,并能够根据根因做统计上的多维度汇聚,该系统应用于百度核心搜索系统,极大的提升了重大异常问题定位效率。

真理都是简洁的,但发现真理的过程往往是且复杂且曲折,这也是AI的魅力所在,我们相信,在学术界和工业界的共同努力下,AIOps终将展现出真理的一面。

阿里 | 机器学习在大规模服务器治理复杂场景的实践

www.3559.com 11

我们今天面临的问题,云、支付和交易的程序通过虚拟化打散在百万级的服务器上, 面对如此庞大的基础设施, 传统的运维方法受到了极大地挑战。海量告警无法及时处理、脏数据影响定位、批量问题如何提炼。

在无高质量样本的情况下,通过关联分析和异常检测算法,构建算法闭环。自动迭代,让批量问题的预测精度不断提高。打通故障定位和装机系统,提供从发现 ->定位 ->跟踪 ->修复的一站式解决方案。

各个行业的企业正在采用AIOps——银行、娱乐、交通、零售,甚至政府。从运维的发展角度看, AIOps 是必然趋势,将为企业带来最直接最深远的价值。

编辑:www.3559.com 本文来源:【www.3559.com】运维新姿势,关于智能运维AIOps的一

关键词: www.3559.com