百度所说的ABC即人工智慧(AI)、大数据(BigData)、云计算(CloudComputing)三个词语的英文首字母缩写,这三个领域已然成为当下最为热门的三大领域。百度云开放副总谢广军在CIO时代APP微讲座栏目作了题为《ABC时代的技术挑战和变革》的主题分享,对新时代下的技术面临的挑战进行了深度剖析。

一、网际网路的发展阶段

第一阶段,PC网际网路时代。网际网路在九十年代中期开始出现,第一阶段称之为PC网际网路时代,这个时代的特点是快速叠代。传统的IT和网际网路IT设施在研发维护的最大区别在于,网际网路基础设施的叠代是非常快的。

第二个阶段,移动网际网路时代。主要是指2012年至今,随着智能设备、移动终端的兴起,我们进入了移动网际网路时代,这个时代的特点是自建生态。

第三个阶段,人工智慧时代。今天,随着人工智慧技术的盛行,我们从移动网际网路时代逐渐步入到了人工智慧时代。人工智慧这一概念从五十年代便提出了,在漫长的发展过程中经历了短暂的高潮,很快又陷入低谷。一直到2006年,一种新的算法——深度学习/深度神经网络的兴起,使得人工智慧技术发生了革命性的变化。2013年后,人工智慧在网际网路领域大行其道。

百度首席科学家AndrewNg曾说:「人工智慧这台火箭,燃料为大数据,而云计算则是引擎」。这就意味着在新的人工智慧时代,对云计算、大数据都提出了更高的要求。

二、网络面临的挑战

在传统的IT时代,IT基础设施是靠单一硬体的能力来支撑业务系统的,比如小型机、存储设备等,这些基础设施的特点是所有的负载、所有性能的扩展(包括基础设施的可靠性)都是依靠单一的硬体能力来支撑的,其问题在于IT资产的投入大、可扩展性大、人力维护成本较高。对IT设施而言,网际网路技术带来了变化,网际网路时代的云计核心便是分布式系统技术。如今,我们其实是用普通的PC伺服器和网络互联靠分布式系统,解决弹性伸缩、高可靠、高可用的问题,应对复杂的架构更加便捷,有了云使得服务的开发者更专注于自己的业务,其实底层的基础设施是靠云服务厂商来完成的。

在AI(或ABC——AI、BigData、CloudComputing)时代,云计算也逐渐产生了新的变化,我们需要更多的感知、推理、决策,为了适应这种模型及预测的需要,需要引进异构技术。

例子:ABC时代的广告业务形态

在今天的广告系统中可以分成四部分:1.端上的应用,如PC、行动装置等;2.在线系统,直接和用户的请求打交道的IT系统;3.离线系统,主要做大数据的处理;4.近线系统,为使策略更精准、效果更好,以实时或准实时的方式训练模型,不断完善算法和模型参数,进而反馈到在线系统上的IT设施。

从这个例子中可以看出,业务系统越来越复杂,规模越来越大,我们需要管理更大规模的资源、不同类型的计算任务。计算任务的不同在于,在线系统需要的是低延时,近线系统由于要做模型训练,特征和参数很复杂,维度也比较高,因此引入了GPU、FPGA等异构计算的硬体,这些硬体的引入使得整个资源管理、集群管理系统更加复杂,更加需要重新定义。对存储系统而言,在线业务上需要低延时的存储系统,如Key-Value存储系统、内存的存储系统、资料库等。离线业务大多採用的是批处理的方式,需要大规模的分布式文件系统和分布式对象系统,网络交互本身的设计也需要重新定义。

随着新的业务形态的发展、新技术的应用,在AI、BigData、CloudComputing的时代,对计算存储网络甚至安全提出了更高的挑战和要求。

三、计算系统面临的挑战

总结起来,在新的时代,我们首先在计算系统的设计上需要解决如下几方面的问题:

1.超大规模计算集群。超大规模计算集群的管理,使其做到弹性伸缩、自适应的调度、故障检测与自动恢复等能力。

2.异构计算能力。人工智慧的引入带来了全新的异构计算,如今的系统不仅只靠CPU做计算,也有GPU、FPGA、因特尔XeonPhi的计算硬体。

3.高性能数据中心。如绿色数据中心、天蝎整机柜、自研伺服器的设立。

大规模集群管理平台主要分为机器管理、单机技术、资源管理、实例管理、服务和作业的管理,这些通过WebUI、RPC、CLI形成了按需的云服务接口,通过这套系统可以解决下述问题:1.面对不同的计算需求、机器资源,我们做到了统一的、细粒度的、精细化的调动;2.由于引入了实例管理和自动化的服务管理技术,这套系统上部署的服务运维起来很方便,甚至可以说是一个不需要太多人工运维介入的系统;3.通过作业的统一调度、统一管理,出现故障时可以无缝的快速恢复;4.由于引入了BigData等大数据的处理方式,会产生方方面的数据应用,比如监控,运用这些数据智能的扩容、调度资源等。

四、存储系统面临的挑战

存储系统面临的挑战和需求主要有以下三个方面:

1.容量规模越来越大,需要设立异地级别的存储系统;

1.对性能的要求越来越高,需要做到高存储、低延时、性能可横向扩展;

2.需要面对多样性的存储需求,一方面来源于今天所存储的内容是多样性的,另一方面存储系统中数据类型是多样性的,包括结构化的、半结构化的、非结构化的存储。

如何应对这样的挑战

如果我们为每一种需求,每一个单独的系统去设计,多样性是很难满足的,因为要投入大量的人力及存储开发团队去做,如今是将这些需求进行了合理的抽象。

面对的多样性主要包含以下几个层次:

1.存储系统的应用场景和形式,包括对象存储、表格系统、分布式文件系统、分布式块存储、时间序列存储等等,每一种存储的应用场景不同,还分为适用于在线应用的、适用于近线应用的、适用于离线应用的,以及在冷备场景下使用的。

2.应用场景不同,考量的成本也是不同的,有的是跨地飞的、有的需要在单一的数据中心、有的是单副本的。

3.我们面向的硬体也是不同的,对存储介质而言,有传统的磁介质、SOD、内存级的存储。

百度是通过一个高度抽象的中间存储引擎,将所有细节屏蔽,用一个统一的存储系统适应不同需求、不同硬体的复杂性。我们只需要封装存储系统的接口,便可以开发出不同的存储系统。有了这样的引擎后,再做分布式的存储系统就很简单了。

在Cloud时代,Cloud架构三方面不同于以往的数据需求:第一,用户需要自己定义自己的网络,自己组网,以前是依靠专业的而网络工程师做到的,现在则通过电脑滑鼠键盘自己操作;第二,租户与租户之间需要有严格的隔离;第三,租户在自己的数据中心和在云上的数据中心需要有打通的需求,也就是所谓的混合云。当然,在新的时代,对整体网络的可用性和性能也有了更高的要求。

通过标准的X86伺服器实现了很多接入层的设备,包括安全设备,这些设备有两个特征:第一,可以做虚拟化,为每一个租户单独的虚拟一个路由器、交换机、防火墙等设备;第二,这些设备採用了因特尔的处理器做开发,本身性能得到了保障,现在用到的设备是一台X86伺服器,可以做到64位元组的万兆线速转发,接下来每台设备能做到40GB的线速转发,而横向的扩展通过等价路由扩展。由于这些设备全是靠等价路由做扩展的,其本身的容错性很强,当某个设备宕机时,流量会重新被分配到与其等价的设备上。在物理层面,交换机採用了两个接入层交换机方式,同时每台计算节点也有双网卡,这样保证了每一个交换机发生故障时网络的可用。所有的这些设备,不论是物理设备、虚拟路由器,还是智能网卡,都是靠SDN控制层面下发流表、配置、路由,这也是SDN的超融合网络架构。这样的方式解决了刚才提到的所有需求,进而衍生出各种网络产品,这些网络产品都是软体定义的,不同于传统IT中的硬体设备。

五、安全方面面临的挑战

如今,安全威胁不是减少,而是大大增加了,我们每天每时每刻都面临着安全威胁,这就需要我们的IT设施去防护、应对这些安全问题。

gartner安全发展趋势预测

1.在威胁与漏洞方面,99%的漏洞都是被利用的超过一年的旧漏洞。因此,旧漏洞和新漏洞同样具备威胁性。

2.20%以上的企业在自己开发和部署相关的安全应用,之所以不用现成的安全产品和解决方案,是由于安全的产品和解决方案并未真正理解企业的业务。

3.80%的企业在新购网络和移动安全订单时,会买防火墙、SWG和WAF服务,这说明如今我们在面临安全威胁时,需要的是整体的安全方案,而不是在某一点上解决问题。

构建基于AI的安全自愈能力

1.海量知识。如今做安全需要的大数据能力,也就是需要海量知识的积累,需要每天数以千万计的攻击样本、最前沿的安全研究与最新的安全资讯都需要以大数据的方式存储。

2.态势理解。如何做到和客户业务相结合,需要通过人工智慧的方式增加四个维度的理解:安全技术本身、攻击行为本身、客户业务、客户自身特征需要有深入的理解,。

3.体系决策。通过这样的方式,最终做到体系化决策,控制恶意行为的破坏性,消除被攻击行为的弱点,这是一个整体工程。今天的安全理念也是基于以上三点来做。

在ABC时代IT基础设施所面临的挑战,分为四个维度:存储、计算、网络和安全,新的时代有新的挑战,同时有新的IT设施解决办法,进入一个新的时代,需要不断总结,不断提高IT基础设施能力。

电动门 | 飘香 | 创业 | www.ynsssm.com | http://guanghuajl.com | 万事达 | 厂家 | www.syxpxng.com | 德鑫 | 河南