刘鹏教授:绿色云计算实践之路
2012-09-25 IDCUN 编辑:IDCUN
接下来演讲的是知名的专家,解放军理工大学教授刘鹏教授,他演讲的题目是“绿色云计算实践之路”。
刘鹏:非常高兴在这里跟大家分享一下我们云计算这方面做过的一些事情。目前,数据增长有一个新的规定,人称叫新摩尔定律,全球数据量每隔18个月就会翻一倍,指数据总量,所以比我们脑的摩尔定律大很多。大数据带来的挑战就是过去的这么多年来,数据增长现在是到了2000EB左右,这个量是在04年的时候只有30EB,所以这个增长非常快,现在每两天产生的数据,就相当于03年以前全球所有数据的总和。所以,我们看到为什么现在有这么多数据中心在建设,其实也于这个也关系。现在企业能够利率的数据大概7%,将来很快会降到4%。如果我们把数据的利用率提升,如果我们能提升10%,那么在很多行业,它的效率将会提升20%。所以,这个影响是非常大的。我们现在看到淘宝网提供了一些数据分析的服务,比如数据模仿,这些数据分析有助于那些有经验的卖家根据这个服务购买这个数据,然后优化它的商品销售。我们现在看到很多皇冠卖家都是以前好日积月累累出来的,但是现在一大批的数据卖家是靠数据分析,这样就能够提高它的销售量。亚马逊在它的销书的过程中,每次你结帐的时候会给你推荐会不会买另外一本书,这个销售量增长了很大。
云计算增长这么快的情况下,我们用什么去解决,用大量的计算机取代以前单打独斗的计算机。到了1998年有了网格计算,08年有了服务计算,07年有了云计算,这些都是它的本质的问题。云计算在基础上来讲,实际上就是怎么能够把这些分布的资源管起来,这些资源非常不可靠,怎么把它有效的虚拟起来,然后对外界提供简单的接口,方便大家从网上进行访问,云计算的核心就是冗错。谷歌就是找到了这样一个做法,4月1号,谷歌给大家提供了1GB的G-mail的信箱,谷歌03年的时候当时发了一篇论文,这篇文章可以说是整个云计算产业的奠基之作,非常简单,它描述的结构就是这台机器有很多是管理的机器,下面是负责数据存储的机器,右边的是客户端。为什么要两台,因为两台机器要互有备份。所以,这样使得它始终都能保持数据有三个副本,所以这套机器就可以做的非常可靠。所以,谷歌的机房都能做得这么简单,普通的PC装4个硬盘,背后对着走廊,因为这些机器随时都会坏了,坏了以后没有人管,如果坏了,就方便拿下来,所以就完全不需要人维护。所以,这样带来的好处就非常明显。目前微软公司建了一个15万机器的云计算平台,只有5个人在做,所以它的效率非常高。
谷歌的数据中心建在戈壁滩上面,非常冷的这些地方。现在Facebook也公开了他的云计算数据中心,在一个非常荒凉的地方,它的PUE竟然能做到1.06。谷歌曾经写了GFF这样的文章公开了它最核心的技术,造成了全世界云计算的热潮,所以,你们可以学习我们的方法,所以我们建设绿色数据中心很多东西可以借鉴Facebook的数据中心的建设方法。
在能源上面有很多问题,左边是谷歌带美国的东海岸收购了一个公司,云计算属于高耗能产业,10万台机器,一块钱一度电,10万台PUE等于2的话是5亿人民币,所以能源的消耗比数据中心本身的建设成本,如果三年之上,就超过了数据中心建设成本,所以能源问题是一个为突出的问题,目前数据中心的能耗已经超过航空产业,整个天上这么多飞机在飞,但是它的能耗还不如数据中心消耗的多,现在大概2%点几的能源被云计算数据中心使用,我相信再过几年会超过10%,甚至20%的数据中心将使云计算使用这么多能源。
谷歌在比利时建的云计算数据中心完全放在室内,因为这个地方比较冷,但是仍然一年有7天比较热,谷歌在这7天里面把数据中心完全关掉,不再使用,这个时候就不需要再额外的散热了,到了7天之后再打开继续工作,用这种方法避开散热。那么,这种方式我觉得对很多企业其实是适用的,在国内360在前年的夏天曾经它的数据中心机房主空调出现故障,这时候360受到报警马上就启动了指令关掉了这个机房。我们这一块做的这些事情,比如说我们主要着重针对云计算大数据的基础做了四个方面的工作。
一方面是云存储,第二方面是大数据怎么处理。第三、视频方面的应用。第四、大数据怎么高速的传到另外一个地方。谷歌是不允许修改数据,我们任意可以修改,而且我们可以把不同的异地机架虚拟成更大的存储平台,能量可以做到100完EB。我们今年和国家科技部启动了一个计划,1EB的存储系统。另外就是存储的控制器我们自己研制了一种新的存储控制器,这个控制器的功耗只有10瓦可以控制16个硬盘,我们采用传统X86架构需要250万我的电,但是我们现在把它只降大10万,它达到的效果是类似的,成本节省了10倍。这样使得云存储能源消耗更少,这是我们的机架,既可以是X86,也可以是超低功耗。我们在内蒙布了一套系统已经三年多了,好多硬件都坏了,但是系统仍然是好的。同时,我们可以做所有的节点,随着节点的数量增长,用户的访问量上升,我能够让它的整体IO性能呈线性增长,我在以太网里面读数据的时候,速度是非常惊人的。我们云存储系统是前所未有的一个性能。这是我们做的新的机架,它的正面全部是盘,反面上下都是盘,中间是电路板,是1.125PB的流量,所有的功耗3400瓦,所以我们一个机架放到机房里就相当于一房建了所有的机器,但是它的成本只相当于原来一个机架的成本,所以这套系统我们觉得对于数据中心建设可能会非常有用,如果你用海量的数据,比如大家现在都在云盘大战,云盘的成本居高不下,我们曾经有运营商找我们,说我租用你的设施,我们愿意付多少租金,后来我算的一下,我说你只要付我半年租金设备就送你了,我们比市场上云盘的价格便宜很多,我们这套系统是高可靠,高性能,高可伸缩性,超低功耗,超高集成度,高易用性,价格非常便宜。便宜到什么程度?在招标的时候我们云存储系统只有320万,别的厂商都是900多万。另外我们系统在南京公安局得到了大量的应用。他们主要是把各城市里的摄象头的硬盘,所有的监控硬盘把数据导到云存储上面,交给几千个警察同时做分析。这样大家就发现,用这样的系统它的特点系什么?几千个人同时用一套系统,但是每个人都觉得很快。第二,在用的过程中老跳闸,大家担心云存储会不会把数据丢掉,但是打开机器发现数据都没有丢失,大家从哪儿以后就建立了信心。所以,现在南京公安局现在大规模采购基本上全都是这种系统,现在在南京政务数据部署的公安局宣布是这个系统。
云处理我们有一个系统叫数据立方,我们Hbase的30倍。另外就是可靠性有大幅的提升,我们还HDFS进行了大量的改造,把它所有的单点故障给消除掉了。数据立方能够快速的处理机器海量的数据,JOBKEEPER能够对大量的计算任务进行大量的调度,我们这个处理平台就是当你有大量的计算任务,每个任务都很小,怎么能够快速的高可靠的把它处理完。这个是中国移动在广东移动搞了一个比赛,它的数据量整个广东是中国移动收入量最大的,心灵流峰值是7200KB/S。这是参赛的其他厂商,有几家是用美国最有名的一个大数据处理的平台,但是它非常贵,一套系统有上千万,我们跟它这样的系统竞争,最后的效果是非常好的,这是我们整个通过这个比赛证明了这个系统。这个比赛比了一年,比功能、性能、可靠性,全方位的是,最后是非常惊人的结果。这是我们当时比赛的现场。这个比赛当时也是把每一家到屏幕上,同时进行相同的处理,或者看谁不崩溃,我们在这里面最后得到大家的认可了。我们后来中标了很多中国移动的工程,中国移动现在的试点,首先第一个就是江苏移动,布了12个机架,处理整个江苏省所有的移动手机信令,每秒钟的流量200兆,效果非常好。
我们现在云计算模式要把所有的数据都到云计算平台,甚至全国的实时数据都可以处理掉,这是我们当时数据入库的样子,这是我们数据查询。当我们要在这么大数据量的情况下查询符合条件的车的记录,我们一点查询按纽就出结果,以前的系统要用很长时间。现在我们做到一个省的或者一个国家的规模,或者我们有一千亿条,或者一万一条记录,我们能够做到实时的查询,然后动态的筛选。比如给出查询条件,一点查询就出结果了,这是以前做不到的。有了这个能力,现在有了很多以前做不了的事情。比如有一辆车,一过这个卡口,就把它的牌照和其他的车比对一下,如果相同它就是套牌车。以前都是靠眼睛查,那是非常困难的。我们同时也把这个作为数据的一体机,就是硬件和软件结合在一起。英特尔公司目前跟我们合作推出新的一体机,大概10月底开新闻发布会,英特尔公司会着重把这个产品推出去,除了英特尔之外,其他国内所有的大厂都在跟我们合作。
云视频,我们主要业绩大规模的,你怎么能保证这么多摄象头都到你的平台上,怎么高效的把数据存起来,自动的处理,主要是解决这个问题。我们在一个监控画面,就可以监控一个城市的几十万摄象头,但是人其实看不过来,所以我们要用大量的计算机同时处理不同的视频流。另外除了做交通,道路流量的判断,发生事故的自动报警,比如有人打架,有人抢劫,所有的行为通过云计算的节点进行自动的判断、处理和报警,这样把大量传统的摄象头接入到云计算平台进行处理。同时我们也做对犯罪嫌疑人的动态跟踪,像周克华的案子,用云计算平台做动态的处理,但是云计算平台我们摄象头都很模糊,看不清楚他的脸,那么,在这种情况下我们发明了这种新的技术解决这个问题。
云传输主要是快速的把数据高效的传输到不同地方,这个传输速度也大幅提升。这是我们在国家做的实验,能够提高几十倍的性能,这是目前全国有6个省的电视台用这种方法进行高效的数据传输,到今年您地16个省。我们有一个网站叫中国云计算,欢迎大家访问。我们也有几本书,大家可能看得比较多的云计算第二版现在是最多的一本。谢谢!