令人“不安”的大数据管理绿色数据中心
2012-10-09 来源:机房360 编辑:陆琬
大数据是大势所趋。纵观整个数据市场,甚至存储市场,用户的数据量正呈现出爆炸式的增长态势。大概四、五年前,一个邮件系统用终端存储就可以满足一个中等规模企业的需要,数
“大数据”是大势所趋。纵观整个数据市场,甚至存储市场,用户的数据量正呈现出爆炸式的增长态势。大概四、五年前,一个邮件系统用终端存储就可以满足一个中等规模企业的需要,数据量大概在30-50T。随着企业员工数量逐年增长,邮件系统的空间也呈爆炸式增长,由于人员沟通之间邮件更容易成为沟通的桥梁,邮件的附件越来越大,邮件系统的数据量亦随之水涨船高。现在该企业的数据量恐怕已增长到2.5PB甚至更多,需要添置一台存储设备或是几台储备设备做邮件系统,可见存储需求量增长之快。
尽管大数据的产生多半是因为企业发展及数据产生的种类多元化这个“大环境”所致,但是面对这些快速增长的大数据所暴露出的问题还是让企业管理者们不安。到底该如何管理这些大数据?如何进行安全有效的保护?出现问题时怎样进行恢复?这些都是企业待解的难题。
第一、在大数据愈演愈烈之时,对于企业来说,如何经济、高效访问数据值得探讨。并非购买了最高端的存储,更昂贵的备份存储就可以高枕无忧,如何经济、高效的访问数据才是企业目前需要研究的课题之一。通常情况下,按照数据被访问频率的高低,可以将这些大数据分为热数据和冷数据,热点数据放在昂贵的介质上没有任何异议,但是冷数据放在昂贵的介质上面则会导致IT建设成本上升,是一种浪费。所以如何将冷、热数据进行分层存储,既能优化存储系统的性能,又可以有效地降低存储系统的整体拥有成本,实现一举两得是企业的突破方向。
第二,如何组织、检索、存储、处理分析这些大数据。最近开展的题为“大数据:商业领袖们的经验”的全球调查发现,稿营收企业的成功与明确的数据战略之间有着极强的关联性。大数据的时代迎面袭来,企业重视大数据的潜在价值只是一个良好的开始,如何应对海量数据在管理方面的挑战才是企业至关重要的策略之一。
第三,数据备份。数据备份可谓“老生常谈”,大家一直在谈数据需要备份,备份是企业最后的保障、最后的一个利器,可以保护企业的系统依然有数据可用。10年前的“9.11”事件,早给过我们惨痛的教训:世贸中心中大约2/3企业因为未做数据备份而导致彻底倒闭。无独有偶,就在前不久前,雅虎日本服务器系统发生故障,导致近5700家企业数据丢失,除了小林制药这样日常进行数据备份的用户可以在几天之内恢复数据外,其他用户的数据绝无回复的可能,其损失可谓“惨重”。一个企业的数据信息决定着企业的生死存亡。但是今天,数据量的持续增长增加了备份和恢复的时间,是企业面临着严重的合规和宕机风险,数据备份却越来越困难。用户数据量越来越大,备份时间窗口又那么小,设备又是有限的,怎样快速把大数据中的核心数据抽取出来,保障企业数据信息能够适时进行恢复,成为企业CIO们共同考量的当务之急。
第四、重复数据删除。由于存储经理们继续降低备份数据量,重复数据删除技术从而一度成为热门的技术,但尽管这个话题已经“风靡”了多年,近三、五年的时间大家都在讲重复数据的删除。基本上主流的厂商和用户能够接受的还是把带库删除。如周一到周五的数据一样,就把重复的数据删掉,以后每天把增量的数据保存。但是有一些厂家也提倡在线存储删除,这也可行。只是现在某些技术尚不完全成熟,所以现在的重复数据删除重点还是在备份领域涉猎较多。
第五,如何节省电力、节约空间、节约成本等。面临数据爆炸式增长带来的问题,我们将怎么样节省电力、空间、成本呢?近几年企业在采购存储时,会发现存储硬件的成本在逐年走低。回顾过去,硬盘价格都是高高在上的,而现在不管是传统的机械硬盘还是SSD(固态硬盘)都开始变得越发“亲民”,而价格更低的同时容量却更高了。但是,对于很多企业来说,整体的存储成本却不降反升,原因就是存储的管理成本在逐年走高。因为大数据的接茬大涨需要大量的人力管理和维护,所以如何节约IT资源,减少IT人员的压力等也是现在企业需要考虑的因素。
随着大数据时代的到来,数据信息日益重要,数据保护问题日渐突出,各种灾难性事件给用户敲醒很多警钟。数据保护,数据的容灾是非常重要的话题。以前的数据容灾,都是拿盘阵来做,从A复制到B,A坏了到B上去,是一个“有甚于无”的方案,属于一种保护机制。但是今天的企业要求更加完善的数据保护系统,很多企业已经开始完成了备份数据的容灾。所以,在备份数据方面企业会面临很多问题,比如生产系统一般都是在白天运行,或者高峰是在白天去运行,夜间可能有三、五个小时时间窗口,这些窗口怎样在最短时间之内把尽可能做的数据备份出来,是用户面临的问题。
另外是灾难恢复。当发生灾难能否通过盘阵的方式、通过备份的方式恢复数据。现在很多企业非常关注的是,能否把分支机构也保护起来。例如,国美大中苏宁,这种零售企业,在全国每一个省都会有很小的数据中心或是小型机房。里面有独立的一些数据,这些数据能否集中备份到总部统一保护起来,以最低的成本保护这些“大数据”。
尽管大数据的产生多半是因为企业发展及数据产生的种类多元化这个“大环境”所致,但是面对这些快速增长的大数据所暴露出的问题还是让企业管理者们不安。到底该如何管理这些大数据?如何进行安全有效的保护?出现问题时怎样进行恢复?这些都是企业待解的难题。
第一、在大数据愈演愈烈之时,对于企业来说,如何经济、高效访问数据值得探讨。并非购买了最高端的存储,更昂贵的备份存储就可以高枕无忧,如何经济、高效的访问数据才是企业目前需要研究的课题之一。通常情况下,按照数据被访问频率的高低,可以将这些大数据分为热数据和冷数据,热点数据放在昂贵的介质上没有任何异议,但是冷数据放在昂贵的介质上面则会导致IT建设成本上升,是一种浪费。所以如何将冷、热数据进行分层存储,既能优化存储系统的性能,又可以有效地降低存储系统的整体拥有成本,实现一举两得是企业的突破方向。
第二,如何组织、检索、存储、处理分析这些大数据。最近开展的题为“大数据:商业领袖们的经验”的全球调查发现,稿营收企业的成功与明确的数据战略之间有着极强的关联性。大数据的时代迎面袭来,企业重视大数据的潜在价值只是一个良好的开始,如何应对海量数据在管理方面的挑战才是企业至关重要的策略之一。
第三,数据备份。数据备份可谓“老生常谈”,大家一直在谈数据需要备份,备份是企业最后的保障、最后的一个利器,可以保护企业的系统依然有数据可用。10年前的“9.11”事件,早给过我们惨痛的教训:世贸中心中大约2/3企业因为未做数据备份而导致彻底倒闭。无独有偶,就在前不久前,雅虎日本服务器系统发生故障,导致近5700家企业数据丢失,除了小林制药这样日常进行数据备份的用户可以在几天之内恢复数据外,其他用户的数据绝无回复的可能,其损失可谓“惨重”。一个企业的数据信息决定着企业的生死存亡。但是今天,数据量的持续增长增加了备份和恢复的时间,是企业面临着严重的合规和宕机风险,数据备份却越来越困难。用户数据量越来越大,备份时间窗口又那么小,设备又是有限的,怎样快速把大数据中的核心数据抽取出来,保障企业数据信息能够适时进行恢复,成为企业CIO们共同考量的当务之急。
第四、重复数据删除。由于存储经理们继续降低备份数据量,重复数据删除技术从而一度成为热门的技术,但尽管这个话题已经“风靡”了多年,近三、五年的时间大家都在讲重复数据的删除。基本上主流的厂商和用户能够接受的还是把带库删除。如周一到周五的数据一样,就把重复的数据删掉,以后每天把增量的数据保存。但是有一些厂家也提倡在线存储删除,这也可行。只是现在某些技术尚不完全成熟,所以现在的重复数据删除重点还是在备份领域涉猎较多。
第五,如何节省电力、节约空间、节约成本等。面临数据爆炸式增长带来的问题,我们将怎么样节省电力、空间、成本呢?近几年企业在采购存储时,会发现存储硬件的成本在逐年走低。回顾过去,硬盘价格都是高高在上的,而现在不管是传统的机械硬盘还是SSD(固态硬盘)都开始变得越发“亲民”,而价格更低的同时容量却更高了。但是,对于很多企业来说,整体的存储成本却不降反升,原因就是存储的管理成本在逐年走高。因为大数据的接茬大涨需要大量的人力管理和维护,所以如何节约IT资源,减少IT人员的压力等也是现在企业需要考虑的因素。
随着大数据时代的到来,数据信息日益重要,数据保护问题日渐突出,各种灾难性事件给用户敲醒很多警钟。数据保护,数据的容灾是非常重要的话题。以前的数据容灾,都是拿盘阵来做,从A复制到B,A坏了到B上去,是一个“有甚于无”的方案,属于一种保护机制。但是今天的企业要求更加完善的数据保护系统,很多企业已经开始完成了备份数据的容灾。所以,在备份数据方面企业会面临很多问题,比如生产系统一般都是在白天运行,或者高峰是在白天去运行,夜间可能有三、五个小时时间窗口,这些窗口怎样在最短时间之内把尽可能做的数据备份出来,是用户面临的问题。
另外是灾难恢复。当发生灾难能否通过盘阵的方式、通过备份的方式恢复数据。现在很多企业非常关注的是,能否把分支机构也保护起来。例如,国美大中苏宁,这种零售企业,在全国每一个省都会有很小的数据中心或是小型机房。里面有独立的一些数据,这些数据能否集中备份到总部统一保护起来,以最低的成本保护这些“大数据”。