存储却成大数据创造价值的瓶颈 存储与灾备

2013-12-27    来源:比特网    编辑:佚名
大数据具有巨大的商业价值,但存储却是大数据创造价值的瓶颈。传统的一层存储是跟随着一层应用的。

  大数据具有巨大的商业价值,但存储却是大数据创造价值的瓶颈。传统的一层存储是跟随着一层应用的。在数据中心演进过程中,随着虚拟化、VDI、大数据、云计算、 IT整合的需求,在架构层面对存储的IOPs和低延迟的要求快速提升。而且随着大数据的演进,数据子集量越来越大,对存储IOPs的需求几乎会无止境地增长。所以,满足大数据不可预测的对一层存储的性能需求,新一代存储需要具有经济性,而且可以通过软件的形式配置一层应用所需的IOPs和低延迟。

  传统存储技术面临的挑战,主要包括以下几方面:

  磁盘由于本身的结构,在数据读取过程中尤其是高IO读写时,寻道增加了响应时间,从而导致传统磁盘性能跟不上业务发展的需求。

  磁盘相对于CPU和内存存在性能的差距。过去若干年中,每18个月处理器的性能翻倍,RAM的性能也在迅速增加,而磁盘性能的提升幅度是最小的。

  传统控制器结构需要分步读写,从而增加了时间延迟。

  随着时间的发展,无论是一层应用采用多核的形式,还是虚拟服务器、VDI的形式,或者云计算和数据中心整合,都带动了对存储性能的进一步需求。与此同时,存储的容量成本下降,但IOPs/Spindle没发生改变。为了满足高IOPs,传统的做法是增加磁盘数量,但这不仅导致成本快速上升,而且造成了数据中心占地和耗能等问题。所以说,传统存储由于架构问题,在向大数据的演进过程中,越来越无法满足通过IT 创造价值的需求。

  为了对传统存储给用户带来的挑战进行更细致的分析,我们来看看《2013-2014年中国IT应用技术蓝皮书调研》中的数据结果:

  调研数据显示,由于传统存储无法满足业务关键型应用中所需的OLAP和OLTP的性能需求,考虑采用固态闪存技术的用户数量已经过半,用户对闪存技术的认可和采购需求有了比较大的进步。除了已部署固态技术的9.52%用户,27%以上的用户考虑将在未来12个月内部署固态技术,另有16.93%的用户则考虑在未来12-24个月部署固态闪存技术。

  企业应用中涉及到的固态闪存技术类型主要分为PCIe SSD、全闪存阵列以及固态缓存设备,不过在部署固态技术的选择调研中,更多的企业(43.92%)倾向于选择固态缓存设备,13.23%的用户选择了PCIe闪存卡。由此可见,固态缓存设备和PCIe闪存卡这两种固态技术的应用还是非常广泛的。而企业应用中的全闪存阵列还需要提高,分析其中的原因,在于全闪存阵列在替换传统阵列过程中,存在成本过高的问题,而固态缓存设备和PCIe闪存卡可以实现更为灵活更为适合用户选择的应用方式。

  基于用户对固态技术的需求,三大固态技术的优缺点可归纳为:

  PCIe SSD

  优点:快速提高某一应用性能

  缺点:不能多应用共享;HA高开支;TB级

  固态缓存设备(固态和硬盘混合)

  优点:加速某些应用

  缺点:企业级功能有限;几十TB级

  全闪存阵列

  优点:一层存储;最高容量和企业级功能;

  高可用,快照,在线升级;

  横向扩展:几百TB到PT级

1
3