大数据找到一个新“家”绿色数据中心
2012-11-20 来源：机房360 编辑：Alisa
管理一个庞大的数据集(PB级或更大)与管理传统的大型数据集完全不是一码事。在线照片网站Shutterfly就是一个典型的例子。 Shutterfly是一家在线照片网站，它与众不同之处在于允许用户存
管理一个庞大的数据集(PB级或更大)与管理传统的大型数据集完全不是一码事。在线照片网站Shutterfly就是一个典型的例子。
Shutterfly是一家在线照片网站，它与众不同之处在于允许用户存储照片的数量不受限制，这些照片以原始分辨率来保存，不用降低分辨率，而且它还保证从不删除用户的一张照片。Shutterfly公司高级副总裁兼CTONeilDay说：“我们的照片库的数据量超过了30PB，其增长速度比客户数的增长速度还快。我们每获得一个客户，他们做的头一件事就是向我们网站上传一堆照片，然后，等他们喜欢上我们的服务后，他们做的头一件事就是上传另一堆照片。”
我们不妨了解一下数据规模：1PB相当于1000TB或100万GB。美国宇航局哈勃太空望远镜前20年观测到的图像数据量大约为45TB，而以128kB/s速度记录的1TB压缩音频含有大约1.7万小时的音频。
PB级基础设施
NeilDay说：“PB级数据量对基础设施的要求完全不一样，很难构建和维护。PB级基础设施面临的管理负担与传统大规模数据集相比简直有天壤之别，其不同就像处理笔记本电脑上的数据和RAID阵列上的数据一样。”
NeilDay在2009年加入Shutterfly时，存储就已成为该公司最大的开支项目之一，而且飞速增长，不仅原始存储容量猛增，所配备的人员也激增。NeilDay说：“每当增加几个PB的存储量，就意味着我们需要增加一个存储管理员来支持该物理和逻辑基础设施。”他表示，由于数据集庞大，“系统出现问题的频率也增加许多，超大存储库的管理人员经常要处理硬件故障。大家最困扰和需要解决的根本问题是，一些磁盘在使用一段时间后会出故障，你如何确保数据仍然可用，而性能又不会降低?”
标准的故障切换解决之道是复制，通常采用RAID阵列的形式。NeilDay表示，其实面对大规模数据，RAID所带来的问题比它能解决的问题还要多。在传统的RAID数据存储方案中，每个数据的副本都被镜像，并存储在阵列的不同磁盘上，以确保数据的完整性和可用性。但这意味着每个被镜像和存储的数据都变大了，需要比数据本身大5倍多的存储容量。随着RAID阵列中使用的磁盘容量越来越大(从密度和功耗的角度看，3TB容量的磁盘很有吸引力)，让替换故障磁盘的正常磁盘恢复到完全奇偶校验所需的时间也变得越来越长。
采用纠删码的存储
对像Shutterfly这样的公司而言，可靠性和可用性至关重要，它需要企业级存储。NeilDay表示，急剧增长的存储成本使价格实惠的大众化系统变得极具吸引力。当NeilDay及其团队在市场上调查潜在的技术解决方案，以控制Shutterfly的存储成本时，他们对一项名为纠删码(erasurecode)的技术产生了兴趣。
早期提供基于纠删码的解决方案厂商之一是总部设在美国芝加哥的Cleversafe公司，它添加了位置信息，以创建其所谓的分散编码(dispersalcoding)，让用户可以在不同的地理位置(如多个数据中心)存储数据块(chunk)，即该公司所说的数据片(slice)。
每个数据片本身从数学上来讲毫无用处，这就能确保隐私性和安全性。Cleversafe公司表示，由于信息分散技术只使用一个数据实例来确保数据的完整性和可用性，而不是像RAID那样使用多个数据副本，这样就可以节省多达90%的存储成本。
Cleversafe公司的产品策略、市场营销和客户解决方案副总裁RussKennedy说：“当你重组数据时，不一定需要有每一块数据。我们把生成的数据块的数量称为宽度，把重组数据所需的最小数量称为阈值。生成的数据块的数量与重组需要的最小数量之间的差异决定了其可靠性。同时，即使丢失了节点和磁盘，仍能恢复数据原来的形状。通过RAID所能获得的最高可靠性是双奇偶校验，也就是说，可以丢失两个磁盘;而借助我们的解决方案，最多可以丢失6个磁盘。”
纠删码是一种基于软件的技术，这意味着它可以与大众化硬件结合使用，从而进一步降低扩展成本。
构建下一代存储
基础设施
“当确定了合适的技术后，我们比较了在这个领域能提供解决方案的多家厂商。我们开始曾考虑自己来构建，但是觉得如果我们能找到一家完全满足我们的要求，并且系统又相当可靠的公司，那么对我们来说更合适。”
在Shutterfly的实验室里，他们对4家厂商的解决方案进行了评估，并为其数据中心所需的存储设备建立了原型。NeilDay表示，他关注的是性能、可用性、容错性和可管理性方面。对此，他解释说：“我们有一个工作人员专门管理照片库，但2010年后面临的最大问题之一是我们发现照片库越来越庞大。因此，我们不得不扩大员工队伍，但这并不是最好的办法。”后来他发现Cleversafe最能满足Shutterfly的需求，这主要是由于该公司愿意与Shutterfly合作，并根据Shutterfly的需求来定制解决方案。于是这两家公司开始进行了一系列概念证明测试，包括在Shutterfly实验室进行的负载和性能测试。NeilDay和同事们熟悉了操作和性能方面的特点后，在生产环境中部署了一套并行存储基础设施，由其来模拟处理Shutterfly的全部流量。
“上传的每张照片都写入到我们原有的基础设施和Cleversafe基础设施。这套系统我们运行了6个月，包括节假日。”节假日对Shutterfly来说是高峰期，许多用户利用节假日建立照片簿。
Shutterfly在2011年将Cleversafe的存储解决方案完全投入到了生产环境，用于其照片库，并且从此以后，一直将其用于主照片存储库。
Shutterfly是一家在线照片网站，它与众不同之处在于允许用户存储照片的数量不受限制，这些照片以原始分辨率来保存，不用降低分辨率，而且它还保证从不删除用户的一张照片。Shutterfly公司高级副总裁兼CTONeilDay说：“我们的照片库的数据量超过了30PB，其增长速度比客户数的增长速度还快。我们每获得一个客户，他们做的头一件事就是向我们网站上传一堆照片，然后，等他们喜欢上我们的服务后，他们做的头一件事就是上传另一堆照片。”
我们不妨了解一下数据规模：1PB相当于1000TB或100万GB。美国宇航局哈勃太空望远镜前20年观测到的图像数据量大约为45TB，而以128kB/s速度记录的1TB压缩音频含有大约1.7万小时的音频。
PB级基础设施
NeilDay说：“PB级数据量对基础设施的要求完全不一样，很难构建和维护。PB级基础设施面临的管理负担与传统大规模数据集相比简直有天壤之别，其不同就像处理笔记本电脑上的数据和RAID阵列上的数据一样。”
NeilDay在2009年加入Shutterfly时，存储就已成为该公司最大的开支项目之一，而且飞速增长，不仅原始存储容量猛增，所配备的人员也激增。NeilDay说：“每当增加几个PB的存储量，就意味着我们需要增加一个存储管理员来支持该物理和逻辑基础设施。”他表示，由于数据集庞大，“系统出现问题的频率也增加许多，超大存储库的管理人员经常要处理硬件故障。大家最困扰和需要解决的根本问题是，一些磁盘在使用一段时间后会出故障，你如何确保数据仍然可用，而性能又不会降低?”
标准的故障切换解决之道是复制，通常采用RAID阵列的形式。NeilDay表示，其实面对大规模数据，RAID所带来的问题比它能解决的问题还要多。在传统的RAID数据存储方案中，每个数据的副本都被镜像，并存储在阵列的不同磁盘上，以确保数据的完整性和可用性。但这意味着每个被镜像和存储的数据都变大了，需要比数据本身大5倍多的存储容量。随着RAID阵列中使用的磁盘容量越来越大(从密度和功耗的角度看，3TB容量的磁盘很有吸引力)，让替换故障磁盘的正常磁盘恢复到完全奇偶校验所需的时间也变得越来越长。
采用纠删码的存储
对像Shutterfly这样的公司而言，可靠性和可用性至关重要，它需要企业级存储。NeilDay表示，急剧增长的存储成本使价格实惠的大众化系统变得极具吸引力。当NeilDay及其团队在市场上调查潜在的技术解决方案，以控制Shutterfly的存储成本时，他们对一项名为纠删码(erasurecode)的技术产生了兴趣。
早期提供基于纠删码的解决方案厂商之一是总部设在美国芝加哥的Cleversafe公司，它添加了位置信息，以创建其所谓的分散编码(dispersalcoding)，让用户可以在不同的地理位置(如多个数据中心)存储数据块(chunk)，即该公司所说的数据片(slice)。
每个数据片本身从数学上来讲毫无用处，这就能确保隐私性和安全性。Cleversafe公司表示，由于信息分散技术只使用一个数据实例来确保数据的完整性和可用性，而不是像RAID那样使用多个数据副本，这样就可以节省多达90%的存储成本。
Cleversafe公司的产品策略、市场营销和客户解决方案副总裁RussKennedy说：“当你重组数据时，不一定需要有每一块数据。我们把生成的数据块的数量称为宽度，把重组数据所需的最小数量称为阈值。生成的数据块的数量与重组需要的最小数量之间的差异决定了其可靠性。同时，即使丢失了节点和磁盘，仍能恢复数据原来的形状。通过RAID所能获得的最高可靠性是双奇偶校验，也就是说，可以丢失两个磁盘;而借助我们的解决方案，最多可以丢失6个磁盘。”
纠删码是一种基于软件的技术，这意味着它可以与大众化硬件结合使用，从而进一步降低扩展成本。
构建下一代存储
基础设施
“当确定了合适的技术后，我们比较了在这个领域能提供解决方案的多家厂商。我们开始曾考虑自己来构建，但是觉得如果我们能找到一家完全满足我们的要求，并且系统又相当可靠的公司，那么对我们来说更合适。”
在Shutterfly的实验室里，他们对4家厂商的解决方案进行了评估，并为其数据中心所需的存储设备建立了原型。NeilDay表示，他关注的是性能、可用性、容错性和可管理性方面。对此，他解释说：“我们有一个工作人员专门管理照片库，但2010年后面临的最大问题之一是我们发现照片库越来越庞大。因此，我们不得不扩大员工队伍，但这并不是最好的办法。”后来他发现Cleversafe最能满足Shutterfly的需求，这主要是由于该公司愿意与Shutterfly合作，并根据Shutterfly的需求来定制解决方案。于是这两家公司开始进行了一系列概念证明测试，包括在Shutterfly实验室进行的负载和性能测试。NeilDay和同事们熟悉了操作和性能方面的特点后，在生产环境中部署了一套并行存储基础设施，由其来模拟处理Shutterfly的全部流量。
“上传的每张照片都写入到我们原有的基础设施和Cleversafe基础设施。这套系统我们运行了6个月，包括节假日。”节假日对Shutterfly来说是高峰期，许多用户利用节假日建立照片簿。
Shutterfly在2011年将Cleversafe的存储解决方案完全投入到了生产环境，用于其照片库，并且从此以后，一直将其用于主照片存储库。
