深度思考:走向融合 而不是相互取代——宏杉科技看分布式与传统阵列之争存储与灾备
2015-11-18 来源:IDCUN 编辑:IDCUN
传统存储经历了二十几年努力,才勉强在底层连接协议、访问接口、管理上达成一些基本的标准,用户直到今天仍然经常受困于数据迁移问题。因此建立国家级的数据接口和互联互通标
来势汹汹的分布式会是传统阵列的替代品吗?宏杉科技认为,二者将来会走向融合,以一种新的产品形态和商业模式向用户提供产品和服务。如果你对云、分布式、传统阵列一直没有想清楚,看看此文,未来有时就在喧嚣之外的深度思考中。
传统阵列与分布式并不对立
传统阵列与分布式并不是对立关系。传统阵列也采用分布式技术,比如多控制器阵列,比如集群NAS。只不过用户的传统业务需求与今天互联网应用的需求不同。大部分互联网应用的特点是业务单一、业务规则简单、瞬时访问量涨落巨大、数据一致性要求较弱。
因此,互联网存储架构在已有分布式架构基础上,进一步放松了对数据一致性和设备可靠性的要求,追求在极大规模访问压力时的响应能力和低成本。
用“传统阵列 V.S 分布式”这样的对比是不合适的。更准确说,是“强一致高可靠有限系统 V.S 弱一致超大规模并行系统”,后者简单说,就是互联网架构存储。
传统阵列仍然是存储的主战场
传统阵列仍然是存储的主战场,继续支撑用户固有主要业务的增长。而互联网架构更多是应用在用户新的增量业务,因为很多行业都在+互联网。受互联网企业影响,很多用户在开始尝试互联网架构存储。
但我们的实际观察,用户还普遍处于第一轮尝新阶段,对于互联网架构存储和业务间的匹配关系,如何区分不同层次需求和产品,如何评估除了单纯的硬件采购成本之外的定制开发、运营维护、能耗成本,如何评估故障、业务中断、数据丢失等方面风险,如何实现数据全生命周期管理等,还缺少足够时间的积累,没有形成规则。
简言之,互联网架构存储,还没有形成一个清晰的市场。在真正逐步深入用户业务需求的过程中,互联网架构存储也绝对不会保持现在的样子,也必须根据用户需求不断演变和优化,甚至发生根本性变革。那种以为服务器+分布式软件搞定所有硬件类型的思想过于天真了,这在这些年传统网络交换机路由器与SDN之争中已经证实。
事实已经证明:SDN与传统网络不是替代关系,是融合关系。早几年,软件定义网络也是一派气势汹汹横扫一切网络设备的姿态,现在开始回归。
相互融合,而不是谁取代谁
传统阵列的好处是稳定、高性能、业务普适性强,但是在扩展性上有所欠缺;今天互联网架构存储的分布式,好处是扩展性强,弹性好,易管理,针对特定业务效率高,但是在性能、一致性、可靠性、业务普适性方面有较大的妥协和牺牲。这两者实际对应的是用户不同的业务需求。
但是,这两者并非完全对立,对立是指在既往的技术条件和业务模式下。如果以发展的眼光往后看,一定是会相互融合,而不是谁取代谁。
私有云更该用通用商用产品
在超过某个规模阈值后,大量招收开发人员,基于开源进行自身需求的定制化开发,对于动辄十几万台服务器的互联网企业,确实比使用商业化产品的性价比高。但在行业私有云中,一般是几十到几百台服务器规模,业务需求相对平稳,这和互联网业务的需求很大不同。
行业私有云更应该使用高性能、高可靠的通用商用产品和厂商定制化服务来达到好的性价比,为了分布式而分布式,是削足适履。
公有云是一种服务,私有云需要的是产品
互联网企业通过弱一致分布式建立的公有云,非常适合他们自己的业务形态——波峰和波谷涨落巨大,对可靠性和一致性要求并不高。比如某电商,在双十一时充值不能实时到账、当天不能退货、库存显示不准确,但是并没有关系,他们的业务允许这个时间差的存在,事后花一两天完成同步就可以。这种业务形态,在进入传统行业时,也只能为有类似需求的用户提供服务。而且,一旦进入行业,用户的需求将千差万别,如果为行业定制,因为业务模式完全不同,则又面临如何满足不同行业需求的问题,这给所有试图进入传统行业的互联网企业提出了重大挑战。
因此,公有云是一种服务,是针对各行业用户业务最小交集的标准化服务。私有云需要的是产品,是满足用户全面需求的通用化产品和个性化服务的组合。这个根本性区别,也将影响技术架构的发展方向。简单的标准服务器+分布式文件系统的架构,只可能满足部分要求不高的业务。真正深入到具体业务中,会看到实际需求远比这个复杂。
“软件定义”将来必要有重大改变和突破
任何一个新的技术或者产业生态的形成发展,必须有良好的规则环境和盈利模式,才能支撑厂商的持续创新,提供优质的产品和服务。
目前的“软件定义”厂商,尤其在国内,难以建立清晰可持续的盈利模式,能够靠业务自主盈利健康发展的企业少之又少,大多在依靠资本支撑,这不是一种可持续的发展路径,缺少持续的研发投入和创新投入,厂商如何实现对用户的长期承诺?因此我们认为,今天的“软件定义”将来必定要有重大的改变和突破,真正找到可持续盈利模式。
软件的架构和能力,仍需足够的硬件条件支撑
“软件定义”的这一波浪潮,本质上是因为过去十年硬件发展太快,而软件发展严重不足。大部分用户的系统实际上是在用硬件能力补软件。软件定义,恰恰是在补课,补上软件落后的课。等到软件水平和能力进一步发展起来,大量被软件制约的需求会被释放出来,硬件也将继续高速发展。
事实上,我们已经看到例如网络,在10G商用化近十年的徘徊后,正在迅猛向40G、100G发展。IT行业是一个软件和硬件互相补充,协作发展的行业,用软件否定硬件或者用硬件否定软件,都是可笑的。
软件之软,代表了用户需求中变化性强,特殊性强的部分;硬件之硬,代表了用户需求中标准化、确定性的部分,比如基础设施能力。有人说“软件定义世界”,实质上宏杉自身90%以上的研发投入都是软件开发。但我们仍然清醒地看到,软件的架构和能力,仍然需要依靠足够的硬件条件支撑。
INTEL前段时间167亿美元收购一个FPGA厂商Altera。FPGA是典型的将软件硬件化的载体,如果不能正确看待软件和硬件的关系,如何解释INTEL这个“逆动作”呢?
IT架构需要建立国家级的数据接口和互联互通标准
当前的互联网架构存储引入企业市场,还存在一个巨大的障碍:即与传统架构的不兼容,数据迁移极度困难和危险。更有甚者,由于不同互联网公司采用的软件开源来源和技术路线差异极大,又缺乏产业界标准化规范,使得用户一旦采用某一家技术后,实际上应用和数据都被绑架。
传统存储经历了二十几年努力,才勉强在底层连接协议、访问接口、管理上达成一些基本的标准,用户直到今天仍然经常受困于数据迁移问题。因此建立国家级的数据接口和互联互通标准,是互联网架构存储真正能够大规模商用的基础条件。这个标准的建立过程,必然是各种存储技术的相互融合过程。
未来存储将回归本质:满足用户不同业务的数据管理需求
传统阵列也会吸取互联网架构存储的一些优秀技术和思想进一步演进,比如多副本并发访问、去中心化、应用QoS策略驱动等等。在网络技术、CPU能力、SSD技术突飞猛进的今天,传统存储在架构上必将有大的突破。这就是宏杉科技提出“存储互联”概念的原因。
我们希望,将来用户的存储是一个普适的、统一管理的资源池,不管是SSD、SAS还是SATA,不管是谁家的存储设备,不管是单控、双控、多控,都在这个资源池中提供用户从原生块、文件、对象等不同的服务方式,能够根据业务需求,透明的动态分配不同性能、不同可靠性、不同成本的资源给应用。从而在性能、可靠性、弹性、经济性上实现统一。
未来的存储,将回归到存储的本质:满足用户不同业务的数据管理需求。分布式也罢,集中式也罢,只是构成存储资源池不同部分、不同应用范围的技术特征,不应该也不可能成为用户选择产品时非此即彼的路障。
传统阵列与分布式并不对立
因此,互联网存储架构在已有分布式架构基础上,进一步放松了对数据一致性和设备可靠性的要求,追求在极大规模访问压力时的响应能力和低成本。
用“传统阵列 V.S 分布式”这样的对比是不合适的。更准确说,是“强一致高可靠有限系统 V.S 弱一致超大规模并行系统”,后者简单说,就是互联网架构存储。
传统阵列仍然是存储的主战场
但我们的实际观察,用户还普遍处于第一轮尝新阶段,对于互联网架构存储和业务间的匹配关系,如何区分不同层次需求和产品,如何评估除了单纯的硬件采购成本之外的定制开发、运营维护、能耗成本,如何评估故障、业务中断、数据丢失等方面风险,如何实现数据全生命周期管理等,还缺少足够时间的积累,没有形成规则。
简言之,互联网架构存储,还没有形成一个清晰的市场。在真正逐步深入用户业务需求的过程中,互联网架构存储也绝对不会保持现在的样子,也必须根据用户需求不断演变和优化,甚至发生根本性变革。那种以为服务器+分布式软件搞定所有硬件类型的思想过于天真了,这在这些年传统网络交换机路由器与SDN之争中已经证实。
事实已经证明:SDN与传统网络不是替代关系,是融合关系。早几年,软件定义网络也是一派气势汹汹横扫一切网络设备的姿态,现在开始回归。
相互融合,而不是谁取代谁
但是,这两者并非完全对立,对立是指在既往的技术条件和业务模式下。如果以发展的眼光往后看,一定是会相互融合,而不是谁取代谁。
私有云更该用通用商用产品
行业私有云更应该使用高性能、高可靠的通用商用产品和厂商定制化服务来达到好的性价比,为了分布式而分布式,是削足适履。
公有云是一种服务,私有云需要的是产品
互联网企业通过弱一致分布式建立的公有云,非常适合他们自己的业务形态——波峰和波谷涨落巨大,对可靠性和一致性要求并不高。比如某电商,在双十一时充值不能实时到账、当天不能退货、库存显示不准确,但是并没有关系,他们的业务允许这个时间差的存在,事后花一两天完成同步就可以。这种业务形态,在进入传统行业时,也只能为有类似需求的用户提供服务。而且,一旦进入行业,用户的需求将千差万别,如果为行业定制,因为业务模式完全不同,则又面临如何满足不同行业需求的问题,这给所有试图进入传统行业的互联网企业提出了重大挑战。
因此,公有云是一种服务,是针对各行业用户业务最小交集的标准化服务。私有云需要的是产品,是满足用户全面需求的通用化产品和个性化服务的组合。这个根本性区别,也将影响技术架构的发展方向。简单的标准服务器+分布式文件系统的架构,只可能满足部分要求不高的业务。真正深入到具体业务中,会看到实际需求远比这个复杂。
“软件定义”将来必要有重大改变和突破
目前的“软件定义”厂商,尤其在国内,难以建立清晰可持续的盈利模式,能够靠业务自主盈利健康发展的企业少之又少,大多在依靠资本支撑,这不是一种可持续的发展路径,缺少持续的研发投入和创新投入,厂商如何实现对用户的长期承诺?因此我们认为,今天的“软件定义”将来必定要有重大的改变和突破,真正找到可持续盈利模式。
软件的架构和能力,仍需足够的硬件条件支撑
事实上,我们已经看到例如网络,在10G商用化近十年的徘徊后,正在迅猛向40G、100G发展。IT行业是一个软件和硬件互相补充,协作发展的行业,用软件否定硬件或者用硬件否定软件,都是可笑的。
软件之软,代表了用户需求中变化性强,特殊性强的部分;硬件之硬,代表了用户需求中标准化、确定性的部分,比如基础设施能力。有人说“软件定义世界”,实质上宏杉自身90%以上的研发投入都是软件开发。但我们仍然清醒地看到,软件的架构和能力,仍然需要依靠足够的硬件条件支撑。
INTEL前段时间167亿美元收购一个FPGA厂商Altera。FPGA是典型的将软件硬件化的载体,如果不能正确看待软件和硬件的关系,如何解释INTEL这个“逆动作”呢?
IT架构需要建立国家级的数据接口和互联互通标准
传统存储经历了二十几年努力,才勉强在底层连接协议、访问接口、管理上达成一些基本的标准,用户直到今天仍然经常受困于数据迁移问题。因此建立国家级的数据接口和互联互通标准,是互联网架构存储真正能够大规模商用的基础条件。这个标准的建立过程,必然是各种存储技术的相互融合过程。
未来存储将回归本质:满足用户不同业务的数据管理需求
我们希望,将来用户的存储是一个普适的、统一管理的资源池,不管是SSD、SAS还是SATA,不管是谁家的存储设备,不管是单控、双控、多控,都在这个资源池中提供用户从原生块、文件、对象等不同的服务方式,能够根据业务需求,透明的动态分配不同性能、不同可靠性、不同成本的资源给应用。从而在性能、可靠性、弹性、经济性上实现统一。
未来的存储,将回归到存储的本质:满足用户不同业务的数据管理需求。分布式也罢,集中式也罢,只是构成存储资源池不同部分、不同应用范围的技术特征,不应该也不可能成为用户选择产品时非此即彼的路障。