农行试点x86服务器应对大数据多重挑战

　　引言：金融数据中心一贯是小型机的天下，这是源于金融业务以可靠性和稳定性为首要指导。不过，随着大数据和分布式架构的流行，x86服务器凭借堪与小型机比肩的性能，正在逐步抢占小型机的市场空间。

　　在信息化时代，数据深刻影响着银行的未来发展，谁拥有数据谁就获得了话语权。数据的价值来源于对海量的客户交易数据、客户行为数据等的深层挖掘和分析，以便做到精准定位和营销，进而根据不同的客户和市场需求设计不同的金融产品，提升银行的盈利能力。这种基于大数据的金融业务创新，目前已经成为各商业银行的竞争焦点之一。

　　中国农业银行作为中国四大国有银行之一，据不完全统计，目前其各应用系统每年产生的结构化数据已经突破100TB，而非结构化数据更是突破1PB（1024TB）大关。这也促使农行在大数据实践方面积极走在行业前列。

　　数据飞速增长IT架构挑战严峻

　　过去，农业银行业务系统运行平台多是小型机，而小型机单机扩展能力有限，原有的架构越来越难以支撑飞速增长的业务应用的计算资源需求。

　　厂商来源单一也导致小型机的采购和维护费用高昂。特别是Unix小型机软件封闭，操作系统、 虚拟化、数据库等软件采购费用相比x86架构高出数十倍，性价比较低。

　　于是，近年来在互联网行业广泛应用并持续创造价值的Hadoop大数据方案，引起了中国农业银行的关注。Hadoop框架的一个显著特点是，将以往需要高性能小型机才能完成的计算任务，分解为由多台x86服务器（甚至PC机）组成的计算集群来完成。

　　2012年7月，农行正式引入业内广受关注的Hadoop大数据方案。该方案首先被应用于支撑对历史交易数据进行查询与分析，通过采用业界流行的Hadoop分布式计算框架，处理海量结构化和非结构化数据。

　　经过认真的评估与论证，农行的IT技术团队认为，由x86服务器组成的计算集群，在计算性能上可以满足Hadoop大数据方案的要求，但在经济性方面比小型机更具有优势。

　　联合华为试点分布式计算架构顺应U2L大势

　　为验证这种可行性，2012年下半年，农行的IT技术团队与华为的服务器研发团队成立了联合工作组。根据双方达成的合作协议，华为将提供x86服务器组成计算集群，由农行在华为的计算平台上运行Hadoop的相关软件，并进行相关的业务测试。农行与华为均希望通过试点“x86服务器”的分布式并行计算架构，来共同应对金融大数据业务带来的挑战。

　首先，农行希望x86服务器在计算性能上应具备“秒级响应”的能力。目前，农行在中国境内的分支机构超过2.34万，服务的客户超过4.2亿，各营业网点、自助终端设备、网上银行等对数据中心的访问属于高并发访问。对于历史交易数据的查询与分析业务，为确保客户的满意度与银行的工作效率，农行要求大数据处理平台对交易明细数据的随机查询要在“秒级”完成响应。

　　“这就意味着，在1秒钟之内，大数据处理平台要从120TB的5年历史交易数据中，也就是大约650亿条的历史交易记录中，将查询结果反馈给用户。”农行的专家这样跟华为说。

　　其次，农行希望x86服务器具备良好的经济性。在应用x86服务器之前，农行多采用小型机来承载历史交易数据的查询与分析业务。为满足业务要求，小型机首先需要存放至少5年120TB的历史数据，同时每天新增的交易记录在4000万条以上，需要约100G的存储空间。但小型机相对封闭的硬件架构设计，使得其可扩展性受到很大的限制，导致每次扩容的成本都很高昂。此外，小型机非通用的架构设计，也给农行带来了不菲的维保费用。

　　“我们之所以选择x86服务器，一方面，是因为近年来x86服务器的技术性能得到了大幅提升；另一方面，采用通用架构的x86服务器，其在采购成本、扩容成本及维护成本方面，相对于小型机的优势也是很明显的。”农行专家指出。

　　x86服务器，金融大数据 的选择

　　华为在深入分析了农行对大数据处理平台的需求后，向农行提供了基于华为RH2288 V2服务器的分布式并行计算集群进行测试。测试结果表明，华为解决方案完全满足农行对海量数据进行分布式处理的要求。

　　x86服务器的分布式架构使得服务器节点可以灵活扩展，按需配置，支持飞速增长的业务和数据量，从而满足当前与未来业务的发展需要，充分保护农行的初期和远期投资。

　　x86服务器不仅在计算性能上可以满足Hadoop大数据方案的要求，而且成本上比小型机更具有吸引力。相比小型机方案，采用华为RH2288 V2可以节约40%的运维成本，节约总体拥有成本（TCO）20%以上。

　　此外，华为RH2288 V2服务器支持现场调整与优化，农行可以按照业务需求对服务器的配置进行现场调优，这使服务器的计算性能在Hadoop大数据环境下发挥到最优。在测试中，农行85GB的原始数据加载（3份冗余）或者5000万定期账户批量处理，华为RH2288 V2服务器计算集群能在10分钟内完成。而对于2亿条交易详单、600并发随机查询的平均响应时间，华为解决方案的测试结果低于40ms，远远超出农行的预期。

　　2013年8月份，中国农业银行在其正式生产环境的Hadoop大数据处理平台中，采用了200台华为RH2288 V2服务器进行部署。

　　此次试点表明，x86服务器已经完全可以承担金融行业关键业务，银行对小型机的技术依赖进一步降低。采用开放架构的x86服务器建设银行的IT系统（尤其是开放平台系统），已经成为金融行业信息化的发展趋势之一。