做大数据的电力公司 阿里的大数据实践
2014-07-28 通信产业报 编辑:王彦彬
在充满想象的大数据领域,将用户体验视为圭皋的互联网企业似乎再次跑在了电信运营商之前。
7月8日,阿里巴巴ODPS(开放数据处理服务,Open Data Processing Service)正式商用。在阿里云总裁王文彬看来,“ODPS将成为中国云计算和大数据的里程碑”。
阿里云资深产品专家汤子楠接受《通信产业报》(网)采访表示,简单的说,ODPS就是一项Web服务。通过ODPS,用户不用花钱建数据中心就能分析海量数据。把数据海洋里的“水”灌进ODPS,设定好一套参数,拧开水龙头,出来的就是“鲜榨果汁”。
这与Google的BigQuery产品形态很接近。王文彬指出,BigQuery仅仅是一款产品,ODPS则是阿里云产品线的一部分。除了ODPS之外,阿里云还有一系列大数据服务,组成综合的大数据解决方案,满足用户在大数据领域的多项需求。
坚持自主研发路线,埋头云计算、大数据技术数载的阿里巴巴正成为大数据落地的践行者。从帮助淘宝、天猫卖家实现数据化运营的“数据魔方”到ODPS的正式商用;从为自身电商服务到“余额宝”这样跨界金融的革命性产品,再到成为众多省政府智慧城市建设的战略合作伙伴,阿里巴巴正在成为一家“数据公司”。
IT2.0时代
此前,传统IT架构的解决方案,核心系统几乎都要依赖“IOE”的标配。在阿里巴巴发展的历程中,伴随着用户数量和交换数据呈爆发性增长,传统的IT架构愈发不能满足阿里巴巴的业务发展。
2008年阿里巴巴正式提出了“去IOE”的构想。阿里巴巴将视角定位在了云计算和大数据,2009年“阿里云计算有限公司”正式成立。阿里巴巴CTO王坚接受《通信产业报》(网)采访曾表示,“去IOE”是互联网经济时代的大势所趋,但“去IOE”并不是买来一台新的机器替代掉原有机器,最好的解决方式是采用云计算。
在王文彬看来,“去IOE”的进程是IT系统化的改造,以前计算机加软件的IT系统模式已经持续了好几十年,一直没有改变。随着移动互联网的来临,数据爆炸式增长将使整个模式发生翻天覆地的改变。如何将信息爆炸时代产生的庞大数据资源处理好,云计算、大数据成为重要途径。
王文彬认为云服务+大数据的IT2.0时代即将来临。如同一枚硬币密不可分的正反面一般,大数据和云计算将成为中国企业IT架构转变的一个重要的里程碑。未来企业用户采购的不再是计算机跟软件,而是云服务。云服务将改变整个IT使用的模式,在云端庞大的数据处理成为可能。
在“去IOE”的系统改造道路上,阿里云这个最初的倡导者也成为最早成功实践的企业。2013年7月10日伴随淘宝广告系统使用的Oracle数据库下线,阿里巴巴宣告其真正实现了“去IOE”。
大数据“试验田”
庞大的阿里巴巴集团为云计算、大数据业务提供了大量的试验田。王文彬表示,ODPS的研发历史可以追溯到四年前,可以说这款产品是伴随着阿里云共同成长的。ODPS的研发过程中一开始并不令人满意,是在内部用户的使用中不断锤炼和成熟的。
阿里小贷成为目前最成功的ODPS应用。如今,超过36万人从阿里小贷借款,最小贷款额1块钱,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。
除了阿里小贷外,数据魔方、阿里妈妈广告联盟、广告搜索、点击预测模型训练、支付宝所有业务、淘宝指数、阿里无线、高德、中信21cn等都有ODPS应用的影子。
如果说ODPS是阿里巴巴大数据能力输出的集中体现,那么“余额宝”就是目前阿里巴巴云计算、大数据最成功的第三方应用。
2013年6月13日,阿里巴巴联合天弘基金联合推出的互联网理财产品“余额宝”成为我国互联网金融标志性产品。2014年7月1日,天弘基金发布了《余额宝运行一周年数据报告》。截至2014年6月30日,余额宝规模攀升至5741.60亿元。
余额宝展示了云计算、大数据技术对变革传统行业的巨大推动力。由于“余额宝”一经推出就受到广大互联网用户的热爱,实现爆炸式增长,天弘基金系统扩容势在必行。据天弘基金创新事业部技术负责人樊振华回忆,当收到的报价表时他惊呆了,如果依然使用传统架构扩容,仅硬件设备采购及中间件的认证费用就达数千万元人民币,这个数字超过了天弘基金以往所有IT投资的总和。
“将余额宝搬上阿里云”成为樊振华的最终选择。2013年11月11日,余额宝首次参加“双十一”,完成1679万笔赎回,1288万笔申购的清算工作,成功为639万用户正确分配收益。当天处理了61.25亿元的消费赎回,119.97亿元的转入申购。完成这些所有的清算工作,系统只用了46分钟。
具备强大水平扩容能力的余额宝二期系统让天弘基金再也不用担心系统容量和高并发的问题。但面对每天沉淀在50个数据库里的海量用户和交易数据持续暴涨,如何存储这些数据?如何使用这些数据?让樊振华萌生了展开相关大数据工作的心思。
近期,天弘基金选择了阿里云ODPS来搭建自己的大数据平台,希望通过对目前沉淀的海量数据的分析,把握上亿用户的理财需求及风险接受能力,以推出更好的金融产品。
构筑生态
王文彬表示目前阿里巴巴仅仅是摸到了大数据的冰山一角。人类拥有的大部分数据,还无法产生价值。“第一次工业革命后的200多年里,人类对物理资源的利用已经登峰造极。第一次信息革命过去70年了,我们对数据资源的利用却只是刚开了头。”
但是,对于未来的发展,阿里则早已画好了路线。通过云计算、大数据分析能力的陆续输出,建一个数据共享平台,构筑良好的生态系统。“去IOE”的积极探索给阿里巴巴的发展带来更多的空间,让阿里巴巴“平台、数据、金融”三大战略提供了更多支撑。王坚曾多次在公开场合表示,阿里云将坚持开放的平台战略,只提供基础的计算能力,绝不会参与应用层面与合作伙伴形成竞争。
这个共享平台可能用于阿里上下游企业,以及阿里投资的子公司企业。更大胆的猜测,也许有一天阿里会把数据做成产品,成为“大数据电力公司”供全社会购买使用。